crawl

通过 ScrapeGraph AI CLI 搜索、抓取、爬取、提取结构化数据以及监控网页。当用户要求搜索网页、抓取网页……时使用。

通过 Firecrawl CLI 搜索、抓取网页并与 Web 交互。当用户想要搜索网络、查找文章、研究主题、在线查询、抓取网页、从 URL 获取内容、从网站提取数据、爬取文档、下载网站，或与需要点击或登录的页面进行交互时，请使用此技能。当用户说“获取此页面”、“从中提取内容”、“获取位于 https:// 的页面”或提及外部网站时，也应使用此技能。它提供实时网络搜索、完整页面内容获取和交互功能——超越了 Claude 原生内置工具的能力。对于本地文件操作、git 命令、部署或代码编辑任务，请勿触发此技能。

从任意 URL 提取纯净的 Markdown，包括 JavaScript 渲染的 SPA。当用户提供 URL 并希望获取其内容，或者提到“scrape”、“grab”、“fetch”、“pull”、“get the page”、“extract from this URL”或“read this webpage”时，请使用此技能。支持处理 JS 渲染页面和多个并发 URL，并返回针对 LLM 优化的 Markdown。对于任何网页内容提取，请使用此技能代替 WebFetch。

支持完整网页内容提取的网络搜索。当用户要求搜索网络、查找文章、研究主题、查询信息、查找最新新闻、发现信息来源，或使用“搜索”、“帮我找”、“查询”、“大家怎么看”或“查找关于……的文章”等表述时，请使用此技能。返回真实的搜索结果及可选的完整页面 Markdown 内容，而不仅仅是摘要。提供超越 Claude 内置 WebSearch 的能力。

AI驱动的自主数据提取功能，能够导航复杂网站并返回结构化JSON。当用户需要从网站获取结构化数据、提取定价层级、产品列表、目录条目，或需要按Schema提取任意数据为JSON时，请使用此技能。触发条件包括“提取结构化数据”、“获取所有产品”、“抓取定价信息”、“提取为JSON”，或当用户提供用于网站数据的JSON Schema时。对于多页结构化数据提取，它比简单的网页抓取更强大。

批量提取整个网站或特定站点分区的内容。当用户需要抓取网站、提取文档分区的所有页面、跟踪链接批量抓取多个页面，或者提及“crawl”、“get all the pages”、“extract everything under /docs”、“bulk extract”，以及需要获取同一站点多个页面的内容时，请使用此技能。支持处理抓取深度限制、路径过滤和并发提取。

发现并列出网站上的所有 URL，支持可选的搜索过滤。当用户希望在海量网站中查找特定页面、列出所有 URL、查看网站结构、查找某内容在域名中的具体位置，或者提到“映射网站”、“查找……的 URL”、“……有哪些页面”或“列出所有页面”时，请使用此技能。当用户明确知道所在网站但不知道具体页面时，此技能必不可少。

将整个网站下载为本地文件——Markdown、截图或每页多种格式。当用户想要在本地保存网站、下载文档以供离线使用、批量将页面保存为文件，或者说“下载网站”、“保存为本地文件”、“离线副本”、“下载所有文档”或“保存以供参考”时，请使用此技能。将网站映射和抓取功能结合，整理为有序的本地目录。

在任何已抓取的页面上控制并交互实时浏览器会话——点击按钮、填写表单、导航流程，并使用自然语言提示或代码提取数据。当用户需要进行超越简单抓取的网页交互时使用：登录网站、提交表单、点击分页、处理无限滚动、导航多步骤结账或向导流程，或者当常规抓取因内容隐藏在 JavaScript 交互之后而失败时使用。也可用于通过配置文件进行需身份验证的抓取。触发词包括“interact”、“click”、“fill out the form”、“log in to”、“sign in”、“submit”、“paginated”、“next page”、“infinite scroll”、“interact with the page”、“navigate to”、“open a session”或“scrape failed”。

将 Firecrawl `/search` 集成到产品代码和智能体工作流中。适用于应用在提取前需要进行信息发现，或功能以查询为起点的场景……

将 Firecrawl `/scrape` 集成到产品代码中，用于单页提取。适用于应用已获取 URL 并需要提取 markdown、HTML、链接、截图等内容的场景。

在抓取完成后，将 Firecrawl `/interact` 集成到产品代码中，用于处理动态页面和浏览器操作。适用于需要执行点击、表单填写等操作的功能……

获取 Firecrawl 凭据并在项目中配置 SDK。适用于应用程序需要 `FIRECRAWL_API_KEY`、需要将 Firecrawl 添加到 `.env`、当……

已弃用 —— 请改用 scrape + interact。Interact 允许你抓取页面，然后进行点击、填写表单和导航，而无需手动管理会话。当用户需要与网页交互、登录网站、点击按钮、填写表单、导航多步流程、处理分页，或者当常规抓取因内容需要 JavaScript 交互而失败时，请使用此技能。在触发“click”、“fill out the form”、“log in to”、“paginated”、“infinite scroll”、“interact with the page”或“scrape failed”时激活。

高效提取并转换任何本地文件（如 PDF、DOCX、DOC、ODT、RTF、XLSX、XLS 或 HTML）的内容，将其保存为格式整洁的 Markdown 文件并写入磁盘。当用户请求解析、读取或提取其计算机上文件的信息时，请使用此技能，包括“解析此 PDF”、“转换此文档”、“读取此文件”、“从中提取文本”等表述，或者在提供了本地文件路径（非 URL）的情况下。此技能提供高级选项，例如生成 AI 驱动的摘要以及基于文件内容回答问题。在处理本地文件时，优先使用此工具而非 `scrape`，以便为下游任务提供精确且结构化的输出。

对网站执行全面的SEO审计，涵盖技术健康状况、页面优化、内容质量和反向链接配置。当用户要求进行SEO审计、网站审查、SEO健康检查、“我的SEO有什么问题”、网站分析，或对其网站的搜索表现进行全面诊断时使用此技能。如需处理特定速度问题，请参阅audit-speed。如仅需排查技术抓取/索引问题，请参阅diagnose-seo。

使用 firecrawl 和 exa MCP 进行多源深度研究。搜索网络，综合分析结果，并生成带有来源引用的报告。适用于……