Firecrawl：给 Agent 一个能搜能爬的网

搜、爬、点、抽一体化，把任意网页变成 LLM 能直接吃的 Markdown 或 JSON。

给 agent 接网页数据，自己写爬虫会遇到三个问题：JS 重渲染页面拿不到内容、反爬封 IP、拿到的 HTML 太脏。Firecrawl 把这三个问题包成一个 API：一个 scrape 返回干净 Markdown，crawl 把整站拉下来，search 直接搜网并返回全文，map 秒出站点 URL 列表。仓库 TypeScript 写的，主体 AGPL-3.0、SDK 为 MIT，星标约 20 万（以 GitHub 为准）。

核心能力

1. scrape：任意 URL 转 Markdown / HTML / 截图 / JSON
最常用的接口。官方给出三个关键指标：覆盖 96% 网页（含 JS 重页面）、P95 延迟 3.4 秒、无需自己配代理。对排期紧的项目，省掉的是代理池与无头浏览器的运维成本。它还支持 only-main-content 只取正文，直接省下一层清洗。

2. search：搜索结果直接带全文
它不是只返回链接列表，而是返回 url、title、markdown。这意味着你能把搜索结果直接塞进上下文，不用再逐条爬一次。做“行业动态汇总”或“竞品页面巡检”这类任务，链路从两步变一步。

3. interact：抓下来之后继续点
抓取后可接一段提示或代码对页面操作：点击、滚动、输入、等待。典型场景：需要先登录或先筛选才能看到的数据。它返回 liveViewUrl，可以直接在浏览器里看当前状态，调试比看日志快。

4. crawl 与 map：整站与目录一次搞定
crawl 一次请求爬完整站，返回 job ID，SDK 自动轮询；map 则秒出一份全站 URL 清单，支持用 search 参数按相关度筛。实用组合是先用 map 拿到站点结构，人工确认范围，再用 crawl 只拉需要的部分，避免一开口就爬几万页烧光额度。

5. agent：不给 URL 也能取数据
官方说明它是 /extract 端点的演进版：你描述需求，它自己决定去哪找、怎么取，还支持传 schema 要结构化输出，并提供 effort（low / medium / high）控制成本。适合“帮我找十家做同类产品的公司及其定价”这类连你自己都不知道该去哪个网站的任务。

6. SDK 覆盖 9 种语言，还带 MCP
Python、Node、Go、Java、Elixir、Rust、Ruby、.NET、PHP 都有官方 SDK，另有 CLI 与 firecrawl-mcp-server。后者意味着直接把它挂进 Claude、Cursor 这类客户端，agent 无需写代码就能抓页。

使用上手

1. 装。Python pip install firecrawl，Node npm install firecrawl；先注册拿 API Key。
2. 先单页跑。用 app.scrape('目标网址') 看返回的 Markdown 质量，确认是否带上正文过滤。
3. 再跑 map。map 出站点结构，人工划范围，避免 crawl 失控。
4. 批量用 batch scrape。有事批量需求时一次提交 URL 列表，比循环单页快得多。
5. 要结构化就传 schema。图片、价格、标题这类字段定义成 schema，让 agent 或抽取接口直接返回 JSON。
6. 想自己控数据就自托管。按官方 Self-Hosting Guide 部署，注意开源版与云版功能不完全对等。

优点与不足

优点：

• 一个 API 覆盖搜索、抓取、爬站、交互、抽取，链路完整。
• 输出为 LLM-ready Markdown，省一层清洗。
• SDK 语言覆盖广，还带现成 MCP server。
• 自托管可行，数据可不出内网。

不足：

• 主体 AGPL-3.0，做商业产品嵌入时要评估传染性；SDK 是 MIT，用 SDK 调云服务不受影响。
• 开源版与云版功能有差异，高级能力以云版为主。
• 大站 crawl 消耗额度很快，必须先用 map 圈范围。
• 免费额度具体数值未写在 README 里，以官网定价页为准。

适合谁

• 给 agent 接实时网页数据的开发者。
• 做价格监控、舆情、竞品巡检的团队。
• 想把网页数据能力做成内部服务的后端。

下载与访问

• 仓库：https://github.com/firecrawl/firecrawl
• 官网：https://firecrawl.dev
• 文档：https://docs.firecrawl.dev

许可证与部署

本文属于「项目」分类的 AI 资源专栏，更多评测见分类页。