从爬虫改口知识基建:Firecrawl 用一个本地二进制和 550+ 数据源喂饱 Agent

从爬虫改口知识基建:Firecrawl 用一个本地二进制和 550+ 数据源喂饱 Agent

前天
duguying
4 阅读
来源:GitHub

一个 Rust 单二进制让 Agent 自己查资料,云端再补上 300 万篇论文与 550 多家数据供应商——Firecrawl 把抓取工具改口成了知识基础设施。

相关标签

#GitHub#Trending#Firecrawl#Agent#爬虫

抓网页这件事,Firecrawl 已经干了两年,攒下二十万星。但今天登上 GitHub Trending 的理由不太一样:它把项目简介里最显眼的位置让给了一句新定位——”给 Agent 用的知识基础设施”。搜索、抓取加上 550 多家数据供应商,全部收进同一个 API。

这次转型叙事里最实在的一步是 Firecrawl Local:一个用 Rust 写的单二进制,cargo install firecrawl-local 装完即用,不需要数据库、消息队列,也不用容器。它提供 scrape、crawl、map 三个基础动作——抓单页出干净 Markdown、整站爬取并逐页落盘、列出站点全部 URL;需要 JavaScript 渲染的页面会调用本机已装的 Chrome 或 Chromium,PDF 和 Office 文档也能在本地解析。装完跑一次 init,它会自动把 MCP server 注册进 Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI 和 Codex——Agent 从此可以自己”出门查资料”。

不想装 Rust 工具链的用户走另一条路:npx -y firecrawl-cli@latest scrape <url> 直接用云端跑同样的抓取。而 Alexandria 这个托管知识层才是新定位的重头——v2.11.0 上线的 Research Index 可以跨 300 多万篇 arXiv 论文及其背后的 GitHub 代码(issue、已合并 PR、README,每日刷新)做检索,还能核对论文原文中的具体论断;官方给出的基准是 arXivQA 召回率领先次优供应商 18%,成本相当。

安全与工程细节也在收紧:v2.11.0 的 redactPII 选项会在返回内容前剥掉姓名、邮箱、电话、地址和密钥等敏感信息;v2.10 的 Lockdown Mode 只从自家索引出结果,零出站请求、默认零留存,适合合规敏感的企业场景;/parse 端点则把最多 50MB 的本地文档(PDF、DOCX、XLSX 等)转成 LLM 友好的 Markdown 或 JSON。再往前数,v2.9 的 /interact 已支持抓完页面后继续点击、填表、维护会话。

对开发者来说,取舍很清晰:本地二进制管隐私与离线,云服务管规模与知识广度,SDK 覆盖 JS、Python、Go、Rust、Java 等九种语言。抓取工具的竞争已经从”谁抓得快”变成”谁能把世界的数据变成 Agent 能消化的形状”,Firecrawl 想当那个形状的定义者。

仓库地址:https://github.com/firecrawl/firecrawl

返回列表

更多资讯

想看更多优质内容?

浏览所有资讯