搜、爬、点、抽一体化，把任意网页变成 LLM 能直接吃的 Markdown 或 JSON。 给 agent 接网页数据，自己写爬虫会遇到三个问题：JS 重渲染页面拿不到内容、反爬封 IP、拿到的 HTML 太脏。Firecrawl 把这三个问题包成一个 API：一个 scrape 返回干净 Markdown，crawl 把整站拉下来，search 直接搜网并返回全文，map 秒出站点 URL 列表。仓库 TypeScript 写的，主体 AGPL-3.0、SDK 为 MIT，...
标签 开源项目 下的文章
把 PDF、Word、扫描件拆成带类型的元素，再交给 RAG 或模型消费。 做文档类 RAG 的人都有一个共同的坑：把 PDF 一股脑转成纯文本，标题、正文、表格、页眉全混在一起，检索出来一段话你都不知道它在说哪一节。Unstructured 把这一步做成了正经的 ETL：先把文档拆成带类型的元素（Title、NarrativeText、Table、ListItem），再序列化成 JSON，下游想怎么用都行。仓库 Apache-2.0，约 1.6 万星（以 GitHub 为准...
把笔记、文档、网页汇成一个能问的私人知识库，可自托管也可直接用云版。 Khoj 的定位是“第二大脑”：将你的笔记与文档建成索引，问它问题时从你自己的资料里找答案，而不是从模型的记忆里编。它一开始是 Emacs / Obsidian 插件，现在已经是带桌面端、手机端、WhatsApp 入口的完整应用。仓库 Python 写的，AGPL-3.0，约 3.8 万星（以 GitHub 为准），官网 khoj.dev。
专为 LLM 做的开源爬虫，把网页洗成干净 Markdown 再喂给模型。 做 RAG 或做 agent 抓数据，最难的不是拿到 HTML，而是把导航栏、广告、弹窗一堆噪声去掉，留下真正有内容的那段。Crawl4AI 就是冲着这件事写的：输出直接是带结构信息的 Markdown，还能按 CSS / XPath / LLM 三种方式抽字段。仓库 Python 写的，Apache-2.0，当前约 8.7 万星（以 GitHub 为准），最新版本 v0.9.5（2026-10）。
一句话定位：四行代码就能建库、写入、检索，原型阶段的默认向量库。 做 RAG 或语义搜索，最难的不是模型，是把向量存好、查快。Chroma 的定位很清楚：先用最少的代玛把东西跑起来，再谈扩展。核心 API 只有四个，pip install chromadb 之后不用起服务、不用建表，直接内存里开工；要持久化就 chroma run --path。Apache 2.0 允许商用，仓库里同时有 Python 主体和 Rust 组件，PyPI 与 npm 包每周一发版（官方自述）。...
把开源大模型变成能扛并发的线上 API，同样的卡服务更多请求。 本地跑模型和线上服务模型是两件不同的事。Ollama、Jan 解决「能跑起来」，vLLM 解决「扛得住」——当 7B 到 70B 的模型要对外提供接口、同时面对几十上百个请求时，显存怎么分、请求怎么排、吞吐怎么提，是另一套工程。vLLM 起源于伯克利 Sky Computing 实验室，核心是 2023 年那篇 PagedAttention 论文，目前由两千多名贡献者维护，是自建推理服务绕不开的一层。
下载即用的本地 ChatGPT 替代，跑在自己电脑上，还顺带开一个 OpenAI 兼容接口。 本地跑模型的工具已经不少：Ollama 偏命令行与服务端，LM Studio 打磨精细但不开源。Jan 的位置在两者之间：一个完全开源的桌面应用，内置 llama.cpp 引擎，从 Hugging Face 拉模型、开箱对话，同时在本机 127.0.0.1:1337 暴露一个 OpenAI 兼容 API。这意味着它不只是个聊天窗口，而是把整台电脑变成一个私有模型网关：白天用界面聊，晚...
一个装上就能用的本地知识库应用，把文档丢进去，用任意模型提问，答案带出处。 大部分「和文档聊天」的工具都要你先搭一套向量库、再配嵌入模型、再接前端。AnythingLLM 的思路是把这三层打包进一个安装包：自带切分器、默认本地嵌入模型、内置 LanceDB 向量库，下载完选个模型就能跑。它由 Mintplex Labs 开发，提供桌面版与 Docker 版两种形态：桌面版单人用，Docker 版支持多账号、工作区权限和可嵌入网站的聊天窗口。对不想碰命令行的人来说，这是目前上手...
用拖拽把 AI 智能体和工作流搭出来，一键导出 API 或 MCP 服务器。 如果你想要一个“看得见的 AI 工作流”，而不是在代码里硬写链路，Langflow 是当下最顺手的可视化平台之一。它用节点画布让你把大模型、向量库、工具、记忆组件像搭积木一样连起来，实时调试，跑通后还能直接导出成 API 或 MCP server 供其他系统调用。后端主语言是 Python，前端用 TypeScript，整个项目以 MIT 许可证开源。