标签 Crawl4AI 下的文章

专为 LLM 做的开源爬虫，把网页洗成干净 Markdown 再喂给模型。 做 RAG 或做 agent 抓数据，最难的不是拿到 HTML，而是把导航栏、广告、弹窗一堆噪声去掉，留下真正有内容的那段。Crawl4AI 就是冲着这件事写的：输出直接是带结构信息的 Markdown，还能按 CSS / XPath / LLM 三种方式抽字段。仓库 Python 写的，Apache-2.0，当前约 8.7 万星（以 GitHub 为准），最新版本 v0.9.5（2026-10）。