Python Crawl4AI 把任意网页转成大模型友好Markdown
做 RAG 或智能体的第一道坎就是网页抓取:requests 拿回来的是导航栏、页脚、广告脚本混杂的原始 HTML,直接塞给大模型既费 token 又拉低质量;传统爬虫框架解决的是「怎么爬」,从没认真解决「爬下来之后怎么喂给模型」。写一套干净的去噪、抽取、结构化流水线,每个项目都要重造一遍轮子。 Crawl4AI 是 GitHub 上星数最多的开源爬虫,专为大模型和 AI 智能体设计:把任何网站变成干净、LLM 友好的 Markdown。开源部分永久免费自托管,官方另有云服务...