Scraper Scrapling 从单请求到全网爬取的一体化爬虫框架
一、项目介绍 爬网页这件事，轻则被反爬挡在门外，重则为了一个字段写一整套绕过逻辑：动态渲染、指纹伪装、限流重试，每一项都费时。你想“抓点数据”，却陷进浏览器自动化的泥潭。 Scrapling 是一个 Python 爬虫框架，从单次请求到全站爬取统一处理：自适应选择 fetcher（含无头浏览器与轻量 HTTP 引擎）、自动处理反爬与限流、内置 shell 交互调试，还提供基于站点的 Spider（如 Shopify）与 AI 模式。要快用轻引擎，要稳用浏览器，一个框架两头兼顾...