标签 Scraper 下的文章

Scraper Scrapling 从单请求到全网爬取的一体化爬虫框架
项目
一、项目介绍 爬网页这件事，轻则被反爬挡在门外，重则为了一个字段写一整套绕过逻辑：动态渲染、指纹伪装、限流重试，每一项都费时。你想“抓点数据”，却陷进浏览器自动化的泥潭。 Scrapling 是一个 Python 爬虫框架，从单次请求到全站爬取统一处理：自适应选择 fetcher（含无头浏览器与轻量 HTTP 引擎）、自动处理反爬与限流、内置 shell 交互调试，还提供基于站点的 Spider（如 Shopify）与 AI 模式。要快用轻引擎，要稳用浏览器，一个框架两头兼顾...
Scraper douyin_tiktok_download_api 自托管抖音TikTok无水印下载
项目
一、项目介绍 做内容搬运、舆情分析或二次创作时，最常卡在“有水印”和“要登录”两件事上：平台默认下发的视频带水印，直接扒接口又频繁被风控，写一套签名算法维护成本极高。你想把抖音、TikTok、B 站的帖子、作者、评论、直播、榜单抓下来做分析，却不想天天跟 X-Bogus、A-Bogus 这些签名参数较劲。 douyin_tiktok_download_api 是一个自托管的采集与下载服务：一条 docker compose 拉起，自带身份池（identity pool）自动维...
Scraper firecrawl 把任意网页转成LLM可用数据的抓取服务
项目
一、项目介绍 用大模型做应用，最让人头疼的往往不是模型本身，而是喂给模型的网页数据。直接 requests 抓页面临时能用，一旦遇到 JavaScript 渲染、登录态、反爬限流、内容结构杂乱，工程成本就会爆炸式上升。开发者不得不在代理池、解析器、清洗脚本之间反复折腾，还没开始写业务就把一半精力耗在数据采集上。 Firecrawl 把这件事做成了标准化服务：给它一个 URL 或一组关键词，它负责处理代理轮换、JS 渲染、限流排队和结构化抽取，直接吐出干净的 Markdown、...