你是否曾经希望Claude能够自己去网上查找资料,像一个真正的研究助理那样?你提出一个主题,它自动搜索、浏览页面、收集信息,甚至还能截图保存证据。最后给你一份带有来源引用的研究报告。

现在有一个工具可以实现这个愿景。mcp-webresearch是一个MCP服务器,它让AI能够自主进行网络研究。配置好之后,你只需要给AI一个研究主题,它就会执行Google搜索,访问相关页面,提取内容,并记录下整个研究过程。你甚至可以通过预设的提示词模板,引导AI进行更系统、更深入的研究。

项目基本信息

信息项详情
项目名称mcp-webresearch
GitHub地址https://github.com/Hawstein/mcp-webresearch
项目描述MCP web research server (give Claude real-time info from the web)
作者Hawstein (Fork from mzxrai)
开源协议MIT License
开源状态公开状态
LanguagesJavaScript 100.0%
支持平台Windows / macOS / Linux
最后更新2026-04-26

一、项目介绍

mcp-webresearch是一个基于Node.js的MCP服务器,专门为AI客户端提供网络研究能力。它的核心功能是让AI能够自主执行“研究”这个复杂任务:搜索、浏览、记录、迭代。这个项目是从mzxrai/mcp-webresearch复刻(Fork)而来的,原作者是mzxrai,复刻者Hawstein主要进行了bug修复和维护。

这个服务器提供了三个核心工具:

search_google(搜索工具)

执行Google搜索并提取搜索结果。输入一个查询词,它会返回相关的搜索结果列表,包括标题、链接和摘要信息。这是整个研究流程的起点,AI通过它来发现相关的网页资源。

visit_page(页面访问工具)

访问一个具体的URL并提取页面内容。这个工具使用Playwright来渲染页面,因此可以处理JavaScript动态加载的内容。它还支持takeScreenshot参数,设置为true时会在访问页面的同时截取屏幕截图。截图会作为MCP资源保存下来。

take_screenshot(截图工具)

对当前浏览器页面进行截图。这个工具没有参数,它会对最近访问的页面进行截图。截图同样作为MCP资源保存。

除了这三个工具,这个服务器还提供了一个很有用的功能:一个名叫agentic-research的预设提示词模板。你可以通过Claude Desktop的附件菜单(纸夹图标)选择这个模板。它会引导AI按照以下原则进行研究:

  • 从宽泛的搜索开始,理解主题的整体情况
  • 优先使用高质量、权威的信息源
  • 根据找到的结果迭代地调整研究方向
  • 在研究过程中与你互动,让你指导方向
  • 始终用URL标注信息来源

这个服务器还暴露了两个MCP资源:截图和研究会话记录。研究会话记录包含了所有的搜索查询、访问过的页面、提取的内容、截图和时间戳。这意味着AI可以看到自己的“研究足迹”,用户可以随时检查研究过程。

二、核心优势

自主的研究能力

这是这个项目最突出的特点。它不仅仅是给AI提供了搜索和抓取工具,而是通过研究会话跟踪和预设提示词,让AI能够进行有目的、有步骤的探索。AI可以记住自己访问过哪些页面,搜索过哪些关键词,从而做出更明智的下一步决策。

截图支持

很多MCP抓取工具只返回文本内容。mcp-webresearch的截图功能很有价值。当AI研究一个网页的布局、设计、或者某个视觉元素时,截图可以作为证据保存下来。这些截图会作为MCP资源暴露,用户可以在Claude Desktop中直接查看。

研究过程的可视化

通过研究会话资源,你可以清晰地看到AI做了什么:搜索了哪些关键词、访问了哪些页面、在什么时候做的。这种透明性对于需要验证AI信息来源的场景很重要。

简单的配置

配置只需要在Claude Desktop的配置文件中添加几行JSON,然后重启即可。不需要申请API密钥(注意:Google搜索似乎不需要官方API密钥,可能使用了非官方的方式,请注意合规性)。

轻量级

项目代码量小,依赖主要是Playwright(用于浏览器渲染)。启动速度快,资源占用低。

开箱即用的研究提示词

agentic-research提示词模板为用户提供了一个现成的研究方法论。即使你不熟悉如何引导AI进行研究,这个模板也能让AI表现出相当专业的研究行为。

三、适用场景

深度主题研究

当你需要了解一个不熟悉的领域时,可以让AI先去做初步研究。例如:“研究一下‘边缘计算在工业互联网中的应用现状’,采用agentic-research的方式。” AI会自行搜索、阅读相关文章,然后给你一份综合报告。

事实核查与证据收集

当你看到一篇文章或一个观点,想验证其真实性时,可以让AI去搜索权威来源。例如:“帮我查证‘全球变暖导致北极冰川融化速度加快’这个说法,从Reuters或AP等权威新闻机构找证据。” 它可以提供带有链接的证据。

竞品分析

市场分析师可以让AI研究竞争对手。例如:“调查一下我们的主要竞争对手‘公司X’和‘公司Y’最近一个月发布的新闻和产品更新。” AI会收集相关信息,并可能附上相关新闻页面的截图。

创建带参考材料的简报

在准备报告或演示文稿时,可以让AI收集相关的背景数据和案例。例如:“为‘人工智能在医疗影像诊断中的应用’这个主题收集最新进展、主要公司和效果数据,我需要带引用的内容。”

学习助手

学生可以用AI来研究复杂的课题。例如:“研究一下‘量子计算的基本原理’,不要只搜索一两个页面,多找几个来源,然后给我一个容易理解的解释。”

自动化监测

虽然没有调度功能,但你可以手动触发AI去定期研究某个话题。例如:“今天关于‘大语言模型’领域有什么新的研究论文或重大新闻吗?”

四、安装教程

前置准备

在开始之前,请确保:

  • 你的系统上安装了Node.js 18或更高版本。你可以通过node -v检查。
  • 你已经安装并配置好了Claude Desktop应用。
  • (可选)如果你在Windows上使用,可能需要安装Microsoft Visual C++ Redistributable,因为Playwright依赖它。

第一步:配置Claude Desktop

找到Claude Desktop的配置文件:

  • macOS: ~/Library/Application\ Support/Claude/claude_desktop_config.json
  • Windows: %APPDATA%\Claude\claude_desktop_config.json
  • Linux: ~/.config/Claude/claude_desktop_config.json

用文本编辑器打开这个文件。如果文件不存在,创建一个。

第二步:添加服务器配置

mcpServers对象中添加以下条目:

{
  "mcpServers": {
    "webresearch": {
      "command": "npx",
      "args": ["-y", "@mzxrai/mcp-webresearch@latest"]
    }
  }
}

注意:这里使用的是原作者的包名@mzxrai/mcp-webresearch。复刻者Hawstein没有发布自己独立的npm包。

第三步:重启Claude Desktop

完全退出Claude Desktop应用(不仅仅是关闭窗口),然后重新启动。

第四步:首次运行

当你第一次让Claude使用这个服务器时,npx会自动下载所需的包(包括Playwright)。下载可能需要一些时间,请耐心等待。Playwright还会在首次运行时下载浏览器二进制文件。

第五步:验证安装

重启Claude后,你可以发送一个简单的测试请求:

“Use the webresearch MCP to search Google for 'latest news about artificial intelligence'.”

如果配置成功,Claude应该会调用search_google工具并返回结果。

使用预设的“研究”提示词

为了获得更好的研究效果,你可以使用agentic-research提示词模板。步骤如下:

  1. 在Claude Desktop的聊天输入框中,点击纸夹图标(附件按钮)。
  2. 选择 Choose an integration
  3. 选择 webresearch
  4. 选择 agentic-research

这会自动填充一个结构化的提示词。然后你就可以根据这个提示词,告诉AI你具体想研究什么了。

注意:Windows用户的特殊说明

根据Playwright的文档,Windows用户可能需要安装Visual Studio 2022的Visual C++ Redistributable。如果运行时出现错误,请安装后重启。

五、使用示例

配置完成后,你可以通过以下几种方式使用。

示例一:直接要求AI搜索

你可以直接命令AI进行搜索,而不使用预设提示词。

“Search Google for 'best practices in React 19' and give me the top 3 results with titles and URLs.”

AI会调用search_google工具,返回搜索结果。然后你可以基于这些结果,要求它进一步访问某个页面。

示例二:访问页面并截图

“Visit the page at https://claude.ai/changelog, take a screenshot of it, and then describe what you see in the screenshot.”

AI会先调用visit_page(可能设置takeScreenshot: true),然后调用take_screenshot(或者截图是自动的)。截图会作为资源保存。AI会描述截图内容。

示例三:使用agentic-research提示词进行独立研究

这是最强大的用法。

  1. 点击纸夹图标 -> Choose an integration -> webresearch -> agentic-research。
  2. 提示词填充后,在末尾加上你的研究主题。例如:“Research the current state of serverless computing in 2025. Focus on cost, performance, and major providers.

AI会开始研究。你可能会看到它自动执行以下操作:

  • 调用search_google
  • 基于第一个搜索结果,调用visit_page阅读文章。
  • 记录下研究会话。
  • 可能再次搜索更具体的关键词。
  • 最后,给你一份综合性的回答,并引用它访问过的页面URL。

示例四:查看研究会话记录

在研究过程中或研究结束后,你可以问:

“Show me what pages you have visited during this research session.”

AI可以访问MCP的资源系统,列出研究会话中记录的所有URL和时间戳。

示例五:迭代式研究

你可以引导AI的研究方向。例如,在AI完成第一轮搜索后,你说:“Based on what you found so far, focus more on the security aspects of serverless computing.” AI会根据你的指示,使用新的关键词再次搜索和阅读。

六、常见问题

搜索返回空结果或失败

Google可能有反爬机制,或者搜索语法有问题。这个工具使用的是非官方的搜索方式,可能会被Google临时封锁。解决方法:

  • 等待几分钟再试。
  • 检查网络连接,确保可以访问Google。
  • 使用更具体的搜索词。
  • 如果问题持续,可以考虑修改代码使用官方Custom Search JSON API(但这需要API密钥)。

页面访问或截图失败

这通常是Playwright的问题。尝试以下步骤:

  1. 在命令行中运行npx playwright install,手动确保浏览器已安装。
  2. 对于某些网站,可能因为SSL证书或反爬而无法访问。检查是否可以正常访问该URL。
  3. 增加超时时间。目前的实现可能没有暴露超时参数。

Claude Desktop日志中出现“spawn npx ENOENT”错误

这意味着系统找不到npx命令。确保Node.js已正确安装,并且其bin目录在你的PATH环境变量中。可以尝试在配置中使用完整路径:

"command": "/usr/local/bin/npx"

研究过程中AI表现得不“自主”

AI的行为很大程度上依赖于提示词。agentic-research提示词模板已经包含了很好的研究策略。如果你直接使用问题,而不是使用这个模板,AI可能只会做一次搜索就停止。建议始终使用agentic-research提示词来引导AI。

截图保存后在哪里查看?

截图作为MCP资源存在。在Claude Desktop中,你可以:

  • 在对话中,点击截图资源链接。
  • 或者在聊天中直接问:“Show me the last screenshot you took.” AI会提供资源标识符。

项目不再更新怎么办?

这个项目是原项目的复刻(Fork)。原作者可能不再维护。复刻者Hawstein最近一次更新是在2025年4月27日,修复了search_google工具。你需要关注复刻的版本。如果未来出现大范围的问题,你可能需要自己动手修复或寻找替代方案。

七、总结

mcp-webresearch是一个有趣的概念验证项目。它展示了如何通过MCP让AI进行半自主的网络研究。虽然目前只有4个star,而且作者自己也承认是“pre-alpha”质量,但它的设计思想很有启发性。

我特别喜欢agentic-research提示词和研究会话追踪的设计。这不仅仅是把工具暴露给AI,而是定义了一个工作流程。AI可以根据这个流程规划自己的步骤,并利用会话记录来避免重复劳动。这种“工作流”的思想,比单纯给AI一堆工具要更高级。

截图支持也是一个亮点。很多时候,我们不仅需要文本内容,还需要视觉信息(比如网页布局、产品图片、图表)。通过截图,AI可以“看到”它访问过的页面,或者你可以自己查看截图来验证AI的描述。

当然,这个项目也有很多局限性。它依赖于非官方的Google搜索,稳定性是个大问题。项目活跃度不高,主要靠复刻者进行bug修复。没有提供写入或导出研究结果的工具。但作为一个免费、开源、轻量级的工具,它已经提供了一个不错的基础。

如果你喜欢自己动手捣鼓AI,或者你想研究如何构建一个研究代理(Research Agent),这个项目是一个不错的起点。你可以基于它,扩展出更稳定的搜索后端、更多样的研究策略、以及结果的导出功能。

标签: 内容抓取

已有 33 条评论

    1. KennethAllen KennethAllen

      The project hasn't been updated in a few months. Forker might have moved on.

    2. DonnaYoung DonnaYoung

      For a pre-alpha, it's surprisingly usable. I use it weekly.

    3. StevenKing StevenKing

      The concept of research session as an MCP resource is very clever.

    4. MichelleWright MichelleWright

      Compared to paying for a researcher API, this is free and works decently.

    5. BrianScott BrianScott

      The prompt engineering inside agentic-research is worth studying on its own.