简介:本文介绍 MCP 如何连接模型与外部工具,以 brightdata-mcp 为例讲解在 Cursor 或 Trae 中的配置步骤和排错方法,并说明采集时的 Token 成本与合规边界,读完即可完成第一次采集。
MCP(Model Context Protocol,模型上下文协议)规定了大模型与外部工具之间的连接方式。在它出现之前,每接入一个工具,开发者都要单独定义函数签名、参数格式和返回结构。工具越多,适配代码越多,而且很难复用。
MCP 把这套关系分成三个角色:
| 角色 | 职责 | 举例 |
|---|---|---|
| Host(宿主) | 承载对话界面的应用 | Cursor、Trae、Claude Desktop |
| Client(客户端) | 与 Server 建立连接,转发工具调用 | Host 内部的协议实现 |
| Server(服务端) | 暴露具体工具与数据源 | brightdata-mcp、文件系统 MCP |
传输层通常有两种方式。stdio 在本地启动进程,配置简单,适合单机使用。SSE 或 Streamable HTTP 连接远程服务,可以跨机器共享。两者在不同客户端中的支持情况不同,接入前请在客户端文档中确认。
图像识别、语音等 AI 能力也可以封装成远程 MCP Server。只要一项能力能用 API 描述,就能以同样的方式接入。
传统爬虫的工作量往往不在请求本身,而在对抗环节:代理 IP 的采购与轮换、验证码识别、浏览器指纹处理,以及被封禁后的重试与降级。这些工作与业务逻辑无关,却会占去项目的大量精力。
brightdata-mcp 把这一层放到服务端。使用者发出“打开某个 URL 并提取正文”的工具调用,代理调度和页面渲染等待由服务方处理,返回的是结构化结果。使用者的直接变化有四点:
适用边界也要说清楚。这类工具适合采集公开数据、已获授权的数据,以及你有权访问的页面。它不能替代你自己的合规判断。计费方式、免费额度和配额规则会调整,请以官网为准。
两个客户端的配置逻辑一致:在配置文件中声明 MCP Server,客户端启动时按声明拉起服务。
第一步:获取凭证。 在 brightdata 控制台创建 API Token。按最小权限原则配置,只开启实际需要的数据范围,并定期轮换。
第二步:找到配置文件。 Cursor 可以使用项目根目录的 .mcp.json,也可以使用全局的 ~/.cursor/mcp.json。Trae 可以在设置面板的 MCP 标签页中添加,也可以直接编辑 JSON。
第三步:写入 Server 配置。 以本地 stdio 方式为例。官方 npm 包名为 @brightdata/mcp,Token 对应的环境变量名为 API_TOKEN。这两项以官方文档为准,版本更新后可能变化。
{"mcpServers": {"brightdata": {"command": "npx","args": ["-y", "@brightdata/mcp"],"env": {"API_TOKEN": "你的 Token"}}}}
运行环境需要本机安装 Node.js,建议使用官方文档要求的 LTS 版本,并确认 npx 在 PATH 中可用。Token 应放在环境变量中。如果配置文件位于项目仓库里,不要把真实 Token 提交到版本库。
第四步:确认工具已加载。 保存后,在对话窗口的工具列表中应能看到该 Server 提供的抓取类工具。如果列表为空,可以对照下表排查:
| 现象 | 可能原因 | 处理方法 |
|---|---|---|
| 工具列表为空 | Node 不在 PATH 中 | 在终端运行 node -v 和 npx -v,确认能输出版本号 |
| 启动后报鉴权错误 | Token 过期或拼写错误 | 在控制台重新生成,检查环境变量名是否为 API_TOKEN |
| 连接超时 | 网络无法直连服务端 | 检查本机代理设置,并在客户端中确认代理配置 |
| 找不到包 | 包名错误或版本不存在 | 核对官方文档中的包名,必要时清理 npx 缓存后重试 |
| 工具可见但调用被拒 | Token 权限范围不足 | 在控制台检查该 Token 的数据范围和功能权限 |
如果使用远程服务,配置会改为 URL 方式,字段名称和结构取决于客户端版本。远程方式适合团队共用一个服务,但 Token 会经过网络传输,应确认服务端使用 HTTPS。
第五步:开始对话式采集。 例如:
抓取 https://example.com/products 页面,提取每个商品的名称、价格、库存状态,输出为 Markdown 表格,并标注抓取时间。
模型会自行决定调用哪个工具、传入什么参数,再整理成你需要的格式。需要多页时,可以追加“翻页抓取前 5 页并去重”。
Token 成本。 网页正文通常很长,一次抓取消耗的 token 取决于页面长度、字段数量和所用模型。长上下文还会增加后续每轮对话的计费。建议先用模型提供商的 token 计数工具实测一次单页消耗,再决定批量任务的规模。提示词中可以这样约束输出:
只返回 JSON 数组,字段限定为 name、price、stock,不要复述页面原文,不要输出解释。
模型的稳定性。 抓取任务要求模型稳定输出合法的 JSON 参数,并在工具调用失败后自行修正。参数复杂或调用链较长时,不同模型的表现差异较明显。建议先用小样本测试,再扩大规模。
合规边界。 目标站点的 robots.txt、服务条款、个人信息保护规定和版权要求都需要遵守,责任在使用方。本教程不支持也不建议借助这类工具绕过验证码、登录限制、付费墙或 robots 规则。涉及用户隐私的数据,应先评估采集的必要性,避免整站镜像。公开数据用于内部分析,风险相对较低。
工具数量。 MCP 的工具描述会占用上下文窗口。同时挂载几十个工具,会压缩有效对话空间。建议按项目拆分配置,需要时再启用。
MCP 让模型调用外部工具变成了配置问题。之后的瓶颈主要在模型本身,包括推理质量、工具调用稳定性和长上下文成本。采集流程跑通后,可以先用小规模数据比较不同模型的成功率和单次成本,再决定把哪类任务交给哪个模型。
相关工具(推广):如果需要统一接入多个模型并比较价格与性能,可以参考百度智能云词元所。该链接为推广内容。