最近用codex在做一个油管视频分析的应用,就是拆解热门视频的主题、结构、脚本以及粉丝评论,找出用户感兴趣的点、为什么会火,所以要采集每天的热门视频,这个事用mcp来做应该简单。
今天在Github 闲逛,发现一个MCP爬虫工具brightdata-mcp,可以用codex、workbuddy等ai调用直接采集复杂的网页数据,还不需要处理反爬机制,我发现比python还好用,可以用到视频项目上。
研究了下,brightdata-mcp是一个专门处理采集复杂网页的mcp服务,可以部署在 claude、trae 上,它最厉害的在于可以绕过爬虫检测,不需要再自己配置ip池、处理验证码啥的,主打省心稳定。
我准备在codex上测试下,部署到我的油管视频分析agent里,看看效果怎么样。
可以看这个:网页链接aiagent爬虫

