听说现在AI爬虫很好用，有什么推荐的吗？

确实AI逐渐在替代人工进行数据爬虫开发，而且这个趋势会也来越快，你会发现诸如deepseek、claude这样的大模型在写爬虫脚本上很厉害，而且可以结合brightdata-mcp、playwright-mcp搭建数据采集agent，实现自动化采集数据。
这里介绍下为什么要用brightdata-mcp来协助ai搭建爬虫agent？ai爬虫的优势是能自主分析站点结构、动态调整爬取逻辑、解析非结构化数据，不用人工逐条写xpath或正则，可是它解决不了反爬、IP封禁、访问环境合规这些复杂问题。
而brightdata-mcp就可以处理这些爬虫限制，它的全球合规节点池、原生级浏览器指纹、自动适配的请求策略，能把爬取的底层稳定性拉满，不用我们额外花精力搭代理池、调指纹参数，省下来的时间全可以投入到爬虫 agent 的策略优化、数据解析逻辑打磨上。
你可以理解大模型是大脑，mcp是手脚，大脑负责指挥怎么采集数据，mcp负责解决具体的问题。