佬的项目有链接吗，想注册登录学习一下

我也没用ai爬，只是让ai搜集了所有的网站栏目，然后让ai写的脚本每天定时抓更新内容。爬取过程不调用ai。但是robots限制的网站ai不愿意给我写脚本爬 ^-^

目前大部分是通过RSS采集的，但还有一部分没有的ai爬不到

让ai写爬虫脚本好像也不行吧，网站有robots协议的过不去

因为不是只爬一个网站，我在做全球新闻搜集，总共接近1000个新闻网站和官网，每天定时爬最新的新闻报道。用ai帮我抓固定栏目定时采集。其中有一部分是有robtos协议限制的，ai读取后就退出爬取了。

ai自身道德不愿意爬。。。。。。