- xsbati2026-09-15
arxiv下论文，一开始用瓦工可以的，估计并发太多了，下载2，300篇之后，直接429了，3天没解封。
用racknerd，cc，ovh……这些机房ip通通直接429.瓦工一开始还是200.
直连不用代理，大陆ip也是直接429.
这是逼我买国外家宽ip吗？
进来的兄弟可以帮忙试试，下面的命令，你的代理vps能够curl出 200 状态码 吗？```
curl -sS -m 45 -w '\nhttp=%{http_code} time=%{time_total}\n' \
-A 'FEEDS/probe-once' \
-o /tmp/arxiv.xml \
'https://export.arxiv.org/api/query?search_query=cat:cs.CL&max_results=1'主楼 - LUCAS-UM092026-09-15
你家宽高并发应该也封的
- xsbati2026-09-15
- LUCAS-UM092026-09-15
这个真没招吧，export.arxiv.org这个接口就是拿来批量下载的，你都给搞风控了，只能等着解封了，或者你改改ua试试有用没
- xsbati2026-09-15
发布于9/15/2026, 11:47:15 PM
@xsbati #3 这个真没招吧，export.arxiv.org这个接口就是拿来批量下载的，你都给搞风控了，只能等着解封了，或者你改改ua试试有用没改ua的，没用，哈哈哈。只能等了。3天了，今晚再试一次，还是429，破防了。就来发帖。
- sv6cr2026-09-15
megabox```
curl: (28) Operation timed out after 45001 milliseconds with 0 bytes receivedhttp=000 time=45.001084
- xsbati2026-09-15
发布于9/15/2026, 11:36:28 PM
curl: (28) Operation timed out after 45001 milliseconds with 0 bytes received http=000 time=45.001084 ```这个是45秒内没返回，等同于429.我有vps就是第一次000，第二次就429了。基本属于服务器早就黑名单了，第一次懒得理你。 - sv6cr2026-09-15
- xsbati2026-09-15
发布于9/15/2026, 11:38:43 PM
crunchbitshttp=429 time=39.728130 - mbao-90282026-09-15
woc，第一次碰到 arxiv 大规模下载的，这是要干嘛，开镜像吗
- xsbati2026-09-15
发布于9/15/2026, 11:39:44 PM
woc，第一次碰到 arxiv 大规模下载的，这是要干嘛，开镜像吗跟踪agent相关几个订阅源的论文，下载，翻译，分析，结合现有项目给建议。自动化流程刚搭好，就被打了。
- jr0287402026-09-15
arxiv不支持这么刷，跟ip纯净度以及是不是家宽没关系。
- xsbati2026-09-15
发布于9/15/2026, 11:43:11 PM
arxiv不支持这么刷，跟ip纯净度以及是不是家宽没关系。国内直连可以下载吗？为什么国内N个宽带ip今晚试了一下，直接都429？因为国内宽带ipv4共用都脏了吗？
- jr0287402026-09-15
看21楼。
- xsbati2026-09-15
发布于9/15/2026, 11:48:27 PM
@xsbati #11 别折腾这个api了，什么ip都会被rate limited.
试试别的方法，比如用selenium去请求真实页面。过一个星期不解封，再来折腾。
- sv6cr2026-09-15
暴论：
https://www.nodeseek.com/post-701515-3#21:
自由开源软件比科学更自由更开放
放弃科学，拥抱自由开源软件
https://www.nodeseek.com/post-707287-1#3:
暴论：硬件，电子，固件，工艺这些软件之外的工程体系和软件不一样，它们尖端工程技术都是不自由闭源专有的。例如硬件的核弹火箭轮船，电子的ASML的光刻机，固件的nvidia显卡的固件，工艺见光刻机。不像软件的尖端技术：linux内核（曾经是，现在或许是闭源的AI吧，害），是自由开源软件。除软件之外的体系都是死胡同，不得大逍遥。这也是为啥现在大学无用的原因之一，工程技术都被大企业与国家敝帚自珍。想象一下，大学里的集成电路知识全是20年前的，最近的只有大公司偶尔发的几点残羹剩饭论文，这样的大学能学个屁呢。还有科学界也是被工程界的恶臭沾染，软件论文不给源码我也是呵呵了。自由开源软件比科学与工程更开放更自由
https://www.nodeseek.com/post-514943-4#36：
直接掀桌子，自由开源卷死一切，让所有人都赚不了钱。哪怕工作996，空闲时间只够一周修一个自由开源软件的BUG，星星之火也可燎原。让自由开源再次伟大！自由开源软件，自由开源固件（做梦），自由开源硬件（给Arduino烧纸中），自由开源工艺（做梦），自由开源军事。最极致的卷，圣贤先辈们早就已经为我等指明了道路，放弃一切，自由开源！若为自由故，一切皆可抛。若我已无路可走，我要让所有人都无路可走，再卷卷的过自愿当奴隶的自由开源软件贡献者？要死一起死，谁都别想活。卷死他们
- Kap2026-09-15
并发高了触发风控是很正常的事情, 家宽ip也没有免死金牌
- xsbati2026-09-15
- sv6cr2026-09-15
- LUCAS-UM092026-09-15
我记得国内不是有镜像站吗，现在没人维护了？
- sv6cr2026-09-15
- KEVI2026-09-15
不会一直 429 的，下午两点后再试试
- xsbati2026-09-15
- sv6cr2026-09-15
- jr0287402026-09-15
- xsbati2026-09-15
发布于9/15/2026, 11:53:52 PM，编辑于9/15/2026, 11:54:07 PM
arxiv对每个api请求有3秒的限制，而且不让并发请求:
https://info.arxiv.org/help/api/tou.html
对的，我被封了才去搜规则。大意了。