爬取时光网数据出现异常

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

楼主

发表于 2018-5-29 00:55:31 |显示全部楼层

应该是代理里采集的ip失效了（或者可能当时就写死了几个ip），导致请求失败

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

沙发

发表于 2018-5-30 10:48:57 |显示全部楼层

fa2003 发表于 2018-5-30 02:09
而且是连续几天都不行，我目前正在找开源的IP池来解决这个问题。用的haipproxy，但感觉太复杂了，装了2天还 ...

如果你自己练习，请求量不大，可以跳过proxy
请求量大的话那要用

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

板凳

发表于 2018-6-3 12:46:02 |显示全部楼层

fa2003 发表于 2018-6-3 03:32
老师用了其他代理池还是被时光网ban了。打算换ADSL服务器方案了。这方面有性价比高的服务器代理商吗？方便 ...

这方面服务器我也没用过，没有过这么大量且频繁的请求需求

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

GMT+8, 2024-5-5 10:34 , Processed in 0.023855 second(s), 21 queries .

Powered by Discuz! X2.5

		自动登录	找回密码
密码			立即加入