遇到一个selenium都解决不了的问题哎，想问一下crossin先生

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

楼主

发表于 2018-10-26 00:50:56 |显示全部楼层

这里不会自动跳过去吗？如果一直卡这里，那的确没办法抓到。肯定对方做了很严格的检测

这个一时看不出问题

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

沙发

发表于 2018-10-26 19:51:59 |显示全部楼层

JasonYeung 发表于 2018-10-26 01:12
会调过去的，但是跳过去之后的page_source不是检查元素里面的内容

那就奇怪了。那你看看是不是有 iframe ，包含在另一个网页中
一般来说如果网页已经切过去了，那应该能拿到的

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

板凳

发表于 2018-10-28 12:54:09 |显示全部楼层

JasonYeung 发表于 2018-10-27 22:17
搞不懂..我有找到了其他三个的国外代理网站
想请问一下，crossin先生你的服务器上IP池里的存活IP量一般时 ...

我的系统上是退出子线程，但我不确定你的系统里是不是，你可以自己写个简单代码验证下

免费代理IP的可用量通常是相当低的，我们之前是抓了几万个，一般也只有几十个可用，还得不停更新
所以如果自己随便用用也够了，如果要优化一下，定时验证机制是要再设计一下的

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

GMT+8, 2024-5-4 14:28 , Processed in 0.024506 second(s), 22 queries .

Powered by Discuz! X2.5

		自动登录	找回密码
密码			立即加入