Crossin的编程教室

标题: 用selenium爬取网站遇到问题，真是没法子了，求帮助 [打印本页]

作者: 小小黑 时间: 2018-11-4 18:04
标题: 用selenium爬取网站遇到问题，真是没法子了，求帮助
网站地址：http://app1.sfda.gov.cn/datasear ... 2776432084296368957
爬取药监局的国产药品商品名下各药物的名称、规格、生产地（点击药名即可显示）等。模拟点击失败，没有超链接，js、Ajax没有数据，求帮助！！！

作者: crossin先生 时间: 2018-11-5 11:10
requests和selenium都尝试了下，确实不行，应该是网站对数据抓取做了特别的保护
直接访问地址，粗略判断了下，是有个前一次请求返回的 JSESSIONID 加上一个计算出的token来控制，要想伪造需要找到js的相关token计算代码
selenium不清楚是通过什么方式识别出来的，应该也是JS层面做了保护，可以具体去分析模拟发出的请求和正常的请求区别来寻找

这不是个简单的工作，即使学完我们的爬虫课可能也搞不定，包括我自己不花上一定时间去分析它网站的方法也没办法（花了时间也未必保证能成功）
所以，也只能帮到这了

作者: 小小黑 时间: 2018-11-5 20:01

crossin先生发表于 2018-11-5 11:10
requests和selenium都尝试了下，确实不行，应该是网站对数据抓取做了特别的保护
直接访问地址，粗略判断了 ...

谢谢谢谢我自己看了好几天，网上查了好多，试了很多办法也没搞定，

作者: 臧贵城 时间: 2018-11-6 15:58
selenium操作浏览器，会在浏览器状态中留下痕迹，可以参考下面这篇文章：
selenium是如何被发现的

作者: 小小黑 时间: 2018-11-6 21:46

臧贵城发表于 2018-11-6 15:58
selenium操作浏览器，会在浏览器状态中留下痕迹，可以参考下面这篇文章：
selenium是如何被发现的
...

谢谢啦很尴尬没看懂。。。

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)