用selenium爬取网站遇到问题，真是没法子了，求帮助

小小黑

网站地址：http://app1.sfda.gov.cn/datasear ... 2776432084296368957
爬取药监局的国产药品商品名下各药物的名称、规格、生产地（点击药名即可显示）等。模拟点击失败，没有超链接，js、Ajax没有数据，求帮助！！！

crossin先生

requests和selenium都尝试了下，确实不行，应该是网站对数据抓取做了特别的保护
直接访问地址，粗略判断了下，是有个前一次请求返回的 JSESSIONID 加上一个计算出的token来控制，要想伪造需要找到js的相关token计算代码
selenium不清楚是通过什么方式识别出来的，应该也是JS层面做了保护，可以具体去分析模拟发出的请求和正常的请求区别来寻找

这不是个简单的工作，即使学完我们的爬虫课可能也搞不定，包括我自己不花上一定时间去分析它网站的方法也没办法（花了时间也未必保证能成功）
所以，也只能帮到这了

小小黑

crossin先生 发表于 2018-11-5 11:10
requests和selenium都尝试了下，确实不行，应该是网站对数据抓取做了特别的保护
直接访问地址，粗略判断了 ...

谢谢  谢谢   我自己看了好几天，网上查了好多，试了很多办法也没搞定，

臧贵城

selenium操作浏览器，会在浏览器状态中留下痕迹，可以参考下面这篇文章：
selenium是如何被发现的

小小黑

臧贵城 发表于 2018-11-6 15:58
selenium操作浏览器，会在浏览器状态中留下痕迹，可以参考下面这篇文章：
selenium是如何被发现的
...

谢谢啦   很尴尬  没看懂。。。