如何分析ajax页面中js数据的生成, 为稍后python抓取做准备?

crossin先生

你现在用的方法，就是通常采集用的方法，去查看它发出去的请求，寻找规律，然后批量抓取。

你想从页面中的js了解它怎么生成的，这个chrome调试就帮不了你了，你只有去阅读它的js源代码分析。但其实这也并不是一个万能的方法。代码一样有可能更新。
你如果要深入分析，你现在的方式没什么问题，就是找头绪，一点点跟着代码走，找到它的核心代码。只不过这么搞肯定是挺费事的

crossin先生

anyone 发表于 2016-7-20 21:10
哦, 这么说来, 也许万能一些的做法就是浏览器模拟, 对吗?

不太清楚你说的浏览器模拟是什么。我觉得你现在用的方法，从开发者工具来找规律，就是一般爬虫采取的方法。

crossin先生

anyone 发表于 2016-7-21 13:50
浏览器模拟我也没有深入的学习, 比如: Selenium, 似乎是让页面包括js在一个模拟浏览器的环境下运行, 然后 ...

我没用过selenium，听上去你模拟浏览器的时候不还是需要人工参与吗，它又不能自动帮你分析链接。
你说的对方网站加字符串，或者加权限验证，这个显然没有万能方式吧。最多是，可以有东西帮你方便地提取请求，但这个chrome已经做得很好了。
你想直接看到别人代码里生成请求的东西，那不太可能