设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
12
返回列表 发新帖
楼主: 爬虫初学者
打印 上一主题 下一主题

求助!知乎网页有了加密吗?源码里面没内容了

[复制链接]

1

主题

0

好友

19

积分

新手上路

Rank: 1

板凳
发表于 2021-1-5 17:15:57 |只看该作者
本帖最后由 爬虫初学者 于 2021-1-5 17:18 编辑
crossin先生 发表于 2021-1-5 13:36
数据是通过ajax异步请求的,通过开发者工具的network可以去抓包
这篇里有简单介绍过:
https://zhuanlan.zh ...

谢谢你!可是我只是想爬取回答页面,是一个静态页面,没有涉及到ajax。

现在发现知乎的网页改了,比如:https://www.zhihu.com/people/zhihuadmin/answers,原来会含有页面加载的全部信息,现在不行了,直接解析解析不到内容了,用beautifulsoup也没有用,您看有解决方法吗?
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

沙发
发表于 2021-1-5 13:36:31 |只看该作者
数据是通过ajax异步请求的,通过开发者工具的network可以去抓包
这篇里有简单介绍过:
https://zhuanlan.zhihu.com/p/39340856

更详细的你需要去找点爬虫教程看一看,关键字就是 ajax、异步请求、抓包等。
爬虫教程都会提到这个的,是比较常见的方式。
我们的爬虫课程里也有专门一节讲这个的
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-5-19 16:43 , Processed in 0.017754 second(s), 21 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部