求助！知乎网页有了加密吗？源码里面没内容了

爬虫初学者

今天爬取知乎用户的回答时，遇到了新的问题，查看网页源码发现里面内容都变动了，例如想要爬取知乎管家的回答问题，链接：https://www.zhihu.com/people/zhihuadmin/answers。

查看网页源码的时候发现已经没有了原来的结构化内容（原来是一条内容对应一个title，以及回答的问题的各种信息，一页展示20条回答），现在源码里什么都没有了，没办法用正则语言抓去内容了。尝试了beautifulsoup等方法也还是请求不到内容，可是在检查的时候内容都是呈现在开发者工具中的，希望老师可以给予解答，该怎么抓取回答过的问题呢？

爬虫初学者

crossin先生 发表于 2021-1-5 13:36
数据是通过ajax异步请求的，通过开发者工具的network可以去抓包
这篇里有简单介绍过：
https://zhuanlan.zh ...

谢谢你！可是我只是想爬取回答页面，是一个静态页面，没有涉及到ajax。

现在发现知乎的网页改了，比如：https://www.zhihu.com/people/zhihuadmin/answers，原来会含有页面加载的全部信息，现在不行了，直接解析解析不到内容了，用beautifulsoup也没有用，您看有解决方法吗？

爬虫初学者

crossin先生 发表于 2021-1-6 23:59
https://mp.weixin.qq.com/s/ou-SkjIHFS5Ie0u9esRzJw
付费班的爬虫小组这周开始，这个在我们的爬虫任务里算 ...

我能知道你的意思呀，可是你看那条ajax的链接是打不开的呀

爬虫初学者

Luna小鹿 发表于 2021-1-7 23:22

我把能加的headers都加了，打开了，非常感谢你！
也非常谢谢crossin先生！