Crossin的编程教室»论坛 › Python › 爬虫 › 求助！爬虫爬取知乎关键字搜索的话题 json.loads出错 ...

查看: 3381|回复: 4

求助！爬虫爬取知乎关键字搜索的话题 json.loads出错

2 主题	0 好友	42 积分

新手上路

Rank: 1

发消息

电梯直达

楼主

发表于 2020-12-3 19:23:08 |只看该作者 |倒序浏览

在知乎中搜索关键字，然后使用json.loads解析搜索到的话题网页。

代码见上传的图片

尝试了许多方法却解决不了，是json语句的问题吗请问？

下载 (2).png (36.82 KB, 下载次数: 253)

代码

下载 (1).png (122.37 KB, 下载次数: 260)

出现的错误

下载.png (141.44 KB, 下载次数: 260)

json文件

截屏2020-12-03 19.14.20.png (115.1 KB, 下载次数: 250)

知乎关键字搜索

收藏0

使用道具举报

crossin先生

174 主题	45 好友	10万积分

管理员

Rank: 9 Rank: 9 Rank: 9

发消息

沙发

发表于 2020-12-4 21:10:58 |只看该作者

你这应该把 html_data 给输出出来，看看是不是正确，是没有请求到结果，还是结果不符合json标准，再做进一步处理

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

使用道具举报

zzz

2 主题	0 好友	42 积分

新手上路

Rank: 1

发消息

板凳

发表于 2020-12-7 10:56:34 |只看该作者

本帖最后由 zzz 于 2020-12-7 16:07 编辑

crossin先生发表于 2020-12-4 21:10
你这应该把 html_data 给输出出来，看看是不是正确，是没有请求到结果，还是结果不符合json标准，再做进一 ...

嗯嗯您说的我明白了，现在请求网页的时候会出现新的问题，现在遇到的问题就是403forbidden，请求头中都写入了user-agent和cooike，想请问下这是什么问题咧？按着网上的一些方法尝试了还是没有解决，主要是有的知乎界面的json请求的时候就很顺利，现在遇到这个问题就卡住了

再补充一点，就是这个“知乎搜索界面”中的json就算是双击点开也是error，已经不是程序的问题了，在chrome中点开也是显示的error，请问是什么问题咧？