Crossin的编程教室

标题: 请教一个简单爬虫问题 [打印本页]

---

作者: baibaoxuebao    时间: 2020-4-14 22:47
标题: 请教一个简单爬虫问题
为啥我这个爬虫输出的网络不给力，请稍后重试

1. import urllib.request
   
2. import urllib.parse
   
3. 
   
4. # 拼接URL
   
5. basedurl = "http://baidu.com/s?"
   
6. key = input("请输入要搜索的内容:")
   
7. 
   
8. # 进行urlencode()编码
   
9. wd = {"wd": key}
   
10. key = urllib.parse.urlencode(wd)
    
11. 
    
12. url = basedurl + key
    
13. headers = {"User-Agent": "Mozilla/5.0"}
    
14. 
    
15. # 创建请求对象
    
16. req = urllib.request.Request(url, headers=headers)
    
17. 
    
18. # 获取响应对象
    
19. res = urllib.request.urlopen(req)
    
20. html = res.read().decode("utf-8")
    
21. 
    
22. 
    
23. # 写入本地文件
    
24. with open("搜索.html", "w", encoding="utf-8") as f:
    
25.       f.write(html)
    
26. 
    

复制代码

打开 搜索.html 以后，这样的结果

---

作者: crossin先生    时间: 2020-4-15 11:54
你看是“百度安全验证”，应该是被识别出来屏蔽了请求
你可以换用 requests 库来做，并且加上 headers 信息

---

作者: crossin先生    时间: 2020-4-15 11:55
也可以换几个网站试试

---

作者: baibaoxuebao    时间: 2020-4-15 13:28

crossin先生 发表于 2020-4-15 11:54
你看是“百度安全验证”，应该是被识别出来屏蔽了请求
你可以换用 requests 库来做，并且加上 headers 信息 ...

谢谢，我换成知乎了，可以了。

---

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)

Powered by Discuz! X2.5