Crossin的编程教室

标题: 使用scrapy怎么向使用requests一样使用代理IP呢 [打印本页]

作者: 人工智能 时间: 2018-4-3 11:46
标题: 使用scrapy怎么向使用requests一样使用代理IP呢
如题，怕自己的IP被封掉所以想用代理IP

作者: crossin先生 时间: 2018-4-3 13:46
帮你搜了下
https://blog.csdn.net/u011781521 ... tionNum=4&fps=1

作者: 人工智能 时间: 2018-4-6 17:22

crossin先生发表于 2018-4-3 13:46
帮你搜了下
https://blog.csdn.net/u011781521/article/details/70194744?locationNum=4&fps=1

好的我先学学看

作者: 人工智能 时间: 2018-4-11 23:10

crossin先生发表于 2018-4-3 13:46
帮你搜了下
https://blog.csdn.net/u011781521/article/details/70194744?locationNum=4&fps=1

用的requests库实现的爬虫然后加了个代理我怎么判断我的代理使用成功了呢
我这样写的：
r = requests.get(url, headers = kv, proxies = PXS, timeout=30)
PXS = {"https":"http://223.241.79.114:8010",
"https":"http://183.159.93.238:18118",
"https":"http://119.186.241.246:61234"
}

作者: crossin先生 时间: 2018-4-12 11:38

人工智能发表于 2018-4-11 23:10
用的requests库实现的爬虫然后加了个代理我怎么判断我的代理使用成功了呢
我这样写的：
r = requests. ...

去网上找一些可以返回请求ip的网址，然后测试下它们给你的返回结果是不是代理的ip

作者: 人工智能 时间: 2018-4-12 21:41

crossin先生发表于 2018-4-12 11:38
去网上找一些可以返回请求ip的网址，然后测试下它们给你的返回结果是不是代理的ip ...

嗯我去看看

作者: 人工智能 时间: 2018-4-26 19:07

人工智能发表于 2018-4-6 17:22
好的我先学学看

scrapy 设置代理IP这么麻烦，每次使用scrapy框架都要重新设置代理？
难道使用scrapy的人每次都费这么大劲设置一下？还是说用scrapy都不用代理？
有没有什么简单的方法设置一下scrapy的代理呢

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)