使用scrapy怎么向使用requests一样使用代理IP呢

人工智能

如题，怕自己的IP被封掉 所以想用代理IP

crossin先生

帮你搜了下
https://blog.csdn.net/u011781521 ... tionNum=4&fps=1

人工智能

crossin先生 发表于 2018-4-3 13:46
帮你搜了下
https://blog.csdn.net/u011781521/article/details/70194744?locationNum=4&fps=1

好的我先学学看

人工智能

crossin先生 发表于 2018-4-3 13:46
帮你搜了下
https://blog.csdn.net/u011781521/article/details/70194744?locationNum=4&fps=1

用的requests库实现的爬虫 然后加了个代理  我怎么判断我的代理使用成功了呢
我这样写的：
r = requests.get(url, headers = kv, proxies = PXS, timeout=30)
PXS = {"https":"http://223.241.79.114:8010",
                        "https":"http://183.159.93.238:18118",
                        "https":"http://119.186.241.246:61234"
                   }

crossin先生

人工智能 发表于 2018-4-11 23:10
用的requests库实现的爬虫 然后加了个代理  我怎么判断我的代理使用成功了呢
我这样写的：
r = requests. ...

去网上找一些可以返回请求ip的网址，然后测试下它们给你的返回结果是不是代理的ip

人工智能

crossin先生 发表于 2018-4-12 11:38
去网上找一些可以返回请求ip的网址，然后测试下它们给你的返回结果是不是代理的ip ...

嗯 我去看看

人工智能

人工智能 发表于 2018-4-6 17:22
好的我先学学看

scrapy 设置代理IP这么麻烦，每次使用scrapy框架 都要重新设置代理？
难道使用scrapy的人每次都费这么大劲设置一下？还是说用scrapy都不用代理？
有没有什么简单的方法设置一下scrapy的代理呢