设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 10000|回复: 1
打印 上一主题 下一主题

python代理和抓包的问题

[复制链接]

12

主题

1

好友

307

积分

中级会员

Rank: 3Rank: 3

跳转到指定楼层
楼主
发表于 2021-10-15 14:56:36 |只看该作者 |正序浏览
需求是这样的:原来selenium框架的爬虫脚本,是通过browsermobproxy做本地代理,抓请求来爬数据的。现在要接入代理池,但是代理池也用到了
chrome_options.add_argument('--proxy-server=%s' % proxy)
这个参数。 现在的问题是,怎么既能接入代理,又能抓包。
Snipaste_2021-10-15_14-55-46.png
用了网上的办法,不用chrome_options.add_argument('--proxy-server=%s' % proxy) 这个参数抓包,用其他的办法。可以是可以,但是不知道为什么,每次我接入代理,ip就被重置成本机了。
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

沙发
发表于 2021-10-16 00:56:19 |只看该作者
不太清楚,没有这样做过

不过接代理,ip是本机这个情况,你可以先单独拿代理请求试一下。可能跟你抓包部分无关,有些代理IP是透明代理,不会改变你的请求IP。所以先单独确认下代理请求部分是否可以
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-11-22 17:07 , Processed in 0.020122 second(s), 24 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部