设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 5231|回复: 1
打印 上一主题 下一主题

爬虫问题,遇到js内容怎么破?

[复制链接]

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

楼主
发表于 2018-4-25 23:16:39 |显示全部楼层
yuchang 发表于 2018-4-25 23:03
原来就是用这个方法的,但是有的网站好像不行。是在被窝电影网里爬,开发者工具里network xhr 刷新后有一 ...

那是你没找对链接

除了找url,还有个选择就是用 selenium 来做
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

沙发
发表于 2018-4-26 14:00:55 |显示全部楼层
yuchang 发表于 2018-4-25 23:30
啊啊,是的!我用了selenium里的webdriver方法。
browser = webdriver.Chrome()
browser.get(URL)

selenium有个设置可以不加载图片,速度会快很多
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-5-2 08:49 , Processed in 0.035182 second(s), 23 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部