爬虫自动爬到其他网页上是怎么回事

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

楼主

发表于 2018-4-25 23:15:34 |显示全部楼层

看你自己的目的啊，如果你就要随意去抓所有页面，那当然自动去抓
如果你有目的就是要抓某类链接，那就按需求去开发

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

沙发

发表于 2018-4-26 13:59:45 |显示全部楼层

人工智能发表于 2018-4-26 00:20
随意抓所有页面，自动抓这个是怎么实现的什么原理是scrapy框架里自带的功能吗 ...

把页面上的链接提取出来

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

板凳

发表于 2018-4-27 12:26:03 |显示全部楼层

人工智能发表于 2018-4-26 19:05
嗯，说到底还是人工操作的啊

这个，就一行代码吧

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

GMT+8, 2024-5-12 23:12 , Processed in 0.017227 second(s), 21 queries .

Powered by Discuz! X2.5

		自动登录	找回密码
密码			立即加入