请选择 进入手机版 | 继续访问电脑版
设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 4267|回复: 5

爬虫自动爬到其他网页上是怎么回事

[复制链接]

22

主题

6

好友

242

积分

中级会员

Rank: 3Rank: 3

发表于 2018-4-25 22:28:38 |显示全部楼层
刚开始在看爬虫介绍的时候,说爬虫自己从页面中找到其他页面的入口(url)然后再进到这个页面里爬这个页面的东西,像这样的从一个网页爬到另一个网页这是自动爬取的?
还是说是人工在程序里编程的时候 先获取到这个页面的所有url,再写段代码爬取这些url页面 然后再手动获取这个页面里的url 再写段代码爬这些新得到的url,然后如此反复。
不管是requests 还是scrapy 哪个都好,关于这个从一个页面再爬到其他页面这个操作 是程序自动完成的还是我们自己手动编写代码实现的啊
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-4-25 23:15:34 |显示全部楼层
看你自己的目的啊,如果你就要随意去抓所有页面,那当然自动去抓
如果你有目的就是要抓某类链接,那就按需求去开发
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

22

主题

6

好友

242

积分

中级会员

Rank: 3Rank: 3

发表于 2018-4-26 00:20:48 |显示全部楼层
crossin先生 发表于 2018-4-25 23:15
看你自己的目的啊,如果你就要随意去抓所有页面,那当然自动去抓
如果你有目的就是要抓某类链接,那就按需 ...

随意抓所有页面,自动抓   这个是怎么实现的 什么原理    是scrapy框架里自带的功能吗
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-4-26 13:59:45 |显示全部楼层
人工智能 发表于 2018-4-26 00:20
随意抓所有页面,自动抓   这个是怎么实现的 什么原理    是scrapy框架里自带的功能吗 ...

把页面上的链接提取出来
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

22

主题

6

好友

242

积分

中级会员

Rank: 3Rank: 3

发表于 2018-4-26 19:05:14 |显示全部楼层
crossin先生 发表于 2018-4-26 13:59
把页面上的链接提取出来

嗯,说到底还是人工操作的啊
回复

使用道具 举报

174

主题

45

好友

10万

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2018-4-27 12:26:03 |显示全部楼层
人工智能 发表于 2018-4-26 19:05
嗯,说到底还是人工操作的啊

这个,就一行代码吧
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-3-29 04:01 , Processed in 0.024626 second(s), 22 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部