Crossin的编程教室

标题: 什么样规模的爬虫才用scrapy呢 [打印本页]

作者: 人工智能 时间: 2018-4-10 17:31
标题: 什么样规模的爬虫才用scrapy呢
我现在要爬取大概300个页面的内容吧
我现在是找到了网页url规律循环生成url然后准备循环爬取这些网页大概 300个url吧  我是应该用scrapy呢
还是用 requests+BeautifulSoup呢
我得到这些url是循环爬取了46个url中的内容，得到了这300个url  我爬取这46个url 用的是requests+bs
现在这300个再用 requests+bs是不是不太合适了还有我如果用requests+bs的话能限制并行数量吗

作者: crossin先生 时间: 2018-4-11 12:05
不需要用
并行数量可以自己通过多线程里的线程数来控制，或者适当增加请求间隔

当然你如果为了学习和练习 scrapy 那也没问题

作者: zhaolehua 时间: 2018-4-11 14:56
scrapy用的异步IO，你用它会比你的多线程或者多进程快一些，而且不用考虑锁的问题

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)