什么样规模的爬虫才用scrapy呢

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

楼主

发表于 2018-4-11 12:05:36 |显示全部楼层

不需要用
并行数量可以自己通过多线程里的线程数来控制，或者适当增加请求间隔

当然你如果为了学习和练习 scrapy 那也没问题

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

GMT+8, 2024-5-5 02:10 , Processed in 0.014528 second(s), 21 queries .

Powered by Discuz! X2.5

		自动登录	找回密码
密码			立即加入