求助：抓取最新的商品列表问题

3 主题	0 好友	47 积分

Rank: 1

电梯直达

楼主

发表于 2014-1-2 15:14:20 |只看该作者 |倒序浏览

目前在写一个小程序，采集最新的商品列表，通过scrapy定时采集，但是发现一个问题，感觉从商品发布到最后被抓取到会有一段时间的间隔，希望能尽量缩短这个时间差，还有哪些办法能做一些优化呢？目前时间已经设定为一分钟扫描一次。

21 主题	1 好友	373 积分

Rank: 3 Rank: 3

沙发

发表于 2014-1-3 08:52:17 |只看该作者

缩短扫描时间

3 主题	0 好友	47 积分

Rank: 1

板凳

发表于 2014-1-4 20:29:22 |只看该作者

今天手气不错啊发表于 2014-1-3 08:52
缩短扫描时间

现在遇到的问题是，虽然每分钟都在抓取，但是总被对手抢先抓了去，比我的提前了1分多钟，商品后台发布到前台缓存更新有段时间，就是不知道对方是如何做到抢先的。。。我现在时间缩到15秒也不顶用啊，因为前端列表还没出来，刷不到的。。。

		自动登录	找回密码
密码			立即加入