Crossin的编程教室

标题: 求助：抓取最新的商品列表问题 [打印本页]

作者: jasonwu 时间: 2014-1-2 15:14
标题: 求助：抓取最新的商品列表问题
目前在写一个小程序，采集最新的商品列表，通过scrapy定时采集，但是发现一个问题，感觉从商品发布到最后被抓取到会有一段时间的间隔，希望能尽量缩短这个时间差，还有哪些办法能做一些优化呢？目前时间已经设定为一分钟扫描一次。

作者: 今天手气不错啊 时间: 2014-1-3 08:52
缩短扫描时间

作者: jasonwu 时间: 2014-1-4 20:29

今天手气不错啊发表于 2014-1-3 08:52
缩短扫描时间

现在遇到的问题是，虽然每分钟都在抓取，但是总被对手抢先抓了去，比我的提前了1分多钟，商品后台发布到前台缓存更新有段时间，就是不知道对方是如何做到抢先的。。。我现在时间缩到15秒也不顶用啊，因为前端列表还没出来，刷不到的。。。

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)