Crossin的编程教室

标题: scrapy模拟登陆知乎出现问题 [打印本页]

作者: 电子菜鸟008 时间: 2017-3-30 15:38
标题: scrapy模拟登陆知乎出现问题
如题，模拟登陆知乎，已经输入验证码了，并且验证正确并成功登陆了，但是出现下面这个提示，然后代码就结束了，请问这是什么情况？

2017-03-30 14:45:49 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET
https://www.zhihu.com> - no more duplicates will be shown (see DUPEFILTER_DEBUG
to show all duplicates)

作者: crossin先生 时间: 2017-3-30 23:41
https://segmentfault.com/q/1010000002431559
这里有个跟你一样的问题

作者: 电子菜鸟008 时间: 2017-3-31 20:41

crossin先生发表于 2017-3-30 23:41
https://segmentfault.com/q/1010000002431559
这里有个跟你一样的问题

我没看懂他写的是什么意思？老师，我把代码发上来，你可以帮我看下吗？我现在的感觉就是登陆之后的代码好像没起作用，登陆之后代码就停止了

作者: crossin先生 时间: 2017-3-31 22:05

电子菜鸟008 发表于 2017-3-31 20:41
我没看懂他写的是什么意思？老师，我把代码发上来，你可以帮我看下吗？我现在的感觉就是登陆之后的代码好 ...

你先确认你scrapy的运行流程对不对，先熟悉流程再开始抓，不然出了错也不知道是哪里的问题。（所以一般不推荐一开始就用scrapy来做爬虫）

先在代码里加上输出，或者断点，调试你的程序，缩小定位错误的代码在哪里

作者: 电子菜鸟008 时间: 2017-4-1 09:24

crossin先生发表于 2017-3-31 22:05
你先确认你scrapy的运行流程对不对，先熟悉流程再开始抓，不然出了错也不知道是哪里的问题。（所以一般不 ...

找到问题点了，在提交表单的中的这句代码meta={'cookiejar':response.meta['cookiejar']}删掉就OK了，但是不太懂这句代码是什么作用

作者: crossin先生 时间: 2017-4-2 21:30

电子菜鸟008 发表于 2017-4-1 09:24
找到问题点了，在提交表单的中的这句代码meta={'cookiejar':response.meta['cookiejar']}删掉就OK了，但 ...

不太清楚。看上去像是被递归调用了

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)