设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 14589|回复: 5
打印 上一主题 下一主题

scrapy模拟登陆知乎出现问题

[复制链接]

4

主题

0

好友

44

积分

新手上路

Rank: 1

跳转到指定楼层
楼主
发表于 2017-3-30 15:38:57 |只看该作者 |倒序浏览
如题,模拟登陆知乎,已经输入验证码了,并且验证正确并成功登陆了,但是出现下面这个提示,然后代码就结束了,请问这是什么情况?

2017-03-30 14:45:49 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET
https://www.zhihu.com> - no more duplicates will be shown (see DUPEFILTER_DEBUG
to show all duplicates)

回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

沙发
发表于 2017-3-30 23:41:35 |只看该作者
https://segmentfault.com/q/1010000002431559
这里有个跟你一样的问题
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

4

主题

0

好友

44

积分

新手上路

Rank: 1

板凳
发表于 2017-3-31 20:41:42 |只看该作者
crossin先生 发表于 2017-3-30 23:41
https://segmentfault.com/q/1010000002431559
这里有个跟你一样的问题

我没看懂他写的是什么意思?老师,我把代码发上来,你可以帮我看下吗?我现在的感觉就是登陆之后的代码好像没起作用,登陆之后代码就停止了
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

地板
发表于 2017-3-31 22:05:50 |只看该作者
电子菜鸟008 发表于 2017-3-31 20:41
我没看懂他写的是什么意思?老师,我把代码发上来,你可以帮我看下吗?我现在的感觉就是登陆之后的代码好 ...

你先确认你scrapy的运行流程对不对,先熟悉流程再开始抓,不然出了错也不知道是哪里的问题。(所以一般不推荐一开始就用scrapy来做爬虫)

先在代码里加上输出,或者断点,调试你的程序,缩小定位错误的代码在哪里
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

4

主题

0

好友

44

积分

新手上路

Rank: 1

5#
发表于 2017-4-1 09:24:16 |只看该作者
crossin先生 发表于 2017-3-31 22:05
你先确认你scrapy的运行流程对不对,先熟悉流程再开始抓,不然出了错也不知道是哪里的问题。(所以一般不 ...

找到问题点了,在提交表单的中的这句代码meta={'cookiejar':response.meta['cookiejar']}删掉就OK了,但是不太懂这句代码是什么作用
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

6#
发表于 2017-4-2 21:30:00 |只看该作者
电子菜鸟008 发表于 2017-4-1 09:24
找到问题点了,在提交表单的中的这句代码meta={'cookiejar':response.meta['cookiejar']}删掉就OK了,但 ...

不太清楚。看上去像是被递归调用了
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-11-23 08:23 , Processed in 0.014490 second(s), 20 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部