设为首页收藏本站

开启辅助访问切换到窄版

论坛BBS

Crossin的编程教室»论坛 › Python › 爬虫 › scrapy post请求使用mata参数传递表单中的参数，报错 ...

发新帖

查看: 4636|回复: 3

上一主题

下一主题

scrapy post请求使用mata参数传递表单中的参数，报错

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

发消息

楼主

发表于 2018-5-1 15:57:53 |显示全部楼层

报错信息呢？

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

回复

使用道具举报

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

发消息

沙发

发表于 2018-5-1 23:50:14 |显示全部楼层

kkw1201 发表于 2018-5-1 16:29
crossin老师，其实我想问的就是post请求，因为url地址不变，如果增量爬取，那就是post表单中数据变化，比 ...

你确认对方服务器接受的就是这种参数形式那就没问题

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

回复

使用道具举报

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

发消息

板凳

发表于 2018-5-3 12:30:24 |显示全部楼层

kkw1201 发表于 2018-5-3 09:55
恩，但是现在的问题是爬取重复，而且爬虫好像停不下来，一直在爬。不知道代码哪里不对 ...

那这是你自己代码逻辑，你要自己调试
scrapy本身不会帮你自动去重

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

回复

使用道具举报

174 主题	45 好友	11万积分

Rank: 9 Rank: 9 Rank: 9

发消息

地板

发表于 2018-5-3 23:19:36 |显示全部楼层

kkw1201 发表于 2018-5-3 14:19
emmmm.我自己debug好像没啥问题。。

遇到重复的就跳过

#==== Crossin的编程教室 ====#
微信ID：crossincode
网站：http://crossincode.com

回复

使用道具举报

发新帖

|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号 )

GMT+8, 2024-5-4 23:33 , Processed in 0.023945 second(s), 21 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部