设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 21284|回复: 3
打印 上一主题 下一主题

获取网页所有请求,遍历URL

[复制链接]

12

主题

1

好友

307

积分

中级会员

Rank: 3Rank: 3

跳转到指定楼层
楼主
发表于 2021-4-7 16:00:11 |只看该作者 |倒序浏览
用F5直接运行,无论怎么样都获取不到链接:
Snipaste_2021-04-07_15-55-36.png

但是用类似debug一样一步一步去运行,就完全正常:
Snipaste_2021-04-07_15-55-49.png

请教一下,这是代码的问题还是IDE的问题?我用python自带的IDLE和pycharm也获取不到这个链接。头都大了,不知道是哪里的问题。
回复

使用道具 举报

12

主题

1

好友

307

积分

中级会员

Rank: 3Rank: 3

沙发
发表于 2021-4-7 17:17:25 |只看该作者
本帖最后由 xielong0120 于 2021-4-7 17:21 编辑

这段代码一直提示re_link返回的是空值,就是正则在list里面没有匹配到链接。但是我把list和正则单独拿出来,是每次都可以匹配到的。
Snipaste_2021-04-07_17-21-21.png
回复

使用道具 举报

174

主题

45

好友

12万

积分

管理员

Rank: 9Rank: 9Rank: 9

板凳
发表于 2021-4-7 22:42:46 |只看该作者
代码多加print,缩小问题范围,逐步定位问题
比如你可以对比一下成功和不成功的代码,是在哪一步出现不同的。是没抓取到,还是解析出来不对,然后再分析问题可能的原因

光看一个结果,我也没法看出问题


而且,代码还在开发过程中不要急着加 try,加上了出现报错都没法显示,给自己debug增加难度
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

12

主题

1

好友

307

积分

中级会员

Rank: 3Rank: 3

地板
发表于 2021-4-8 08:50:04 |只看该作者
本帖最后由 xielong0120 于 2021-4-8 10:26 编辑

根据老师的建议,我修改一下代码,果然发现是下面的判断处理那里的一个判断出现了问题。

我把那一片代码都注释了,重新写了下逻辑,现在基本可以百分之百获取到链接了。

Snipaste_2021-04-08_10-25-01.png

还是要多打印才能发现问题的根本原因是哪里,并不是正则没有匹配到,而是我判断取得值不对。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-12-26 18:57 , Processed in 0.016801 second(s), 23 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部