Crossin的编程教室

标题: 写了一个爬虫，为何老报错？ [打印本页]

---

作者: w5132008    时间: 2013-9-7 22:51
标题: 写了一个爬虫，为何老报错？


环境：win
版本：python3.3

老报错，ascii啥的。
测试可用帖子ID：2537728260，这个事符合判断要求的

1. import urllib.request
   
2. import re
   
3. 
   
4. #下载图片
   
5. def getImage(html):
   
6.     reg=r'http://imgsrc.baidu.com/forum/w%3D580.+\.jpg'
   
7.     imgre=re.compile(reg)
   
8.     imglist=imgre.findall(html)
   
9.     x=1
   
10.     #限制下载的图片数
    
11.     for imgurl in imglist:
    
12.         if x<=10:
    
13.             urllib.request.urlretrieve(imgurl,'%s.jpg'%x)
    
14.             x+=1
    
15.         else:
    
16.             print('超过图片数量限制')
    
17.             break
    
18. 
    
19. #获取html
    
20. def getHtml(url):
    
21.     html=urllib.request.urlopen(url).read().decode('gbk')
    
22.     reg=r'%C9%E3%D3%B0'
    
23.     imgre=re.compile(reg)
    
24.     resultlist=imgre.findall(html)
    
25.     if resultlist:
    
26.         return html
    
27. 
    
28. #获取帖子id
    
29. def getUrl(num):
    
30.     url='http://tieba.baidu.com/p/%s'%num
    
31.     return url
    
32. 
    
33. #从输入的帖子开始获取，直到上限
    
34. num=input('输入起始数:')
    
35. while int(num)<=2537728262:
    
36.     url=getUrl(num)
    
37.     html=getHtml(url)
    
38.     getImage(html)
    
39.     num+=1
    
40. else:
    
41.     print('输入ID超出范围！')

复制代码

---

作者: w5132008    时间: 2013-9-11 20:02
居然没人回复，老师，求教。。。
:'(:'(:'(:'(:'(:'(

---

作者: crossin先生    时间: 2013-9-13 01:56
你的imgurl似乎取的不对
你把imgurl输出出来看看，似乎多了很多东西

---

作者: hunter    时间: 2014-1-10 12:44

---

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)

Powered by Discuz! X2.5