抓取美女图片的爬虫小程序

creek

一个python爬虫小程序，爬的是www.22mm.cc里面的美女图片，该如何把它改成多线程呢？？

1. #!/usr/bin/env python
   
2. #coding:UTF-8
   
3. import urllib
   
4. import re
   
5. import os
   
6. import os.path
   
7. 
   
8. index=0
   
9. #抓取页面的函数
   
10. def getPage(url):
    
11.         page=urllib.urlopen(url).read()
    
12.         return page
    
13. 
    
14. #抓取首页美女分类的链接信息
    
15. def getSortLinkInfo(html):
    
16.         patt='<a href="/[^\s]+?\.html" title="[^\s]+?"'
    
17.         regex=re.compile(patt)
    
18.         linkInfo=re.findall(regex,html)
    
19.         links={}
    
20.         for i in linkInfo:
    
21.                 #links.append('http://www.22mm.cc'+i.split('"')[1])
    
22.                 links['http://www.22mm.cc'+i.split('"')[1]]=i.split('"')[3]
    
23.         return links        #links是有效链接的列表
    
24. 
    
25. #获取特定美女页面中的链接信息
    
26. def getBeautyLinkInfo(link):
    
27.         page=getPage(link)
    
28.         patt='<a href=\'[^\s]+?-\d+?\.html\'>\d+?</a>'
    
29.         regex=re.compile(patt)
    
30.         lastLink=re.findall(regex,page)
    
31.         if len(lastLink)>0:
    
32.                 lastLink=lastLink[-1].split("'")[1]
    
33.         return lastLink                #lastLink是最后一个美女页面的相对路径
    
34. 
    
35. #提取最终美女图片的链接
    
36. def getImgLinks(lastLink):
    
37.         page=getPage(lastLink)
    
38.         patt='arrayImg\[0\]="(http://[^\s]+?\.jpg)"'
    
39.         regex=re.compile(patt)
    
40.         imgLinks=re.findall(regex,page)
    
41.         return imgLinks     #imgLinks是有效的图片链接的列表
    
42. 
    
43. #下载并且保存图片
    
44. def saveImg(imgLinks,dirname):
    
45.         global index
    
46.         path=unicode('D:\\pics\\'+dirname,'utf8')
    
47.         os.mkdir('%s' %(path))
    
48.         dirname=dirname.decode('utf8')
    
49.         for i in imgLinks:
    
50.                 urllib.urlretrieve(i,'D:\\pics\%s\%d.jpg' % (dirname,index))
    
51.                 print '%s has been downloaded and saved successfully.'%(i)
    
52.                 index+=1
    
53. 
    
54. indexURL='http://www.22mm.cc'
    
55. 
    
56. def start():
    
57.         homePage=getPage(indexURL)
    
58.         links=getSortLinkInfo(homePage)
    
59.         for i in links:
    
60.                 #dirname=unicode('D:\\pics\\'+links[i],'utf8')
    
61.                 #os.mkdir('%s' %(dirname))
    
62.                 dirname=links[i]
    
63.                 relPath=getBeautyLinkInfo(i)       
    
64.                 if len(relPath)>0:
    
65.                         lastLink='http://www.22mm.cc/mm/'+i.split("/")[4]+'/'+relPath
    
66.                         tempLinks=getImgLinks(lastLink)
    
67.                         imgLinks=[]
    
68.                         for j in tempLinks:
    
69.                                 imgLinks.append(re.sub('big','pic',j))
    
70.                         saveImg(imgLinks,dirname)
    
71.                     
    
72.                         
    
73. start()

复制代码

crossin先生

这个程序有意思
去看一下 thread 模块相关的用法

creek

修改了一下，之前的只能抓取首页的图片，下面这个应该能爬取全站的

1. #!usr/bin/env python
   
2. #coding:UTF-8
   
3. import urllib2
   
4. import urllib
   
5. import re
   
6. import os
   
7. 
   
8. # 获取页面的html
   
9. def get_page(url):
   
10.         req=urllib2.Request(url)
    
11.         try:
    
12.                 html=urllib2.urlopen(req).read()
    
13.                 return html
    
14.         except urllib2.URLError,e:
    
15.                 if e.code==404:
    
16.                         return False
    
17. 
    
18. #获取美女图片的四个分类链接
    
19. def get_fen_lei_link(html):
    
20.         patt='<a href="/mm/[^\s]+?/" >'
    
21.         regex=re.compile(patt)
    
22.         fen_lei_link=[]
    
23.         temp_link=re.findall(regex,html)[0:4]
    
24.         for link in temp_link:
    
25.                 fen_lei_link.append('http://www.22mm.cc'+link.split('"')[1])
    
26.         return fen_lei_link
    
27. 
    
28. #获取套图的链接
    
29. def get_taotu_link(specific_page):
    
30.         global taotu_links
    
31.         taotu_links={}
    
32.         patt='<a href="/[^\s]+?\.html" title=".+?"'
    
33.         regex=re.compile(patt)
    
34.         link_info=re.findall(regex,specific_page)
    
35.         for i in link_info:
    
36.                 taotu_links['http://www.22mm.cc'+i.split('"')[1]]=i.split('"')[3]
    
37. 
    
38. #获取套图页面中指向最后一个图片的链接
    
39. def get_taotu_last_link(taotu_link):
    
40.         taotu_page=get_page(taotu_link)
    
41.         patt='<a href=\'[^\s]+?-\d+?\.html\'>\d+?</a>'
    
42.         regex=re.compile(patt)
    
43.         taotu_last_link=re.findall(regex,taotu_page)[-1].split("'")[1]
    
44.         return taotu_last_link
    
45. 
    
46. #获取暂时的图片链接
    
47. def get_temp_image_link(taotu_last_link):
    
48.         taotu_last_page=get_page(taotu_last_link)
    
49.         patt=patt='arrayImg\[\d\]="(http://[^\s]+?\.jpg)"'
    
50.         regex=re.compile(patt)
    
51.         temp_image_link=re.findall(regex,taotu_last_page)
    
52.         return temp_image_link
    
53. 
    
54. #将图片下载并且保存到D盘的pic文件夹中
    
55. def save_image(image_links,dirname):
    
56.         global index
    
57.         path=unicode('D:\\pic\\'+dirname,'utf8')
    
58.         os.mkdir('%s' %(path))
    
59.         dirname=dirname.decode('utf8')
    
60.         for img_link in image_links:
    
61.                 urllib.urlretrieve(img_link,'D:\\pic\%s\%d.jpg' % (dirname,index))
    
62.                 print '%s has been downloaded and saved successfully.'%(img_link)
    
63.                 index+=1
    
64. 
    
65. def start():
    
66.         print 'Waiting............'
    
67.         url='http://www.22mm.cc'
    
68.         html=get_page(url)
    
69.         fen_lei_link=get_fen_lei_link(html)
    
70.         for link in fen_lei_link:
    
71.                 temp_link=link
    
72.                 page_index=1        #page_index是页面索引
    
73.                 specific_page=get_page(link)
    
74.                 get_taotu_link(specific_page)
    
75.                 while page_index<4:        #套图的数目很多，暂时只抓取每个分类的前三页图片
    
76.                         if page_index==1:
    
77.                                 specific_page=get_page(link)
    
78.                                 get_taotu_link(specific_page)
    
79.                         else:
    
80.                                 link=temp_link+'index_%d.html' %(page_index)
    
81.                                 specific_page=get_page(link)
    
82.                                 if not specific_page:
    
83.                                         break
    
84.                                 else:
    
85.                                         get_taotu_link(specific_page)
    
86.                         for key in taotu_links:
    
87.                                 dirname=taotu_links[key]
    
88.                                 temp_taotu_last_link=get_taotu_last_link(key)
    
89.                                 taotu_last_link='http://www.22mm.cc/mm/'+key.split("/")[4]+'/'+temp_taotu_last_link
    
90.                                 temp_image_link=get_temp_image_link(taotu_last_link)
    
91.                                 image_links=[]
    
92.                                 for each in temp_image_link:
    
93.                                         image_links.append(re.sub('big','pic',each))
    
94.                                 save_image(image_links,dirname)
    
95.                         page_index+=1
    
96. 
    
97. #links是存储套图链接信息的字典
    
98. taotu_links={}
    
99. #index是图片名称的索引
    
100. index=0
     
101. start()

复制代码

对于Python的多线程，我有好些疑问，搜索了也没得到满意的答案
1.一个进程里面同一时刻只能运行一个线程么？
2.倘若1成立，那么sleep()在实际的应用程序中不是反而拉低了效率？
提了两个很菜的问题，希望crossin先生看到了能顺手解答一下，多谢

crossin先生

creek 发表于 2014-6-30 23:19
修改了一下，之前的只能抓取首页的图片，下面这个应该能爬取全站的对于Python的多线程，我有好些疑问，搜索 ...

是的。如果cpu只能同时执行一个进程，那么多线程的计算没有什么好处，甚至还耽误了线程切换的时间。
但是多线程可以避免一个线程被阻塞住，导致其他任务无法进行的情况，这在有网络请求或者文件读写的时候很有用。相当于把等待对方服务器响应和下载的时间节省了下来。
另外，我不是很确定，多核cpu是否可以并行多个python线程。

liu-pengfei

楼主，我复制了你的改进后的代码，运行的时候只是在命令行输出了wait...其他什么都没有，D盘没有图片。于是我又在D盘下手动新建一个文件夹，名字是pic，再次运行，可以了，但是下载了两组图片后，大概有十多张，就报错停止了，说是下表越界。重新运行，又是只是在命令行输出了wait...其他什么都没有。这是怎么回事啊？

小燕smile

@crossin先生  我自己也写了一个抓取图片的脚本，但是在下载图片到电脑的时候发生urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 36211 out of 508217 bytes>的错误，再次执行，却没有任何问题，怀疑是不是和网络有关？由于网速较慢，导致下载图片到内存中的部分较少或者内存占用率较高导致？有没有什么办法能够避免这种错误发生？

crossin先生

小燕smile 发表于 2015-9-7 13:13
@crossin先生  我自己也写了一个抓取图片的脚本，但是在下载图片到电脑的时候发生urllib.error.ContentTooS ...

似乎只是网络不好，没能一次下载成功。
避免发生就是做异常处理，错误的情况下自动重新下载

airabout

我是新手 请问这些代码是在哪运行的？ 是cmd里的python吗······

crossin先生

airabout 发表于 2016-3-13 21:45
我是新手 请问这些代码是在哪运行的？ 是cmd里的python吗······

先保存在文件里，然后在cmd下用 python xxx.py 这样的命令来执行。或者放在开发工具里执行

小燕smile

不清楚之前该网站的源代码怎么写的，但是目前该网站很多地方貌似做了改版，没有实际测试lz的代码，估计已经不能用了吧！