抓取美女图片的爬虫小程序

小燕smile

@crossin先生  我自己也写了一个抓取图片的脚本，但是在下载图片到电脑的时候发生urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 36211 out of 508217 bytes>的错误，再次执行，却没有任何问题，怀疑是不是和网络有关？由于网速较慢，导致下载图片到内存中的部分较少或者内存占用率较高导致？有没有什么办法能够避免这种错误发生？

小燕smile

不清楚之前该网站的源代码怎么写的，但是目前该网站很多地方貌似做了改版，没有实际测试lz的代码，估计已经不能用了吧！

小燕smile

既然这样，给大家一个最新该网站爬虫：

1. from bs4 import BeautifulSoup
   
2. import urllib.request
   
3. from collections import deque,defaultdict
   
4. import re
   
5. import os
   
6. 
   
7. 
   
8. url='http://www.22mm.cc/'
   
9. 
   
10. def get_page(url):
    
11.     headers = {
    
12.     'Connection': 'Keep-Alive',
    
13.     'Accept': "image/png,image/*;q=0.8,*/*;q=0.5",
    
14.     'Accept-Language': "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    
15.     'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0",
    
16.     'Referer':"http://www.22mm.cc/"
    
17.     }
    
18.     req = urllib.request.Request(url, headers=headers)
    
19.     response = urllib.request.urlopen(req)
    
20.     responseutf8 = response.read().decode()
    
21.     responsegbk = responseutf8.encode('gbk', 'ignore')
    
22.     page = responsegbk.decode('gbk')
    
23.     return page
    
24. 
    
25. def get_first_link(page):
    
26.     queue=deque()
    
27.     filename=[]
    
28.     baseurl='http://22mm.xiuna.com'
    
29.     soup=BeautifulSoup(page)
    
30.     pic=soup.find(id = 'recshowBox')
    
31.     for child in pic.children:
    
32.          queue.append(baseurl+child['href'])
    
33.          filename.append(child['title'])
    
34.     return filename,queue
    
35. 
    
36. def get_all_links(filename, queue):
    
37.     d=defaultdict(set)
    
38.     n=0
    
39.     while queue:
    
40.         link2=[]
    
41.         linkss=link2[:]
    
42.         links=link2[:]
    
43.         link1=link2[:]
    
44.         baselink=queue.popleft()
    
45.         pagecode=get_page(baselink)
    
46.         soup=BeautifulSoup(pagecode)
    
47.         link=soup.find(class_="pagelist")
    
48.         for child in link.children:
    
49.             try:
    
50.                 linkss.append(child['href'])
    
51.             except:
    
52.                 continue
    
53.         links=linkss[1:-1]
    
54.         pattern=re.compile('http.*/')
    
55.         addurl=re.findall(pattern,baselink)
    
56.         link1=[addurl[0]+link for link in links]
    
57.         '''for link in links:
    
58.             link1.append(addurl[0]+link)
    
59.             link1.append(baselink)'''
    
60.         for value in link1:
    
61.             d[filename[n]].add(value)
    
62.         n+=1
    
63.     return d
    
64. 
    
65. def download_all_pic(d):
    
66.     for key in d:
    
67.         print("正在创建{}的目录".format(key))
    
68.         path='D:\\pics\\'+key+'\\'
    
69.         os.mkdir('%s'%path)
    
70.         print(path)
    
71.         print("开始下载{}的图集...".format(key))
    
72.         index=1
    
73.         for i in d[key]:
    
74.             global index
    
75.             page1=get_page(i)
    
76.             pattern1=re.compile(r'arrayImg\[0\]="(http.*?jpg)')
    
77.             addurl1=re.findall(pattern1,page1)
    
78.             down=addurl1[-1].replace('big','pic')
    
79.             print("正在下载%s的第%d张图片" % (key,index))
    
80.             urllib.request.urlretrieve(down,'D:\\pics\%s\%d.jpg' % (key,index))
    
81.             print("下载完成")
    
82.             index+=1
    
83. 
    
84. def start(url):
    
85.     page=get_page(url)
    
86.     filename, queue=get_first_link(page)
    
87.     d=get_all_links(filename,queue)
    
88.     download_all_pic(d)
    
89. 
    
90. start(url)
    

复制代码

采用了bs4完成

小燕smile

几点说明：
1.该爬虫只是爬取该网站展示区的几组图片，全站的？自己扩展一下，不想要那么多图片，故一开始就没那些写；
2.D:\\pics，代码没有主动判断D盘是否有pics目录，直接下载的，故需要你提前在D盘创建该目录，否则可能无法运行比较懒……；
3.基于py3.4 win7 pycharm4.5测试可用，其他未测试；
4.不论使用哪种编辑器运行，注意设置好encoding（包括代码本身和对网页内容的解码），否则对这种中文网站encode可能会报错；
5.这种爬虫具有时效性，万一网页改版（例如使用JavaScript）就会失效，需要再次修正方可使用；
最终效果：
代码如果执行无误，会在你的D盘pics下创建几个目录，并在目录内下载相应的图片……