抓取美女图片的爬虫小程序

creek

一个python爬虫小程序，爬的是www.22mm.cc里面的美女图片，该如何把它改成多线程呢？？

1. #!/usr/bin/env python
   
2. #coding:UTF-8
   
3. import urllib
   
4. import re
   
5. import os
   
6. import os.path
   
7. 
   
8. index=0
   
9. #抓取页面的函数
   
10. def getPage(url):
    
11.         page=urllib.urlopen(url).read()
    
12.         return page
    
13. 
    
14. #抓取首页美女分类的链接信息
    
15. def getSortLinkInfo(html):
    
16.         patt='<a href="/[^\s]+?\.html" title="[^\s]+?"'
    
17.         regex=re.compile(patt)
    
18.         linkInfo=re.findall(regex,html)
    
19.         links={}
    
20.         for i in linkInfo:
    
21.                 #links.append('http://www.22mm.cc'+i.split('"')[1])
    
22.                 links['http://www.22mm.cc'+i.split('"')[1]]=i.split('"')[3]
    
23.         return links        #links是有效链接的列表
    
24. 
    
25. #获取特定美女页面中的链接信息
    
26. def getBeautyLinkInfo(link):
    
27.         page=getPage(link)
    
28.         patt='<a href=\'[^\s]+?-\d+?\.html\'>\d+?</a>'
    
29.         regex=re.compile(patt)
    
30.         lastLink=re.findall(regex,page)
    
31.         if len(lastLink)>0:
    
32.                 lastLink=lastLink[-1].split("'")[1]
    
33.         return lastLink                #lastLink是最后一个美女页面的相对路径
    
34. 
    
35. #提取最终美女图片的链接
    
36. def getImgLinks(lastLink):
    
37.         page=getPage(lastLink)
    
38.         patt='arrayImg\[0\]="(http://[^\s]+?\.jpg)"'
    
39.         regex=re.compile(patt)
    
40.         imgLinks=re.findall(regex,page)
    
41.         return imgLinks     #imgLinks是有效的图片链接的列表
    
42. 
    
43. #下载并且保存图片
    
44. def saveImg(imgLinks,dirname):
    
45.         global index
    
46.         path=unicode('D:\\pics\\'+dirname,'utf8')
    
47.         os.mkdir('%s' %(path))
    
48.         dirname=dirname.decode('utf8')
    
49.         for i in imgLinks:
    
50.                 urllib.urlretrieve(i,'D:\\pics\%s\%d.jpg' % (dirname,index))
    
51.                 print '%s has been downloaded and saved successfully.'%(i)
    
52.                 index+=1
    
53. 
    
54. indexURL='http://www.22mm.cc'
    
55. 
    
56. def start():
    
57.         homePage=getPage(indexURL)
    
58.         links=getSortLinkInfo(homePage)
    
59.         for i in links:
    
60.                 #dirname=unicode('D:\\pics\\'+links[i],'utf8')
    
61.                 #os.mkdir('%s' %(dirname))
    
62.                 dirname=links[i]
    
63.                 relPath=getBeautyLinkInfo(i)       
    
64.                 if len(relPath)>0:
    
65.                         lastLink='http://www.22mm.cc/mm/'+i.split("/")[4]+'/'+relPath
    
66.                         tempLinks=getImgLinks(lastLink)
    
67.                         imgLinks=[]
    
68.                         for j in tempLinks:
    
69.                                 imgLinks.append(re.sub('big','pic',j))
    
70.                         saveImg(imgLinks,dirname)
    
71.                     
    
72.                         
    
73. start()

复制代码

crossin先生

我叫别这样 发表于 2017-7-4 14:23
这里我获得的temp_link这个List长度是0 是怎么回事？

那就是findall没拿到结果
通过增加输出调试，确认你的 html内容对不对，regex的规则是不是其效果

我叫别这样

1. #获取美女图片的四个分类链接
   
2. def get_fen_lei_link(html):
   
3.         patt='<a href="/mm/[^\s]+?/" >'
   
4.         regex=re.compile(patt)
   
5.         fen_lei_link=[]
   
6.         temp_link=re.findall(regex,html)[0:4]
   
7.         for link in temp_link:
   
8.                 fen_lei_link.append('http://www.22mm.cc'+link.split('"')[1])
   
9.         return fen_lei_link
   

复制代码

这里我获得的temp_link这个List长度是0 是怎么回事？

crossin先生

pythonnm 发表于 2016-9-8 16:22
看了楼主的帖子，我不禁产生这样的疑问，是程序员都是老司机，还是老司机都是程序员 ...

不想做司机的厨师，不是好程序员

pythonnm

看了楼主的帖子，我不禁产生这样的疑问，是程序员都是老司机，还是老司机都是程序员

dekun

小燕smile 发表于 2016-4-13 16:25
不清楚之前该网站的源代码怎么写的，但是目前该网站很多地方貌似做了改版，没有实际测试lz的代码，估计已经 ...

实测 还是可以用的现在

crossin先生

小燕smile 发表于 2016-4-13 21:46
几点说明：
1.该爬虫只是爬取该网站展示区的几组图片，全站的？自己扩展一下，不想要那么多图片，故 ...

非常赞啊

小燕smile

几点说明：
1.该爬虫只是爬取该网站展示区的几组图片，全站的？自己扩展一下，不想要那么多图片，故一开始就没那些写；
2.D:\\pics，代码没有主动判断D盘是否有pics目录，直接下载的，故需要你提前在D盘创建该目录，否则可能无法运行比较懒……；
3.基于py3.4 win7 pycharm4.5测试可用，其他未测试；
4.不论使用哪种编辑器运行，注意设置好encoding（包括代码本身和对网页内容的解码），否则对这种中文网站encode可能会报错；
5.这种爬虫具有时效性，万一网页改版（例如使用JavaScript）就会失效，需要再次修正方可使用；
最终效果：
代码如果执行无误，会在你的D盘pics下创建几个目录，并在目录内下载相应的图片……

小燕smile

既然这样，给大家一个最新该网站爬虫：

1. from bs4 import BeautifulSoup
   
2. import urllib.request
   
3. from collections import deque,defaultdict
   
4. import re
   
5. import os
   
6. 
   
7. 
   
8. url='http://www.22mm.cc/'
   
9. 
   
10. def get_page(url):
    
11.     headers = {
    
12.     'Connection': 'Keep-Alive',
    
13.     'Accept': "image/png,image/*;q=0.8,*/*;q=0.5",
    
14.     'Accept-Language': "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    
15.     'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0",
    
16.     'Referer':"http://www.22mm.cc/"
    
17.     }
    
18.     req = urllib.request.Request(url, headers=headers)
    
19.     response = urllib.request.urlopen(req)
    
20.     responseutf8 = response.read().decode()
    
21.     responsegbk = responseutf8.encode('gbk', 'ignore')
    
22.     page = responsegbk.decode('gbk')
    
23.     return page
    
24. 
    
25. def get_first_link(page):
    
26.     queue=deque()
    
27.     filename=[]
    
28.     baseurl='http://22mm.xiuna.com'
    
29.     soup=BeautifulSoup(page)
    
30.     pic=soup.find(id = 'recshowBox')
    
31.     for child in pic.children:
    
32.          queue.append(baseurl+child['href'])
    
33.          filename.append(child['title'])
    
34.     return filename,queue
    
35. 
    
36. def get_all_links(filename, queue):
    
37.     d=defaultdict(set)
    
38.     n=0
    
39.     while queue:
    
40.         link2=[]
    
41.         linkss=link2[:]
    
42.         links=link2[:]
    
43.         link1=link2[:]
    
44.         baselink=queue.popleft()
    
45.         pagecode=get_page(baselink)
    
46.         soup=BeautifulSoup(pagecode)
    
47.         link=soup.find(class_="pagelist")
    
48.         for child in link.children:
    
49.             try:
    
50.                 linkss.append(child['href'])
    
51.             except:
    
52.                 continue
    
53.         links=linkss[1:-1]
    
54.         pattern=re.compile('http.*/')
    
55.         addurl=re.findall(pattern,baselink)
    
56.         link1=[addurl[0]+link for link in links]
    
57.         '''for link in links:
    
58.             link1.append(addurl[0]+link)
    
59.             link1.append(baselink)'''
    
60.         for value in link1:
    
61.             d[filename[n]].add(value)
    
62.         n+=1
    
63.     return d
    
64. 
    
65. def download_all_pic(d):
    
66.     for key in d:
    
67.         print("正在创建{}的目录".format(key))
    
68.         path='D:\\pics\\'+key+'\\'
    
69.         os.mkdir('%s'%path)
    
70.         print(path)
    
71.         print("开始下载{}的图集...".format(key))
    
72.         index=1
    
73.         for i in d[key]:
    
74.             global index
    
75.             page1=get_page(i)
    
76.             pattern1=re.compile(r'arrayImg\[0\]="(http.*?jpg)')
    
77.             addurl1=re.findall(pattern1,page1)
    
78.             down=addurl1[-1].replace('big','pic')
    
79.             print("正在下载%s的第%d张图片" % (key,index))
    
80.             urllib.request.urlretrieve(down,'D:\\pics\%s\%d.jpg' % (key,index))
    
81.             print("下载完成")
    
82.             index+=1
    
83. 
    
84. def start(url):
    
85.     page=get_page(url)
    
86.     filename, queue=get_first_link(page)
    
87.     d=get_all_links(filename,queue)
    
88.     download_all_pic(d)
    
89. 
    
90. start(url)
    

复制代码

采用了bs4完成

crossin先生

小燕smile 发表于 2016-4-13 16:25
不清楚之前该网站的源代码怎么写的，但是目前该网站很多地方貌似做了改版，没有实际测试lz的代码，估计已经 ...

爬虫程序都是要经常随源站进行调整的