新人求教，两个正则匹配问题，爬网页不会找内容。。 - Crossin的编程教室

# -*- coding: utf-8 -*-
"""
Created on Sun Aug 13 00:47:22 2017
@author: vocaliu
@version:Anaconda python3.6
"""
import urllib
import urllib.request
import re
import os
from multiprocessing import Pool
def download_page(url):
head = { 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.89 Safari/537.36',
'Referer': 'http://www.meizitu.com',
} #伪装浏览器登陆
request = urllib.request.Request(url,headers=head) #构建请求
response = urllib.request.urlopen(request,timeout=10)
data = response.read() #获得服务器响应并读取链接内容（网页、图片或其他）
return data #返回值就是链接中的具体内容
def imgdownload_num(startnum,stopnum):
for szwz in range(startnum,stopnum): #这个数字不断变化来抓不同链接
url = url0 + str(szwz) + '.html' #合并网址
os.mkdir('F:\pic\{}'.format(szwz)) #新建与网址一样的文件夹
wronglink = 0
try:
html = download_page(url) #在这里做一轮try except，防止遇到错误的抓取页面导致的报错
regx = r'http://[\S]*\.jpg' #通过正则配对，得到页面中的jpg图片链接
pattern = re.compile(regx) #re.compile() 可以把正则表达式编译成一个正则表达式对象.
img_link = re.findall(pattern,repr(html)) #repr()类似str，用处不一样。
except:
wronglink += 1
print('发现第{}个错误的抓取网址'.format(wronglink))#设置时会有一些指向404页面的网址
break
num = 1
wrongpiclink = 0
for img in img_link:
try:
image = download_page(img) #将每个img_link链接中的图片都读取出来，并保存成下面的本地链接
if len(image) > 45000: #大小不到45k的图跳过
with open('F:\pic\{}\{}.jpg'.format(szwz,num),'wb') as fp:
fp.write(image)
print('pic{}-{} downloaded'.format(szwz,num))
num += 1
else:
continue
except:
wrongpiclink += 1
print('发现第{}个错误的图片链接'.format(wrongpiclink))#源文件里有一些指向404页面的图片
return
url0 = 'http://www.meizitu.com/a/'
#开始多进程爬
if __name__ == '__main__':
print('Parent process %s.' % os.getpid())
p = Pool(8)
for i in range(8):
p.apply_async(imgdownload_num, args=(i*8+1,i*8+9))
p.close()
p.join()
print('All subprocesses done.')

复制代码

regx = r'http://[\S]*\.jpg'

复制代码

无效缩略图 src="http://mm.howkuai.com/wp-content/uploads/2017a/05/08/limg.jpg" alt
需要抓的图 src="http://mm.howkuai.com/wp-content/uploads/2017a/06/13/01.jpg" />

复制代码

姓    名：</font></td><td height="26" width="757"><font size="4" color="#000080"> 张三丰 </font></td></tr>

复制代码

# -*- coding: utf-8 -*-
'''
Created on Tue Aug 15 23:00:39 2017
@author: vocaliu
@version: Anaconda python3.6
学习crossincode的re部分：
1, re.findall(pattern,text)输出符合的结果组成list []
2，\b转义符的使用，代表单词两端
3，[]代表其中任意匹配均可
4，str前的r用于消除转义符
5，
“.” 换行之外的任意字符（0-1个）
“*” 代表前面字符的任意数量重复
“\S” 空白之外的任意字符（0-1个）
“?” .* 和 .*? 的区别，一长一短
6，.*? 和 \S*
7，
\d = [0123456789]= =[0-9] -> [a-zA-Z] ：任意长度数字\d* or [0-9]*
*号任意数量可以取到0，+号从1开始: 非0的任意长度数字\d+ or [0-9]+
使用{n}从任意数量变为固定数量n： \d{11} or [0-9]{11} 代表11位数字
电话号码的匹配: 1\d{10} or 1[0-9]{10}
{n} {n,} {n,m} 的区别。其中 ?={0,1}
8,
\w - 匹配字母或数字或下划线或汉字（3.x版本可以匹配汉字，但2.x版本不可以）
\s - 匹配任意的空白符
^ - 匹配字符串的开始
$ - 匹配字符串的结束注意与\b的异同
\W - 匹配任意不是字母，数字，下划线，汉字的字符
\D - 匹配任意非数字的字符
\B - 匹配不是单词开头或结束的位置
[^abcd] 除abcd以外的任意字符
'''
'''
例题1
import re
text = "Hi, I am Shirley Hilton. I am his wife."
text2 = "site sea sue sweet see case sse ssee loses"
pattern1 = r"\bs.*?e\b"
pattern2 = r"\bs\S*e\b" #.*? 和 \S*的区别
m = re.findall(pattern2, text2)
if m:
print (m)
else:
print ('not match')
'''
'''
例题2
'''
import re
text = ['(021)88776543','010-55667890','02584453362','0571 66345673']
pattern = r"$?[0-9]+[$\-\s]?[0-9]+" # ()-等字符都需要转义
pattern2 = r"\(?0\d{2,3}[) -]?\d{7,8}" # 更准确的匹配：首位0，考虑数字的数量。注意数字的两种写法以及空格的匹配区别
pattern3 = r"$0\d{2,3}$\d{7,8}|0\d{2,3}[ -]?\d{7,8}" #使用|匹配有或者没有（）的两种情况
m = []
for i in range(0,4):
m.append(re.findall(pattern, text[i]))
if m[i]:
print (m[i])
else:
print ('not match')
print(m)

复制代码

regx = r'http://[\S]*/[0-9]{2}\.jpg'

复制代码

r'[\u4e00-\u9fa5]{2,}'

复制代码

r'[\u4e00-\u9fa5]+\S+[\u4e00-\u9fa5]+'

复制代码

r'\S+[\u4e00-\u9fa5]+\S+'

复制代码

r'[\u4e00-\u9fa5]+\S+[\u4e00-\u9fa5]+'

复制代码

p.apply_async(imgdownload_num, args=(i*8+1,i*8+9))

复制代码