python个人学习笔记 - Crossin的编程教室

# -*- coding: cp936 -*-
import urllib2
import re
text=urllib2.urlopen('http://movie.douban.com/tag/%E7%88%B1%E6%83%85').read()#打开爱情标签
text1=re.findall(
r'''"">
.*?
/ .*?</s|"rating_nums">.*?|"pl">.*?''',text)#正则查找出相对应字符串，list形式
text2=''.join(text1)#list无法直接replace，需先转为str模式
text3=text2.replace(
'','').replace(
'</s"rating_nums">','').replace(
'"pl">','').replace(
'"">','').replace(
'','').replace(
'"">','').replace(
'\n /',':').replace(' ','')#把多余字符替换掉
w=file('raw_douban_movie.txt','w')
print text3
w.write(text3)
w.close()

复制代码

# -*- coding: cp936 -*-
import urllib2
import re
raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()
text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall输出为list
text1=''.join(text0)#list转str，方便replace
text2=text1.replace('"./','').replace('"','\n')#tag提取完成
text3=[]#新建空list，方便后面append
for text4 in text2.split('\n'):#for in对象需为list，用split将str转为list
tagurl='http://movie.douban.com/tag/%s'%text4#讲URL前缀同tag拼接，方便后期多tag抓取
text3.append(tagurl)#循环赋值到空列表
text5='\n'.join(text3)#排版格式，\n换行符
e=file('douban_movie6.txt','w')
e.write(text5)
e.close()

复制代码

# -*- coding: cp936 -*-
import urllib2
import re
import time
starttime=time.time()
raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()
text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall输出为list
text1=''.join(text0)#list转str，方便replace
text2=text1.replace('"./','').replace('"','\n')#tag提取完成
text3=[]#新建空list，方便后面append
for text4 in text2.split('\n'):#for in对象需为list，用split将str转为list
tagurl='http://movie.douban.com/tag/%s'%text4#讲URL前缀同tag拼接，方便后期多tag抓取
text3.append(tagurl)#循环赋值到空列表
del text3[-1]#最后一行为空tag，不知道生成原因。手动删除。
text8=[]#新建空list，存储for执行结果
for text5 in text3:
raw_tagurl=urllib2.urlopen(text5).read()#打开所有tag页面
tagurl_text=re.findall('''http://movie.douban.com/subject/\d{1,}/" class="">
.*?
/ .*?|.*?
.*?''',raw_tagurl)#初步提取电影信息
text6=''.join(tagurl_text)
text7=text6.replace('''
''','\t').replace('''" class="">
''','\t').replace('','\n').replace('''
/ ''','\t/').replace('\n','\t')#剔除不需要的信息
text8.append(text7)#将for结果赋值到空list
text9=''.join(text8)#转str write要求
e=file('douban_movie7.txt','w')
e.write(text9)
endtime=time.time()
print '用时%ss'%(starttime-endtime)
e.close()

复制代码

# -*- coding: cp936 -*-
import urllib2
import re
raw_text=urllib2.urlopen('http://movie.douban.com/tag/cult').read()#指定打开cult标签页
text0=re.findall('page="\d{1,}"',raw_text)#初步提取总页面数，人工查看代码后发现page="\d{1,}表示总页面
text1=''.join(text0)
text2=text1.replace('page=','').replace('"','')#得出总页面的具体值
text5=[]
for text3 in range(int(text2)):#range生成页面数列表，循环读取
text4='http://movie.douban.com/tag/cult?start=%d&type=T'%(text3*20)+'\n'#人工发现url规律为页面数*20, 最后\n为排版需要
text5.append(text4)
text6=''.join(text5)
e=file('douban_movie8.txt','w')
e.write(text6)
e.close()

复制代码

# -*- coding: cp936 -*-
import urllib2
import re
import time
starttime=time.time()
raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()
text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall输出为list
text1=''.join(text0)#list转str，方便replace
text2=text1.replace('"./','').replace('"','\n')#tag提取完成
a=file('douban_movie9.txt','w')
a.write(text2)#分阶段保存，方便分阶段排除问题
text3=[]
a=file('douban_movie9.txt','r')
for text4 in text2.split('\n'):
tagurl=urllib2.urlopen('http://movie.douban.com/tag/%s'%text4).read()
raw_tagurl_page=re.findall('page="\d{1,}"',tagurl)
tagurl_=''.join(raw_tagurl_page)
tagurl_page=tagurl_.replace('page=','').replace('"','') #仅一页的tag无提前信息，会是空值
if tagurl_page!='':#用if为非空值tag指定总页数
tagurl_page=int(tagurl_page)#str转为int，为下步判断值做准备
if tagurl_page>3:#多于3页的，只抓取3页
tagurl_page=3
if tagurl_page<4:#少于等于3页的，全部抓取
tagurl_page=tagurl_page
else:#空值tag定义为一页
tagurl_page=1
for i in range(tagurl_page):
tag_url='http://movie.douban.com/tag/%s'%text4+'?start=%d&type=T'%(i*20)+'\n'
#print tag_url
text3.append(tag_url)
#del text3[-1]
textt=''.join(text3)
b=file('douban_movie10.txt','w')
b.write(textt)
b=file('douban_movie10.txt','r')
a.close()
f=file('douban_movie10.txt','r').read().strip()#strip很关键，之前没有弄，总提示ValueError: unknown url type: 。
n=0
text8=[]#新建空list，方便后面append
for text12 in f.split('\n'):#for in对象需为list，用split将str转为list
n=n+1
print n#查看进度也方便排除问题
#if text12==' ':#之前为解决ValueError: unknown url type: 特意加的，没有效果。问题应该用strip解决
#continue
raw_tagurl_text=urllib2.urlopen(text12).read()#循环打开URL读取
tagurl_text=re.findall('''http://movie.douban.com/subject/\d{1,}/" class="">
.*?
/ .*?|.*?
.*?''',raw_tagurl_text)#初步提取电影信息
text6=''.join(tagurl_text)
text7=text6.replace('''
''','\t').replace('''" class="">
''','\t').replace('','\n').replace('''
/ ''','\t/').replace('\n','\t')#剔除不需要的信息
print text7
text8.append(text7)#将for结果赋值到空list
text9=''.join(text8)#转str write要求
e=file('douban_movie11.txt','w')
e.write(text9)
endtime=time.time()
print '用时%ss'%(starttime-endtime)
b.close()
e.close()

复制代码