【Python 第46课】 查天气（4）

crossin先生

用 python 查天气系列： 【Python 第43课】 查天气（1） http://bbs.crossincode.com/forum.php?mod=viewthread&tid=8 【Python 第44课】 查天气（2） http://bbs.crossincode.com/forum.php?mod=viewthread&tid=9 【Python 第45课】 查天气（3） http://bbs.crossincode.com/forum.php?mod=viewthread&tid=12 【Python 第46课】 查天气（4） http://bbs.crossincode.com/forum.php?mod=viewthread&tid=42

这一课算是“查天气”程序的附加内容。没有这一课，你也查到天气了。但了解一下城市代码的抓取过程，会对网页抓取有更深的理解。

天气网的城市代码信息结构比较复杂，所有代码按层级放在了很多xml为后缀的文件中。而这些所谓的“xml”文件又不符合xml的格式规范，导致在浏览器中无法显示，给我们的抓取又多加了一点难度。

首先，抓取省份的列表：

1. url1 = 'http://m.weather.com.cn/data3/city.xml'
   
2. content1 = urllib2.urlopen(url1).read()
   
3. provinces = content1.split(',')

复制代码

输出content1可以查看全部省份代码：

1. 01|北京,02|上海,03|天津,...

复制代码

对于每个省，抓取城市列表：

1. url = 'http://m.weather.com.cn/data3/city%s.xml'
   
2. for p in provinces:
   
3.     p_code = p.split('|')[0]
   
4.     url2 = url % p_code
   
5.     content2 = urllib2.urlopen(url2).read()
   
6.     cities = content2.split(',')

复制代码

输出content2可以查看此省份下所有城市代码：

1. 1901|南京,1902|无锡,1903|镇江,...

复制代码

再对于每个城市，抓取地区列表：

1. for c in cities[:3]:
   
2.     c_code = c.split('|')[0]
   
3.     url3 = url % c_code
   
4.     content3 = urllib2.urlopen(url3).read()
   
5.     districts = content3.split(',')

复制代码

content3是此城市下所有地区代码：

1. 190101|南京,190102|溧水,190103|高淳,...

复制代码

最后，对于每个地区，我们把它的名字记录下来，然后再发送一次请求，得到它的最终代码：

1. for d in districts:
   
2.     d_pair = d.split('|')
   
3.     d_code = d_pair[0]
   
4.     name = d_pair[1]
   
5.     url4 = url % d_code
   
6.     content4 = urllib2.urlopen(url4).read()
   
7.     code = content4.split('|')[1]

复制代码

name和code就是我们最终要得到的城市代码信息。它们格式化到字符串中，最终保存在文件里：

1. line = "    '%s': '%s',\n" % (name, code)
   
2. result += line

复制代码

同时你也可以输出它们，以便在抓取的过程中查看进度：

1. print  name + ':' + code

复制代码

完整代码：

1. import urllib2
   
2. 
   
3. url1 = 'http://m.weather.com.cn/data3/city.xml'
   
4. content1 = urllib2.urlopen(url1).read()
   
5. provinces = content1.split(',')
   
6. result = 'city = {\n'
   
7. url = 'http://m.weather.com.cn/data3/city%s.xml'
   
8. for p in provinces:
   
9.     p_code = p.split('|')[0]
   
10.     url2 = url % p_code
    
11.     content2 = urllib2.urlopen(url2).read()
    
12.     cities = content2.split(',')
    
13.     for c in cities:
    
14.         c_code = c.split('|')[0]
    
15.         url3 = url % c_code
    
16.         content3 = urllib2.urlopen(url3).read()
    
17.         districts = content3.split(',')
    
18.         for d in districts:
    
19.             d_pair = d.split('|')
    
20.             d_code = d_pair[0]
    
21.             name = d_pair[1]
    
22.             url4 = url % d_code
    
23.             content4 = urllib2.urlopen(url4).read()
    
24.             code = content4.split('|')[1]
    
25.             line = "    '%s': '%s',\n" % (name, code)
    
26.             result += line
    
27.             print  name + ':' + code
    
28. result += '}'
    
29. f = file('/home/crossin/Desktop/city.py', 'w')
    
30. f.write(result)
    
31. f.close()

复制代码

如果你只是想抓几个测试一下，并不用全部抓下来，在provices后面加上[:3]，抓3个省的试试看就好了。

补充：如果发现输出的是乱码（这种事往往发生在windows下），试着把输出那行改为

1. print  name.decode('utf-8') + ':' + code

复制代码

#==== Crossin的编程教室 ====#
微信ID：crossincode
QQ群：312723402

面向零基础初学者的编程课
每天5分钟，轻松学编程

byron

沙发一定是我的。

lpd0933

看了这个帖子，我明白：为什么按照查天气（1）的方法最后部分城市的编码不一致。

查天气（1）中提到‘’‘得到最终的三级编号之后，再加上中国101的前缀，就得到了城市代码，如南京市区就是“101190101” ’‘’，对于直辖市得到三级编码加101是不正确的。

这个帖子最后再查一次才是一致的。

crossin先生

lpd0933 发表于 2013-7-27 11:49
看了这个帖子，我明白：为什么按照查天气（1）的方法最后部分城市的编码不一致。

查天气（1）中提到‘’‘ ...

是的，我也是后来发现直辖市是有问题的

hellopython

提点拙建
1.最好再加上异常处理
2.最好加上超时
3.每次调用urllib2.urlopen(url1).read()的前最好先延时一下

grdzyz

请问p_code = p.split('|')[0]中的[0]表示什么？

book

code = content4.split('|')[1]  ??

crossin先生

grdzyz 发表于 2013-7-31 23:29
请问p_code = p.split('|')[0]中的[0]表示什么？

split得出的结果诸如['01', '北京']形式的list，[0]就是取到它的省级别编码

crossin先生

book 发表于 2013-8-5 13:12
code = content4.split('|')[1]  ??

split得出的结果诸如['190101', '101190101']形式的list，[1]就是取到它的城市编码

book

crossin先生 发表于 2013-8-5 16:23
split得出的结果诸如['190101', '101190101']形式的list，[1]就是取到它的城市编码

您好，这里是[0] 还是[1],我运行了好多次，抓的过程中，总是出错，每次都出在urllib2.urlopen().read(),是网络问题吗？请指点