一个用python写的用命令行看糗百的小工具

byron

　　最近正在学习正则表达式，抛弃了bs4，写了一个用命令行看糗百的小爬虫（爬了糗百最近7天最热门的糗事儿），还算是比较好用的，经过了精心的排版，阅读起来轻松无压力，代码开源在这里，大家相互学习。

1. #!/usr/bin/python
   
2. #coding:utf-8
   
3. #作者：Byron
   
4. #博客：http://jiabin.tk
   
5. 
   
6. import urllib2
   
7. import re
   
8. 
   
9. #定义程序主函数
   
10. def qiubai(page):
    
11.     url = "http://www.qiushibaike.com/week/page/%d" % page
    
12.     re_qb = re.compile(r'detail.*?<a.*?>(.*?)<.*?title="(.*?)">\s*(.*?)\s*?<',re.DOTALL)
    
13.     html = urllib2.urlopen(url).read()
    
14.     my_qiubai = re_qb.findall(html)
    
15.     n = len(my_qiubai)
    
16.     for i in range(n):
    
17.         for k in range(3):
    
18.             print my_qiubai[i][k]
    
19.         s = raw_input("回车继续")
    
20.         if s == "q":
    
21.             exit()
    
22.         print "-"*40
    
23. 
    
24. #定义程序循环体
    
25. def for_qb():
    
26.     for page in range(int(p),280):
    
27.         print "-"*18 + "第" + str(page) + "页" + "-"*18
    
28.         qiubai(page)
    
29. 
    
30. #该部分代码的目是为了设计的严谨，尽可能的使程序不发生崩溃
    
31. def if_qb():
    
32.     global p
    
33.     p = raw_input("输入要看的页数1~280:")
    
34.     if p == "q":
    
35.         exit()
    
36.     elif not p.isdigit() or p =="0" or int(p) > 280:
    
37.         if_qb()
    
38.     else:
    
39.         for_qb()
    
40. print "-"*40
    
41. print "糗百命令行版——Byron"
    
42. print "一入糗百深似海，从此节操是路人"
    
43. print '输入"q"退出程序'
    
44. print "-"*40
    
45. 
    
46. if_qb()

复制代码

有图有真相：

欢迎来blog交流：https://googleyixia.com/2013/09/08/qiubai-regex/

Miracle_Wong

楼主霸气，学习ing

byron

Miracle_Wong 发表于 2013-9-8 23:33
楼主霸气，学习ing

一起学习。

sauce_brother

顶版主！三好学生，没跑了。

文书

你这抓取的都是纯文字的  如果是图片呢？

Myk_cc

问下楼主 怎么入手学习写爬虫？

dark

Myk_cc 发表于 2013-9-9 11:30
问下楼主 怎么入手学习写爬虫？

大先生的教程有啊。。。

byron

文书 发表于 2013-9-9 10:54
你这抓取的都是纯文字的  如果是图片呢？

命令行看不了图片哇。
抓图片可以抓到，然后下载下来的，你可以参考这个：
http://www.oschina.net/code/snippet_109764_4506

Myk_cc

dark 发表于 2013-9-9 12:11
大先生的教程有啊。。。

就是查天气那个吗？

byron

Myk_cc 发表于 2013-9-9 13:29
就是查天气那个吗？

Crossin过两天应该就会写的。
上月底挖的坑，也该填上了。
哈哈。