Crossin的编程教室

标题: 边学边做: 网页数据收集(xpath/yql), 并输出rss feed [打印本页]
作者: anyone    时间: 2015-10-26 03:01
标题: 边学边做: 网页数据收集(xpath/yql), 并输出rss feed
最终的目标:

用python写一个网页数据收集(web scraper, with xpath), 并输出rss feed的小工具.

我的段位:

只能照猫画虎的搞一些简单的小程序, 对于任何一种语言都不熟悉. 语法什么的是白目.

自学贴, 从基础开始, 感谢crossin.
http://crossin.me/forum.php?mod=viewthread&tid=5452

本帖是我完成目标的自学摸索以及问题.
作者: anyone    时间: 2015-10-26 03:01


学习到了模块和方法, 我很感兴趣这部分. 所以就多学了一些:

如何得到目前可以用到的模块?
  1. python #进入python
  2. >>>help() #进入help模式
  3. help>modules #列出所有modules
复制代码
列出包含某个字段的modules
  1. help>modules http
复制代码
查询特定modules的帮助信息
  1. help>xml.etree
复制代码
退出help模式
  1. help>q
复制代码
退出python
  1. >>>exit()
复制代码
我完成顶楼目标的模块就是lxml, beautiful soup不支持xpath, 而且有些慢?
参考: Best Python Module for HTML parsing - Stack Overflow
http://stackoverflow.com/questio ... le-for-html-parsing

lxml.html 官方网站
http://lxml.de/lxmlhtml.html



如何安装新的module?

我想安装lxml, 看了很多网上资料很复杂, 可我尝试了下面这个语句就可以了:
  1. pip install lxml
复制代码
如何卸载module?
  1. pip uninstall lxml
复制代码
作者: anyone    时间: 2015-10-26 04:56
本帖最后由 anyone 于 2015-10-26 04:58 编辑

网页内容萃取(web scraper)+xpath

参考了:

[翻]使用requests和lxml进行web抓取
http://www.zhidaow.com/post/html-scraping

用lxml解析HTML
http://www.cnblogs.com/descusr/archive/2012/06/20/2557075.html


我自己搞了个小程序:

  2. import requests
  3. page=requests.get('http://blog.wenxuecity.com/myblog/1666/90734.html')
  4. #page.content 是网页的内容, 还有其他的, 比如page.text等, 这个要参考requests模块的说明.

  6. import chardet
  7. enc=chardet.detect(page.content)
  8. #这是个猜编码的模块, 很多地方推荐, 用法也简单. http://www.cnblogs.com/xiaowuyi/archive/2012/03/09/2387173.html
  9. #开始我总是将page.text进行侦测, 结果返回no lenth()或者not charatar file等.

  11. page.encoding=enc['encoding']
  12. #对于类似json数组的引用, 就是上面这样.

  14. #import pdb
  15. #pdb.set_trace()
  16. #这段是学习debug时候的成果 #Python 程序如何高效地调试？ - 知乎 #http://www.zhihu.com/question/21572891


  19. from lxml import etree
  20. myParser=etree.HTMLParser(encoding='utf-8')
  21. tree=etree.HTML(page.content,parser=myParser)
  22. titles=tree.xpath('//span[@class="atc_title"]/a/text()')
  23. #上面参考了 #python - Parsing UTF-8/unicode strings with lxml HTML - Stack Overflow #http://stackoverflow.com/questions/11938924/parsing-utf-8-unicode-strings-with-lxml-html
  24. #但是就是输出的是乱码.


  27. from lxml import html
  28. tree=html.fromstring(page.content)
  29. titles=tree.xpath('//span[@class="atc_title"]/a/text()')
  30. #这个我是根据http://www.zhidaow.com/post/html-scraping的样例做的, 一样.

  32. print(titles)
复制代码
首战失败, 问题

如何操作encoding?
lxml.etree 和 lxml.html 有啥不同?

明日继续学习.

作者: crossin先生    时间: 2015-10-26 13:03
作者: anyone    时间: 2015-10-27 21:04
crossin先生 发表于 2015-10-26 13:03

请问编码的问题是如何解决? 为什么我总是得到的是一堆/xxxx这样的结果呢?

源页面时utf8中文页面
我怎么才能保证在requests.get和etree.htmlparser之后编码仍然是utf8呢?

谢谢.
作者: crossin先生    时间: 2015-10-28 23:44
你要把结果print出来就可以了。如果是在list中，是不会去解码的
作者: anyone    时间: 2015-12-15 23:22
本帖最后由 anyone 于 2015-12-15 23:24 编辑

前一段比较忙, 现在我开始继续这个事情.  下面是我自己学习的代码, 目前可以使用re来返回我需要的一些页面内容.
  1. import urllib
  2. import re


  5. urls = ["http://www.google.com","http://www.yahoo.com", "http://www.sina.com.cn", "http://www.bbc.co.uk"]


  8. i=0
  9. while i<len(urls):

  11.         htmlfile = urllib.urlopen(urls[i])
  12.         htmltext = htmlfile.read()

  14.         regex = "<title>(.*?)</title>"
  15.         pattern = re.compile(regex)

  17.         needle = re.findall(pattern, htmltext)

  19.         # have to use, to add string?
  20.         # how to deal with chinese charactars?
  21.         print urls[i]," title is: ",needle
  22.         i+=1
复制代码
但是问题仍然是,

1, 我如何print出来中文呢?
2, 在print中为什么连接url和string中间使用逗号","?

烦请crossin帮我解答一下, 谢谢.
作者: crossin先生    时间: 2015-12-15 23:31
anyone 发表于 2015-12-15 23:22
前一段比较忙, 现在我开始继续这个事情.  下面是我自己学习的代码, 目前可以使用re来返回我需要的一些页面 ...

needle是个list，要print出中文，需要对其中的每一项输出，而不是直接作为整体输出。
逗号只是为了在同一行输出，也可以用两个print，那样会换行
作者: anyone    时间: 2015-12-15 23:47
needle是个list，要print出中文，需要对其中的每一项输出，而不是直接作为整体输出。


非常感谢, 我换成needle[0]就可以了. 原来我对于变量类型太不熟悉, 我会专门的看看你的这方面课程.

逗号只是为了在同一行输出，也可以用两个print，那样会换行


这里的逗号是一个什么操作符号呢? 在你的课程里面哪项是介绍这部分内容的呢?


非常感谢你的快速回复.
作者: crossin先生    时间: 2015-12-16 10:43
anyone 发表于 2015-12-15 23:47
非常感谢, 我换成needle[0]就可以了. 原来我对于变量类型太不熟悉, 我会专门的看看你的这方面课程.

这是 print 命令的一个小用法



欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/) Powered by Discuz! X2.5