抓取微信公众账号每天的文章更新（抛出第一块砖）

crossin先生

我现在就突然想到这么一个念头，我不知道具体的方法，但我想这个一定是可以通过我们掌握的编程知识解决的。

现在已经有类似的网站，比较有名的就是传送门：http://chuansong.me/

第一步可以从最简单的开始，比如就是抓取“Crossin的编程教室”最新的文章。搞定了之后，我们再一步步完善，甚至最后做一个网页出来也是可能的。

求思路。

渡俊

高手

kakalala

chuansongme不知道如何抓取到微信文章的，而且是实时更新的。
还有些微信导航网也实时同步更新微信文章，谁知道这个原理

onlyforstop

发现好多的高手……

crossin先生

test777 发表于 2013-9-13 14:21
用urllib2伪造了referer和user-agent，终于抓到了

good

test777

用urllib2伪造了referer和user-agent，终于抓到了

1. import urllib2, HTMLParser
   
2. 
   
3. article_list = []
   
4. 
   
5. class MyParser(HTMLParser.HTMLParser):
   
6.     def __init__(self):
   
7.         HTMLParser.HTMLParser.__init__(self)
   
8. 
   
9.     def handle_starttag(self,tag,attrs):
   
10.         if tag == 'a':
    
11.             for name,value in attrs:
    
12.                 if name == 'href':
    
13.                     print(value)
    
14.                     article_list.append(value)
    
15. 
    
16. 
    
17. def fetch_data(uri):
    
18.     request = urllib2.Request(uri)
    
19.     request.add_header('Referer','http://chuansongme.com/account/crossincode')
    
20.     request.add_header('Content-Type','application/x-www-form-urlencoded')
    
21.     request.add_header('User-Agent','fake-client')
    
22.     response = urllib2.urlopen(request)
    
23.     return response
    
24. 
    
25. 
    
26. 
    
27. list_str = fetch_data('http://chuansongme.com/more/account-crossincode/recent?lastindex=0').read()
    
28. print(list_str)
    
29. 
    
30. my = MyParser()
    
31. my.feed(list_str.decode('utf-8'))
    
32. 
    
33. article = fetch_data(article_list[0]).read()
    
34. print(article)
    
35. 
    
36. f = open('weixin.html','w')
    
37. f.write(article)
    
38. f.close()
    

复制代码

test777

不清楚"传送门"是这么抓取到微信的文章的，找不到微信的api接口
我尝试抓取传送门里面的文章，但是发现主体文章列表是ajax返回的。直接访问ajax地址是404页面，应该是判断了refer
无解...

cs1707

http://mp.weixin.qq.com/mp/getma ... chat_webview_type=1

crossin先生

Miracle_Wong 发表于 2013-9-8 23:25
没想到crossin先生 也使用“传送门”，我一直都是用这个网站看各种微信文章的，包括我们的“Crossin的编程 ...

我和它的开发者还有过一些交流的

Miracle_Wong

没想到crossin先生 也使用“传送门”，我一直都是用这个网站看各种微信文章的，包括我们的“Crossin的编程教室”（如图），我还写过一篇“传送门”的介绍文章呢！文章在这里：如何在电脑端看微信文章，希望对大家有所帮助！