抓取微信公众账号每天的文章更新（抛出第一块砖）

test777

不清楚"传送门"是这么抓取到微信的文章的，找不到微信的api接口
我尝试抓取传送门里面的文章，但是发现主体文章列表是ajax返回的。直接访问ajax地址是404页面，应该是判断了refer
无解...

test777

用urllib2伪造了referer和user-agent，终于抓到了

1. import urllib2, HTMLParser
   
2. 
   
3. article_list = []
   
4. 
   
5. class MyParser(HTMLParser.HTMLParser):
   
6.     def __init__(self):
   
7.         HTMLParser.HTMLParser.__init__(self)
   
8. 
   
9.     def handle_starttag(self,tag,attrs):
   
10.         if tag == 'a':
    
11.             for name,value in attrs:
    
12.                 if name == 'href':
    
13.                     print(value)
    
14.                     article_list.append(value)
    
15. 
    
16. 
    
17. def fetch_data(uri):
    
18.     request = urllib2.Request(uri)
    
19.     request.add_header('Referer','http://chuansongme.com/account/crossincode')
    
20.     request.add_header('Content-Type','application/x-www-form-urlencoded')
    
21.     request.add_header('User-Agent','fake-client')
    
22.     response = urllib2.urlopen(request)
    
23.     return response
    
24. 
    
25. 
    
26. 
    
27. list_str = fetch_data('http://chuansongme.com/more/account-crossincode/recent?lastindex=0').read()
    
28. print(list_str)
    
29. 
    
30. my = MyParser()
    
31. my.feed(list_str.decode('utf-8'))
    
32. 
    
33. article = fetch_data(article_list[0]).read()
    
34. print(article)
    
35. 
    
36. f = open('weixin.html','w')
    
37. f.write(article)
    
38. f.close()
    

复制代码