新人報到

crossin先生

Skeel 发表于 2016-8-15 22:13
做的很好，不過請問代碼編輯器是怎麼弄出來。

回帖里的代码编辑器？
有个 <> 图标的按钮

manhong2112

寫了一個爬蟲, 一開始用lxml總是報錯(貌似是網站的HTML有問題)...就轉用BeautifulSoup了...
雖然能用, 但總感覺哪裡不太對勁..
EDIT: 相對路徑沒被簡化, 組成了一個迴圈....
EDIT: 找到了urljoin這函數, 希望不再出bug

1. 
   
2. # from lxml import etree
   
3. from bs4 import BeautifulSoup
   
4. import urllib as request
   
5. from urlparse import urljoin
   
6. import re
   
7. import os
   
8. 
   
9. 
   
10. def getHtml(url):
    
11.     res = request.urlopen(url)
    
12.     try:
    
13.         return url, res.read().decode("utf-8")
    
14.     except Exception:
    
15.         return url, res.read().decode("big5")
    
16. 
    
17. 
    
18. def extractLink(url, html):
    
19.     soup = BeautifulSoup(html, "html.parser")
    
20.     return set(map(lambda i: re.sub("#.*$", "", urljoin(url, i["href"])), soup.findAll('a')))
    
21.     # return set(etree.HTML(html).xpath("//a/@href"))
    
22. 
    
23. 
    
24. target = "http://example.com/" # 目標網站
    
25. startAt = "http://example.com/index.html" # 起始網頁
    
26. output = "output" # 輸出
    
27. downloadedLink = set()
    
28. toBeDownload = set()
    
29. toBeDownload.add(startAt)
    
30. p = re.compile("https?://.*?/(.*)")
    
31. 
    
32. while len(toBeDownload) != 0:
    
33.     try:
    
34.         url = toBeDownload.pop()
    
35.         downloadedLink.add(url)
    
36.         if (url.startswith("http") or url.startswith("https")) and not url.startswith(target):
    
37.             continue
    
38.         print "Downloading " + url
    
39.         _, content = getHtml(url)
    
40.         m = re.match(p, url)
    
41.         m = m.group(1)
    
42.         path, file = os.path.split(m)
    
43.         try:
    
44.             os.makedirs(os.path.join(output, path))
    
45.         except Exception:
    
46.             pass
    
47.         with open(os.path.join(output, m), "w") as f:
    
48.             f.write(content.encode('utf8'))
    
49.         newUrl = extractLink(url, content).difference(downloadedLink)
    
50.         toBeDownload = toBeDownload.union(newUrl)
    
51.     except Exception:
    
52.         print "Failed to Download " + url
    

复制代码

manhong2112

原本想弄個筆記本, 然後架個站自用...然後寫着寫着寫成了vcs(算嗎?算吧)......
話說混亂到自己都看不太下去了XDDD
EDIT: 換成if-else...感覺不想再看到python的lambda了....
EDIT: 大改了一下, 和把index的rollback功能刪了

1. import hashlib
   
2. import os
   
3. import json
   
4. import datetime
   
5. import time
   
6. 
   
7. dataLoc = "data"
   
8. 
   
9. class Enitiy(object):
   
10. 
    
11.     def __init__(self, name, dtype, hashcode, history):
    
12.         self.name = name
    
13.         self.dtype = dtype
    
14.         self.hashcode = hashcode
    
15.         self.history = history
    
16. 
    
17. class Index(Enitiy):
    
18. 
    
19.     def __init__(self, name, jsons=None, hashcode=None):
    
20.         self.name = name
    
21.         self.index = dict()
    
22.         if jsons is not None:
    
23.             for i in jsons["index"]:
    
24.                 if i["type"] == "Index":
    
25.                     self.index[i["name"]] = Index(
    
26.                         i["name"],
    
27.                         json.loads(read(i["hashcode"])),
    
28.                         i["hashcode"])
    
29.                 else:
    
30.                     self.index[i["name"]] = Enitiy(
    
31.                         i["name"],
    
32.                         i["type"],
    
33.                         i["hashcode"],
    
34.                         i["history"] if "history" in i else dict())
    
35. 
    
36.         super().__init__(name, "Index", hashcode, None)
    
37. 
    
38.     def __str__(self):
    
39.         return str(self.index)
    
40. 
    
41.     def __getitem__(self, k):
    
42.         return self.index[k]
    
43. 
    
44.     def __setitem__(self, k, v):
    
45.         self.index[k] = v
    
46. 
    
47.     def __contains__(self, item):
    
48.         return item in self.index
    
49. 
    
50.     def __len__(self):
    
51.         return len(self.index)
    
52. 
    
53.     def items(self):
    
54.         return self.index.items()
    
55. 
    
56.     def dumpJsons(self):
    
57.         result = dict()
    
58.         result["index"] = []
    
59.         result["name"] = self.name
    
60.         for k, v in self.index.items():
    
61.             obj = dict()
    
62.             obj["name"], obj["type"], obj["hashcode"], obj["history"] = v.name, v.dtype, v.hashcode, v.history
    
63.             result["index"].append(obj)
    
64.         return json.dumps(result)
    
65. 
    
66. _open = open
    
67. def open(hashcode, type="w+"):
    
68.     path = getPath(hashcode)
    
69.     os.makedirs(os.path.dirname(path), exist_ok=True)
    
70.     if os.path.isfile(path):
    
71.         type = "r+"
    
72.     else:
    
73.         type = "w"
    
74.     return _open(path, type, encoding="UTF-8")
    
75. 
    
76. def getPath(hashcode):
    
77.     return os.path.join(dataLoc, hashcode[:2], hashcode)
    
78. 
    
79. def hash(str):
    
80.     return hashlib.sha1(str).hexdigest()
    
81. 
    
82. def hashStr(str):
    
83.     return hash(str.encode("utf-8"))
    
84. 
    
85. def hashFile(name, content):
    
86.     return hash((name + "|" + content).encode("utf-8"))
    
87. 
    
88. def read(hashcode):
    
89.     with open(hashcode) as f:
    
90.         return f.read()
    
91. 
    
92. def init():
    
93.     root = None
    
94.     path = getPath("root")
    
95. 
    
96.     name = "/"
    
97. 
    
98.     if not os.path.isfile(path):
    
99.         root = Index(name)
    
100.         root_json = root.dumpJsons()
     
101.         hashcode = hashFile(name, root_json)
     
102.         with open(hashcode) as f:
     
103.             f.write(root_json)
     
104.         with open("root") as f:
     
105.             f.write(json.dumps({"hashcode": hashcode, "name": name, "type": "Index"}))
     
106.     else:
     
107.         with open("root") as f:
     
108.             accessPt = json.loads(f.read())
     
109.             hashcode = accessPt["hashcode"]
     
110.             with open(hashcode) as f:
     
111.                 root = Index(name, json.loads(f.read()), hashcode)
     
112.     return [root]
     
113. 
     
114. def end(indexStack):
     
115.     root = indexStack[0]
     
116.     date = datetime.datetime.now().strftime("%Y/%m/%d-%H:%M:%S")
     
117.     name = "/"
     
118.     content = root.dumpJsons()
     
119.     hashcode = hashFile(name, content)
     
120.     with open(hashcode) as f:
     
121.         f.write(content)
     
122.     with open("root") as f:
     
123.         accessPt = json.loads(f.read())
     
124.         f.seek(0)
     
125.         accessPt["hashcode"] = hashcode
     
126.         f.write(json.dumps(accessPt))
     
127.         f.truncate()
     
128. 
     
129. helpCmd = {
     
130.     "update": ["Usage>> update <name> <type> <content>",
     
131.                "Usage>> Update or create a file"],
     
132.     "rollback": ["Usage>> rollback <name> <id>",
     
133.                  "Usage>> Rollback to the specified id"],
     
134.     "ls": ["Usage>> ls [name]",
     
135.            "Usage>> list all file in current dir or specified dir"],
     
136.     "cd": ["Usage>> cd <dir|'..'>",
     
137.            "Usage>> cd to specified dir"],
     
138.     "mkdir": ["Usage>> mkdir <dir>",
     
139.               "Usage>> create a new dir at current dir"],
     
140.     "read": ["Usage>> read <name>",
     
141.              "Usage>> read the content of specified file"],
     
142.     "history": ["Usage>> history <name>",
     
143.                 "Usage>> List modifiy history of specified file"],
     
144.     "help": ["Usage>> <cmd>", "Usage>> Print the usage of cmd",
     
145.              "Usage>> all cmd[update, rollback, ls, cd, mkdir, read, history, help]"]
     
146. }
     
147. mainCmd = {"update", "rollback", "ls", "cd",
     
148.            "mkdir", "read", "history", "help", }
     
149. 
     
150. def update(indexStack, name, dtype, content):
     
151.     index = indexStack[-1]
     
152.     date = datetime.datetime.now().strftime("%Y/%m/%d %H:%M:%S")
     
153.     dateid = hashStr(date)[:6]
     
154.     entity_hashcode = hashFile(name, content)
     
155. 
     
156.     with open(entity_hashcode) as f:
     
157.         f.write(content)
     
158. 
     
159.     if name not in index:
     
160.         if dtype == "Index":
     
161.             index[name] = Index(name, hashcode=entity_hashcode)
     
162.         else:
     
163.             index[name] = Enitiy(name, dtype, entity_hashcode, dict())
     
164.     else:
     
165.         entity = index[name]
     
166.         entity.history[dateid] = (date, entity.hashcode)
     
167.         entity.hashcode = entity_hashcode
     
168. 
     
169. def rollback(indexStack, name, datetimeid):
     
170.     """
     
171.     indexStack
     
172.     name = file/dir name
     
173.     datetimeid = date
     
174.     """
     
175.     index = indexStack[-1]
     
176.     assert type(index[name]) is not Index
     
177.     history = index[name].history
     
178.     assert datetimeid in history
     
179.     with open(history[datetimeid][1]) as f:
     
180.         update(indexStack, name, index[name].dtype, f.read())
     
181. 
     
182. def ls(indexStack, name=None):
     
183.     if name is not None:
     
184.         index = Index(name, json.loads(read(indexStack[-1][name].hashcode)))
     
185.     else:
     
186.         index = indexStack[-1]
     
187.     assert type(index) is Index
     
188.     return index.name, sorted([(e.name, e.dtype) for _, e in index.items()])
     
189.    
     
190. def cd(indexStack, name):
     
191.     """
     
192.     indexStack
     
193.     name = file/dir name
     
194.     """
     
195.     assert type(indexStack) is list
     
196.     assert type(name) is str
     
197.     if name == "..":
     
198.         indexStack.pop()
     
199.     else:
     
200.         index = indexStack[-1]
     
201.         assert type(index[name]) is Index
     
202.         indexStack.append(index[name])
     
203. 
     
204. def getHistory(indexStack, name):
     
205.     """
     
206.     indexStack
     
207.     name = file name
     
208.     """
     
209.     assert type(indexStack) is list
     
210.     assert type(name) is str
     
211.     index = indexStack[-1]
     
212.     assert type(index[name]) is not Index
     
213.     return index[name].history
     
214. 
     
215. def mkdir(indexStack, name):
     
216.     assert name not in indexStack[-1]
     
217.     update(indexStack, name, "Index", Index(name).dumpJsons())
     
218. 
     
219. if __name__ == '__main__':
     
220.     indexStack = init()
     
221.     try:
     
222.         while True:
     
223.             cmd = input("/".join([i.name for i in indexStack]) + ">> ").split(" ")
     
224.             args = cmd[1:] if len(cmd) > 1 else []
     
225.             if cmd[0] in mainCmd:
     
226.                 if cmd[0] == "update":
     
227.                     update(indexStack, *args)
     
228.                 elif cmd[0] == "rollback":
     
229.                     rollback(indexStack, args[0], args[1])
     
230.                 elif cmd[0] == "ls":
     
231.                     if len(args) == 1:
     
232.                         i = ls(indexStack, *args)
     
233.                     else:
     
234.                         i = ls(indexStack)
     
235.                     print(i[0] + " :"),
     
236.                     print("\n".join(["\t" + n + " | " + t for n, t in i[1]]))
     
237.                 elif cmd[0] == "cd":
     
238.                     cd(indexStack, *args)
     
239.                 elif cmd[0] == "mkdir":
     
240.                     if len(args) != 1:
     
241.                         print("E>")
     
242.                     else:
     
243.                         mkdir(indexStack, args[0])
     
244.                 elif cmd[0] == "read":
     
245.                     if len(args) != 1:
     
246.                         print("E>")
     
247.                     else:
     
248.                         print(read(indexStack[-1][args[0]].hashcode)),
     
249.                 elif cmd[0] == "history":
     
250.                     if len(args) == 1:
     
251.                         history = getHistory(indexStack, args[0])
     
252.                         print(args[0] + " :")
     
253.                         print("id\t|date")
     
254.                         print("\n".join(
     
255.                              ["{}\t|{}".format(x[0], x[1]) for x in
     
256.                                sorted([(dateid, v[0]) for dateid, v in history.items()], key=lambda x: x[1])]))
     
257.                     else:
     
258.                         print("E>")
     
259.                 elif cmd[0] == "help":
     
260.                     exit = False
     
261.                     while not exit:
     
262.                         cmd = input("Help>> ")
     
263.                         if cmd == "exit" or cmd == "quit":
     
264.                             exit = True
     
265.                         elif cmd in helpCmd:
     
266.                             list(map(lambda x: print(x), helpCmd[cmd]))
     
267.                         else:
     
268.                             print("E> Invalid command")
     
269.             elif cmd[0] == "exit" or cmd[0] == "quit":
     
270.                 break
     
271.             else:
     
272.                 print("E> Invalid command")
     
273.     except Exception:
     
274.         raise
     
275.     finally:
     
276.         end(indexStack)

复制代码

crossin先生

manhong2112 发表于 2016-10-10 21:00
原本想弄個筆記本, 然後架個站自用...然後寫着寫着寫成了vcs(算嗎?算吧)......
話說混亂到自己都看不太下去 ...

你厉害的

manhong2112

和之前的筆記本一系列的, 用來抽取指定網址的內容!
目前只做了知乎, 以後再慢慢拓展
#註解掉的是md轉html的

1. from bs4 import BeautifulSoup
   
2. import urllib.request as urllib
   
3. import re
   
4. #import markdown
   
5. 
   
6. 
   
7. def getContext(url):
   
8.     data = parse(url, getRule(url))
   
9.     md = """\
   
10. {title}
    
11. {author}
    
12. {url}
    
13. 
    
14. {content}\
    
15. """.format(
    
16.         title=("#" + data["title"]) if "title" in data else "",
    
17.         author=("###" + data["author"]) if "author" in data else "",
    
18.         url=("#####[Link](" + data["url"] + ")") if "url" in data else "",
    
19.         content=("<hr><br>" + data["content"]) if "content" in data else "")
    
20.     #return "<meta charset='UTF-8'>\n" + markdown.markdown(md, output_format="html5")
    
21.     return md
    
22. 
    
23. rule = [
    
24.     (re.compile(r"https?://www.zhihu.com/question/\d*?/answer/\d*?#?.*"),
    
25.      {"content": {"selector": "div#zh-question-answer-wrap .zm-editable-content"},
    
26.       "title": {"selector": "div#zh-question-title > h2.zm-item-title > a"},
    
27.       "author": {"selector": "span.author-link-line > a.author-link"},
    
28.       "url": {"selector": "meta['http-equiv'='mobile-agent']", "attr": "content", "matching": re.compile(".*url=(.*)")}
    
29.       })
    
30. ]
    
31. 
    
32. 
    
33. def getRule(url):
    
34.     for k, v in rule:
    
35.         if k.match(url):
    
36.             return v
    
37. 
    
38. 
    
39. def getHtml(url, encoding="utf-8"):
    
40.     res = urllib.urlopen(url)
    
41.     return res.read()
    
42. 
    
43. 
    
44. def parse(url, rule):
    
45.     result = dict()
    
46.     soup = BeautifulSoup(getHtml(url), "html.parser")
    
47.     for (k, v) in rule.items():
    
48.         content = None
    
49.         if "attr" in v:
    
50.             content = str(soup.select(v["selector"])[0][v["attr"]]).strip(' \t\n\r')
    
51.         else:
    
52.             content = str(soup.select(v["selector"])[0].get_text()).strip(' \t\n\r')
    
53.         if "matching" in v:
    
54.             m = v["matching"].match(content)
    
55.             if m:
    
56.                 result[k] = m.group(1)
    
57.         else:
    
58.             result[k] = content
    
59.     return result
    
60. 
    
61. print(getContext("http://www.zhihu.com/question/51266789/answer/125952575"))

复制代码