「一道大数据习题」豆瓣评论最多的三千部电影

jxgx072037

crossin先生 发表于 2013-10-27 16:05
我发现豆瓣好像接口又改过了，现在每个tag只能抓200部，貌似是刚改的。
难道又是被我们刷爆了吗！ ...

干……我们有成为病毒制造者的潜质……

crossin先生

jxgx072037 发表于 2013-10-25 13:06
嗯嗯，暂时的诶，目前还不清楚具体多长时间就会恢复~~这个方法应该可行，试一下~~ ...

我发现豆瓣好像接口又改过了，现在每个tag只能抓200部，貌似是刚改的。
难道又是被我们刷爆了吗！

jxgx072037

crossin先生 发表于 2013-10-25 11:25
去过两次厦大，今年1月份刚去了次，校园很美！

这个屏蔽是暂时的吗？如果每个tag抓一次，然后把记录保存 ...

嗯嗯，暂时的诶，目前还不清楚具体多长时间就会恢复~~这个方法应该可行，试一下~~

crossin先生

jxgx072037 发表于 2013-10-25 10:15
嘿嘿，暂时找不到空间放网页，就先借俺们协会的空间用一下啦……有机会到厦门可以来玩

关于屏蔽，目前 ...

去过两次厦大，今年1月份刚去了次，校园很美！

这个屏蔽是暂时的吗？如果每个tag抓一次，然后把记录保存。一旦遇到屏蔽就停止，歇一段时间继续接着抓，这样可行吗？

jxgx072037

crossin先生 发表于 2013-10-25 09:51
厦大登山协会v5...

嘿嘿，暂时找不到空间放网页，就先借俺们协会的空间用一下啦……有机会到厦门可以来玩

关于屏蔽，目前想到可以设置一下定时，比如每隔5s抓取一部……但是这样的话会变慢……

crossin先生

jxgx072037 发表于 2013-10-25 02:55
目前搞出来一个理论上可行的版本，这个版本在抓取豆瓣电影时会出现请求过多，被豆瓣屏蔽的现象……采取的方 ...

被屏蔽是个问题

crossin先生

jxgx072037 发表于 2013-10-25 02:55
目前搞出来一个理论上可行的版本，这个版本在抓取豆瓣电影时会出现请求过多，被豆瓣屏蔽的现象……采取的方 ...

厦大登山协会v5...

jxgx072037

目前搞出来一个理论上可行的版本，这个版本在抓取豆瓣电影时会出现请求过多，被豆瓣屏蔽的现象……采取的方法是直接上他的页面抓取信息，因为目前能抓到的信息不多，所以排序上面没下太多功夫……就用了一个sort；

这里是根据仅抓取的几个标签生成的前100部电影；

代码在这里

求拍砖！！

jxgx072037

crossin先生 发表于 2013-10-24 12:53
hoho... 感觉是的。是api返回403？直接上豆瓣是好的？

没用API那种方法，直接抓豆瓣电影页面上的内容，在shell里面显示403，直接访问是好的～～～哈哈……大半夜的各种换VPN

crossin先生

jxgx072037 发表于 2013-10-24 01:02
貌似调试程序的时候悲催了，被HTTP Error 403: Forbidden了……是不是请求太多次了 ...

hoho... 感觉是的。是api返回403？直接上豆瓣是好的？