Crossin的编程教室

标题: 求助：新手爬煎蛋妹子图遇阻 [打印本页]

作者: 沸反盈天 时间: 2016-11-6 15:46
标题: 求助：新手爬煎蛋妹子图遇阻
以下是代码

from bs4 import BeautifulSoup
import requests,urllib.request
import time

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}

urls = []
def get_page_link(star,end):
for each_page in range(star,end):
      full_url = 'http://jandan.net/ooxx/page-{}'.format(each_page)
      wb_data = requests.get(full_url)
      soup = BeautifulSoup(wb_data.text,'lxml')
      for pic_tag in soup.find_all('img'):
         pic_link = pic_tag.get('src')
         urls.append(pic_link)
return (urls)

folder_path = 'E://jiandan/'

def dl_img(url):
urllib.request.urlretrieve(url,folder_path + url[-10:])
print('Done')

for url in get_page_link(2199,2201):
dl_img(url)
time.sleep(2)

虽然想多页下载，但每次还是只能下载一页的图片，比如上面的代码中就只能下载2199那一页的图片，之后就会报错：
Traceback (most recent call last):
  File "F:/python/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 28, in <module>
dl_img(url)
  File "F:/p困扰很久了，求各位相助！
ython/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 24, in dl_img
urllib.request.urlretrieve(url,folder_path + url[-10:])
  File "F:\python3\lib\urllib\request.py", line 198, in urlretrieve
tfp = open(filename, 'wb')
FileNotFoundError: [Errno 2] No such file or directory: 'E://jiandan/g/1112.png'

困扰很久了，求各位相助！

作者: crossin先生 时间: 2016-11-6 22:04
'E://jiandan/g/1112.png'
这个 /g ，你没有创建好对应的子文件夹吧，所以程序没法创建对应的文件
你print看看每次你保存前的路径究竟是什么，路径是不是可达

作者: 920428684 时间: 2017-2-19 12:34
报错信息好像说的就是找不到文件呢。

话说写写这个网站终于找到可以爬的好玩的东西了嘿嘿嘿~

作者: crossin先生 时间: 2017-2-20 20:58

920428684 发表于 2017-2-19 12:34
报错信息好像说的就是找不到文件呢。

话说写写这个网站终于找到可以爬的好玩的东西了嘿嘿嘿~ ...

还有个叫 meizitu.com 的也适合爬

作者: 920428684 时间: 2017-2-21 20:35

crossin先生发表于 2017-2-20 20:58
还有个叫 meizitu.com 的也适合爬

恩昨天爬的太狠被这两个网站拒绝了

看你的教程学到了很多非常感谢！

欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/)