Crossin的编程教室

标题: 求助:新手爬煎蛋妹子图遇阻 [打印本页]

作者: 沸反盈天    时间: 2016-11-6 15:46
标题: 求助:新手爬煎蛋妹子图遇阻
以下是代码

from bs4 import BeautifulSoup
import requests,urllib.request
import time

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}

urls = []
def get_page_link(star,end):
    for each_page in range(star,end):
        full_url = 'http://jandan.net/ooxx/page-{}'.format(each_page)
        wb_data = requests.get(full_url)
        soup = BeautifulSoup(wb_data.text,'lxml')
        for pic_tag in soup.find_all('img'):
            pic_link = pic_tag.get('src')
            urls.append(pic_link)
    return (urls)

folder_path = 'E://jiandan/'

def dl_img(url):
    urllib.request.urlretrieve(url,folder_path + url[-10:])
    print('Done')

for url in get_page_link(2199,2201):
    dl_img(url)
    time.sleep(2)

虽然想多页下载,但每次还是只能下载一页的图片,比如上面的代码中就只能下载2199那一页的图片,之后就会报错:
Traceback (most recent call last):
  File "F:/python/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 28, in <module>
    dl_img(url)
  File "F:/p困扰很久了,求各位相助!
ython/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 24, in dl_img
    urllib.request.urlretrieve(url,folder_path + url[-10:])
  File "F:\python3\lib\urllib\request.py", line 198, in urlretrieve
    tfp = open(filename, 'wb')
FileNotFoundError: [Errno 2] No such file or directory: 'E://jiandan/g/1112.png'


困扰很久了,求各位相助!

作者: crossin先生    时间: 2016-11-6 22:04
'E://jiandan/g/1112.png'
这个 /g ,你没有创建好对应的子文件夹吧,所以程序没法创建对应的文件
你print看看每次你保存前的路径究竟是什么,路径是不是可达
作者: 920428684    时间: 2017-2-19 12:34
报错信息好像说的就是找不到文件呢  。

话说写写这个网站  终于找到可以爬的好玩的东西了  嘿嘿嘿~
作者: crossin先生    时间: 2017-2-20 20:58
920428684 发表于 2017-2-19 12:34
报错信息好像说的就是找不到文件呢  。

话说写写这个网站  终于找到可以爬的好玩的东西了  嘿嘿嘿~ ...

还有个叫 meizitu.com 的也适合爬
作者: 920428684    时间: 2017-2-21 20:35
crossin先生 发表于 2017-2-20 20:58
还有个叫 meizitu.com 的也适合爬

恩 昨天爬的太狠   被这两个网站拒绝了
看你的教程学到了很多   非常感谢!




欢迎光临 Crossin的编程教室 (https://bbs.crossincode.com/) Powered by Discuz! X2.5