设为首页收藏本站

Crossin的编程教室

 找回密码
 立即加入
查看: 8007|回复: 4
打印 上一主题 下一主题

求助:新手爬煎蛋妹子图遇阻

[复制链接]

1

主题

0

好友

5

积分

新手上路

Rank: 1

跳转到指定楼层
楼主
发表于 2016-11-6 15:46:58 |只看该作者 |倒序浏览
以下是代码

from bs4 import BeautifulSoup
import requests,urllib.request
import time

header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'}

urls = []
def get_page_link(star,end):
    for each_page in range(star,end):
        full_url = 'http://jandan.net/ooxx/page-{}'.format(each_page)
        wb_data = requests.get(full_url)
        soup = BeautifulSoup(wb_data.text,'lxml')
        for pic_tag in soup.find_all('img'):
            pic_link = pic_tag.get('src')
            urls.append(pic_link)
    return (urls)

folder_path = 'E://jiandan/'

def dl_img(url):
    urllib.request.urlretrieve(url,folder_path + url[-10:])
    print('Done')

for url in get_page_link(2199,2201):
    dl_img(url)
    time.sleep(2)

虽然想多页下载,但每次还是只能下载一页的图片,比如上面的代码中就只能下载2199那一页的图片,之后就会报错:
Traceback (most recent call last):
  File "F:/python/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 28, in <module>
    dl_img(url)
  File "F:/p困扰很久了,求各位相助!
ython/外部包或学习视频/4周实现爬虫/课程资料/Plan-for-combating-master/week1/1_3/等会就删.py", line 24, in dl_img
    urllib.request.urlretrieve(url,folder_path + url[-10:])
  File "F:\python3\lib\urllib\request.py", line 198, in urlretrieve
    tfp = open(filename, 'wb')
FileNotFoundError: [Errno 2] No such file or directory: 'E://jiandan/g/1112.png'


困扰很久了,求各位相助!
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

沙发
发表于 2016-11-6 22:04:52 |只看该作者
'E://jiandan/g/1112.png'
这个 /g ,你没有创建好对应的子文件夹吧,所以程序没法创建对应的文件
你print看看每次你保存前的路径究竟是什么,路径是不是可达
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

4

主题

0

好友

103

积分

注册会员

Rank: 2

板凳
发表于 2017-2-19 12:34:44 |只看该作者
报错信息好像说的就是找不到文件呢  。

话说写写这个网站  终于找到可以爬的好玩的东西了  嘿嘿嘿~
回复

使用道具 举报

174

主题

45

好友

11万

积分

管理员

Rank: 9Rank: 9Rank: 9

地板
发表于 2017-2-20 20:58:10 |只看该作者
920428684 发表于 2017-2-19 12:34
报错信息好像说的就是找不到文件呢  。

话说写写这个网站  终于找到可以爬的好玩的东西了  嘿嘿嘿~ ...

还有个叫 meizitu.com 的也适合爬
#==== Crossin的编程教室 ====#
微信ID:crossincode
网站:http://crossincode.com
回复

使用道具 举报

4

主题

0

好友

103

积分

注册会员

Rank: 2

5#
发表于 2017-2-21 20:35:58 |只看该作者
crossin先生 发表于 2017-2-20 20:58
还有个叫 meizitu.com 的也适合爬

恩 昨天爬的太狠   被这两个网站拒绝了
看你的教程学到了很多   非常感谢!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即加入

QQ|手机版|Archiver|Crossin的编程教室 ( 苏ICP备15063769号  

GMT+8, 2024-11-24 20:22 , Processed in 0.028093 second(s), 24 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部