爬取图片出现的问题

noobbull

最近刚学习爬虫， 小白想请教crossin老师和大家， 为什么不能获取图片，
python 3.7  url ： https://tieba.baidu.com/f?kw=%E5%A5%B3%E7%A5%9E&ie=utf-8&pn=0

import os
import requests
from bs4 import BeautifulSoup as bs


def url_open(url):
    headers = {}
    headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
    r = requests.get(url, headers = headers).text
    soup = bs(r, 'lxml')
    return soup

def img_download(img_url, file = './nv_shen'):
    filename = img_url.split('/')[-1]
    img_content = requests.get(img_url)  
    with open(filename, 'wb') as f:
        f.write(img_content.content)


def download_nvshen(s, file = './nv_shen'):
    os.makedirs(file, exist_ok = True)
    os.chdir(file)

    links = []   
    for i in range(s):
        endw = str(50*i)
        link = "https://tieba.baidu.com/f?kw=%E5%A5%B3%E7%A5%9E&ie=utf-8&pn="+ endw
        links.append(link)

    #print(links)

    for link in links:
        content = url_open(link)
        #print(content)
        img_classes = content.find_all('div', class_= 'media_box j_remove j_media_box')
        # 问题出在这里 img_classes是个空列表， 请问为什么
        for img_class in img_classes:
            imgs = img_class.find_all('img', class_= 'j_retract')
            for img in imgs:
                img_url = img['src']                    
                img_download(img_url, file)

s = int(input('print a number: '))   
download_nvshen(s)

crossin先生

#print(content)
把你这里输出的content复制到文本编辑器搜索一下你要的内容
1. 没有你要的内容，那是抓取部分的问题，数据就没有拿过来
1.1 看看是不是权限问题，被反爬了。是的话增加headers信息
1.2 页面其他信息正常，就是缺少数据。那重新去分析页面请求，看看是不是数据在其他请求里

2.有你要的内容，但是没被bs提取出来。那就是提取规则的问题，仔细修改一下，总能弄出来的

yiniuyun0

棒棒哒