脚本如何爬取图片资源

wen 实用脚本 2026-06-30 29

从零到精通的实战指南

目录导读

什么是图片爬取脚本？为什么它如此重要？
爬取图片前的准备工作：法律与道德边界
主流爬取工具与库的对比分析
手把手教你编写第一个图片爬虫
高级技巧：突破反爬机制与动态加载页面
爬取后的图片处理与存储优化
常见问题与解决方案（问答环节）

什么是图片爬取脚本？为什么它如此重要？

图片资源爬取脚本，指的是通过编写自动化的程序代码，从互联网上批量下载图片文件的工具或解决方案，在当今数字化时代，高质量的图片资源对于内容创作、设计工作、人工智能训练数据以及市场调研都至关重要，手动一张张保存图片效率极低,而脚本爬取可以在几分钟内完成人类数小时的工作。

脚本如何爬取图片资源

一名设计师需要200张不同风格的风景图作为灵感参考，如果手动去各大图库下载，可能需要一整天；而一个编写得当的爬虫脚本，可以在30分钟内完成筛选、下载和分类，更关键的是，脚本爬取可以实现定时任务、增量更新以及多线程并发,这些都是手动操作无法比拟的优势。

爬取图片前的准备工作：法律与道德边界

在开始编写任何爬虫之前，必须明确一个原则：技术无罪，但滥用有责,以下是你必须遵守的底线：

遵守网站robots.txt协议：每个网站的根目录下通常有一个robots.txt文件，它明确列出了哪些路径允许爬取，哪些禁止。User-agent: * Disallow: /private/ 表示禁止所有爬虫访问私密目录。
控制请求频率：模拟人类浏览行为，设置合理的延迟（如1-3秒/次），避免对服务器造成压力，许多优质图站（如Unsplash、Pexels）提供官方API,优先使用API而非爬虫。
尊重版权：商业用途的图片必须获取授权，使用爬虫下载的图片仅供个人学习或非商业用途，如果公开发布，请选择CC0许可证的图库（如Pixabay）。
避免采集用户数据：不要爬取包含个人隐私的图片（如社交媒体头像、儿童照片等）。

主流爬取工具与库的对比分析

工具/库	语言	适用场景	优点	缺点
Python + Requests + BeautifulSoup	Python	静态页面、简单站点	轻量、易学、文档丰富	无法处理JavaScript渲染
Python + Scrapy	Python	大型项目、多页面	高效、内置去重、可扩展	学习曲线较陡
Python + Selenium	Python	动态加载页面（JS渲染）	模拟真实浏览器行为	速度慢、资源消耗大
Node.js + Puppeteer	JavaScript	动态页面、Chrome自动化	性能优于Selenium	内存占用较高
Wget	命令行	单次快速下载	无需编程、简单粗暴	无法处理复杂逻辑

推荐组合：如果是新手，从Python + Requests + BeautifulSoup入门；如果目标网站使用了大量JavaScript（如瀑布流图片），立即转向Selenium或Puppeteer，对于大规模项目（如爬取整个图库），直接上Scrapy。

手把手教你编写第一个图片爬虫

假设我们要爬取一个提供免费壁纸的静态网站（如wallhaven.cc），目标是把搜索“nature”的结果页面的所有图片下载到本地。

步骤1：分析网页结构

打开浏览器开发者工具（F12），定位到图片元素，通常图片链接会藏在<img>标签的src属性中，或者通过JavaScript异步加载，对于静态页面,直接抓取HTML后解析即可。

步骤2：编写基础代码（Python）

import requests
from bs4 import BeautifulSoup
import os
import time
# 目标URL
url = 'https://wallhaven.cc/search?q=nature'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
# 发送请求
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 解析图片链接（假设图片在 figure.thumb img 内）
images = soup.select('figure.thumb img')
# 创建保存目录
if not os.path.exists('nature_wallpapers'):
    os.makedirs('nature_wallpapers')
# 下载图片
for i, img in enumerate(images[:20]):  # 只下载前20张
    img_url = img.get('src')
    if img_url and img_url.startswith('http'):
        img_data = requests.get(img_url, headers=headers).content
        file_name = f'nature_wallpapers/nature_{i+1}.jpg'
        with open(file_name, 'wb') as f:
            f.write(img_data)
        print(f'已下载: {file_name}')
        time.sleep(1)  # 礼貌延迟

步骤3：运行与调试

如果出现403错误，通常是因为User-Agent缺失或不对。
如果图片链接是相对路径（如/images/1.jpg）,需要手动拼接完整URL。
如果是动态加载页面，请跳过这一步,直接参考下一节。

高级技巧：突破反爬机制与动态加载页面

现实中的爬虫项目往往更复杂,以下是三大常见挑战及应对方案：

反爬虫机制：IP封禁与验证码

使用代理IP池：从免费代理网站（如快代理、西刺）采集IP，或直接购买付费代理服务，代码中随机切换IP,避免单一IP高频请求。
添加随机延迟：除了固定延迟，使用random.uniform(1, 3)让请求时间间隔不规律。
处理验证码：简单验证码可以使用pytesseractOCR库，复杂的考虑接入第三方打码平台（如超级鹰）。

动态加载页面：无限滚动与AJAX

许多图片网站采用“滚动加载”模式（如花瓣网、Pinterest），此时Requests获取的HTML片段只有首屏内容,解决方案：

使用Selenium：模拟浏览器滚动到底部,然后抓取新加载的图片。

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
driver = webdriver.Chrome()
driver.get('https://huaban.com/search?q=landscape')
# 滚动5次
for _ in range(5):
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')
    time.sleep(2)
# 获取所有图片元素
imgs = driver.find_elements(By.CSS_SELECTOR, 'img')

直接抓取XHR请求：使用浏览器开发者工具的Network面板，找到返回JSON数据的接口，例如花瓣网的https://api.huaban.com/search/file,直接模拟该请求即可绕过前端渲染。

并发加速：多线程与异步IO

下载1000张图片，单线程需要半小时,使用多线程可以缩短到3分钟：

import threading
from queue import Queue
def download_worker(q):
    while not q.empty():
        url, file_name = q.get()
        try:
            # 下载逻辑
            pass
        except:
            pass
        finally:
            q.task_done()
# 创建任务队列
q = Queue()
for i, url in enumerate(image_urls):
    q.put((url, f'img_{i}.jpg'))
# 启动10个线程
for _ in range(10):
    t = threading.Thread(target=download_worker, args=(q,))
    t.start()
q.join()

爬取后的图片处理与存储优化

下载完图片不代表工作结束,以下两个步骤能提升最终成果的可用性：

格式统一与压缩：使用Python的PIL（Pillow）库将所有图片转为JPEG格式，并压缩到合适大小（如长边1920px）,避免无效空间占用。
去重：基于图片的MD5哈希值清除完全相同的重复文件,避免冗余。
自动分类：利用OCR识别图片中的文字，或使用简单的颜色直方图特征，将图片按主题（如“日落”“森林”“建筑”）自动归入不同文件夹。

常见问题与解决方案（问答环节）

Q1：我的脚本爬取时总是超时或报错“ConnectionError”，怎么办？
A：这通常是因为目标网站加了WAF（Web应用防火墙）或你的IP被临时封禁，解决方案：更换更高质量的代理IP，增加请求间隔至3-5秒，或者使用requests的timeout参数（如requests.get(url, timeout=10)）。

Q2：爬取百度图片时，发现图片链接是“data:image...”这样的base64编码，如何下载？
A：百度图片的缩略图确实用base64内嵌，但这并非真实大图，你需要点击图片后，从新弹出的页面上提取“原图”链接，更高效的方法是直接抓取百度图片的API接口（如https://image.baidu.com/search/acjson），返回的数据中包含thumbURL和middleURL,方便直接下载。

Q3：如何判断一个图片网站是否允许爬取？
A：检查/robots.txt文件，如果没有，观察网站是否有“禁止采集”的声明，最稳妥的做法：发送邮件联系站长请求授权，或使用官方提供的API，500px官网明确声明“禁止爬虫采集”并会追究法律责任。

Q4：Selenium爬取时，弹出Chrome窗口非常消耗资源，如何优化？
A：启动参数中添加--headless（无头模式）,并禁用图片加载以加速：

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--blink-settings=imagesEnabled=false')
driver = webdriver.Chrome(options=options)