如何用Python爬虫代码，实现批量抓取网络图片并保存到本地？

soup = BeautifulSoup(html_content, 'html.parser')
img_tags = soup.find_all('img')
# 创建一个文件夹用于存放图片
if not os.path.exists('downloaded_images'):
    os.makedirs('downloaded_images')

遍历链接并下载图片
遍历所有找到的<img>标签，提取src属性，然后下载图片,需要注意处理相对路径和绝对路径的问题。

for i, img in enumerate(img_tags):
    img_url = img.get('src')
    if not img_url:
        continue
    # 处理相对路径：如果URL不是以http开头，则补全为绝对路径
    if not img_url.startswith(('http:', 'https:')):
        from urllib.parse import urljoin
        img_url = urljoin(url, img_url)
    try:
        # 获取图片内容
        img_response = requests.get(img_url, headers=headers, timeout=10)
        img_response.raise_for_status()
        # 从URL中提取文件名，或使用序号命名
        file_name = f"image_{i+1}.jpg"
        file_path = os.path.join('downloaded_images', file_name)
        # 以二进制写入模式保存图片
        with open(file_path, 'wb') as f:
            f.write(img_response.content)
        print(f"成功下载: {file_name}")
    except requests.RequestException as e:
        print(f"下载图片失败 {img_url}: {e}")

进阶技巧与注意事项

当基础爬虫能够运行后，还需要考虑一些进阶问题，使其更稳定、更高效。

• 设置合理的延迟：过于频繁的请求会给目标服务器带来巨大压力，并极易导致IP被封，在每次请求之间加入time.sleep()是良好的爬虫习惯。
• 处理不同类型的图片：网页中的图片可能是.jpg, .png, .gif, .webp等多种格式，可以通过解析URL后缀或响应头中的Content-Type来保存正确的文件格式。
• 使用代理IP：对于大规模抓取,使用代理IP池可以有效避免因单一IP请求过多而被封锁。
• 遵守robots.txt协议：这是一个君子协议，规定了网站哪些部分可以被爬虫访问，在开始抓取前，应检查目标网站的robots.txt文件,尊重网站的爬虫政策。

常用库功能对比

利用Python进行网络图片抓取是一项非常实用的技能，通过掌握requests和Beautiful Soup这两个核心工具，并结合良好的编程习惯，如设置请求头、控制请求频率和进行异常处理，我们就能构建出稳定高效的图片爬虫，从简单的静态页面到复杂的动态网站，Python爬虫的世界充满了探索的乐趣和无限的可能，但请始终牢记，技术应被负责任地使用,尊重数据来源和网站规则是每一位开发者应尽的义务。

相关问答 (FAQs)

问题1：抓取到的图片链接是相对路径（如 /images/pic.jpg），如何处理才能正确下载？
解答：相对路径是相对于当前网页URL的路径，直接请求会失败，你需要将其转换为绝对路径，最简单的方法是使用Python内置的urllib.parse.urljoin函数，它会根据基础URL（你访问的网页地址）和相对路径，自动拼接出完整的、可访问的绝对URL。

from urllib.parse import urljoin
base_url = 'https://www.example.com/gallery/'
relative_path = '/images/pic.jpg'
absolute_url = urljoin(base_url, relative_path)
# 结果为: 'https://www.example.com/images/pic.jpg'

在代码中，只需在下载图片前，对每个src进行一次urljoin处理即可。

问题2：为什么我的爬虫运行一段时间后就被网站禁止访问了（返回403 Forbidden错误）？
解答：这通常是网站的反爬虫机制被触发了,原因可能包括：

1. 请求频率过高：短时间内发送大量请求,被服务器识别为恶意行为。
2. 缺少或错误的请求头：特别是User-Agent，如果没有设置User-Agent，requests默认的标识很容易被识别为爬虫程序。
3. IP被封禁：服务器记录了你的IP地址,并暂时或永久地禁止了你的访问。

解决方法：

• 降低请求频率：在循环中加入time.sleep(1)或更长的时间,模拟人类浏览行为。
• 伪装请求头：设置一个真实的浏览器User-Agent，并可以增加Referer等字段。
• 使用代理IP：通过切换不同的IP地址来访问，可以避免单一IP被封，可以从网上获取免费或付费的代理IP池，并在requests中通过proxies参数使用。