课程

深入探索Scrapy框架:构建高效Python分布式爬虫教程

5 次浏览发布 2026-08-12更新 2026-08-24
本教程全面介绍Scrapy框架,涵盖从基础搭建到高级应用的各个方面,包括Windows和Linux环境下的Python安装、Scrapy开发环境配置、分布式爬虫实现以及Elasticsearch搜索引擎的使用。适合想要掌握高效爬虫技术的开发者。

资源亮点:

1. 系统性的Scrapy框架教程,从入门到进阶。

2. 实战案例丰富,涵盖招聘网站、问答网站等整站爬取。

3. 分布式爬虫与Elasticsearch搜索引擎的集成应用。

4. 提供源代码和视频教程,方便学习和实践。

适用场景:

  • 需要构建高效爬虫系统的开发者
  • 对Scrapy框架感兴趣的学习者
  • 想要了解分布式爬虫和搜索引擎集成的技术专家

📂 资源目录

📁 第5章 scrapy爬去知名问答网站
    📁 5
        5资料.png  [493.5 KB]
        17.mp4  [16.8 MB]
        爬虫第五章1-5.mp4  [120.3 MB]
        6-16.mp4  [397.1 MB]
    第5章 scrapy爬去知名问答网站文档.zip  [1.8 MB]
📁 第9章 scrapy-redis分布式爬虫
    第9章 scrapy-redis分布式爬虫必看.png  [493.5 KB]
    9-3.mp4  [87.9 MB]
    9-5.12.mp4  [25.3 MB]
    9-4+scrapy-redis编写分布式爬虫代码.avi  [106.3 MB]
    9-6.mp4  [26.0 MB]
    9-2.mp4  [18.6 MB]
    9-7.mp4  [41.9 MB]
    9-1分布式爬虫要点.mp4  [8.6 MB]
📁 第3章 爬虫基础知识回顾
    📁 3
        3必看.zip  [1.8 MB]
        第三章3-4节.mp4  [37.5 MB]
        新增--3章-深度优先.mp4  [61.8 MB]
        第三章6-5节  从15.15开始看,在回看.mp4  [56.6 MB]
        第三章1-2节.mp4  [44.7 MB]
    第3章 爬虫基础知识回顾文档.zip  [1.8 MB]
📁 第10章 elasticsearch搜索引擎的使用
    第10章 elasticsearch搜索引擎的使用文档.zip  [1.8 MB]
    10-12.mp4  [53.2 MB]
    10-2安装.mp4  [31.9 MB]
    10-3.mp4  [50.6 MB]
    10-11.mp4  [32.6 MB]
    9.32.mp4  [65.5 MB]
    10-8.mp4  [25.0 MB]
    4selenium集成到scrapy.mp4  [108.9 MB]
    10-1 elasticsearch介绍.mp4  [23.1 MB]
    10-6.mp4  [31.1 MB]
    11 scrapy扩展开发.mp4  [81.9 MB]
    7 scrapy url 去重原理.mp4  [35.5 MB]
    10-4.mp4  [12.0 MB]
    8  scripy telnet.mp4  [22.2 MB]
    6scrapy的暂停和重启.mp4  [50.6 MB]
    10-10.mp4  [23.1 MB]
    10.mp4  [55.2 MB]
    1selenium动态网页与请求.mp4  [91.2 MB]
    10-7.mp4  [14.1 MB]
    2selenium模拟登陆微博.mp4  [65.7 MB]
    10-9.mp4  [25.7 MB]
    5其余动态网页获取介绍.59.mp4  [45.4 MB]
    10-5倒排索引.mp4  [11.2 MB]
    2017.05.06-09.29.24.mp4  [63.1 MB]
    3chromedriver不加载图片.mp4  [47.9 MB]
📁 第6章 通过CrawlSpider对招聘网站进行整站爬取
    📁 6
        6说明.zip  [1.8 MB]
        1-4.mp4  [219.9 MB]
        5-7以及第七章第一节.mp4  [107.4 MB]
    第6章 通过CrawlSpider对招聘网站进行整站爬取文档.zip  [1.8 MB]
📁 第12章 scrapyd部署scrapy爬虫
    第12章 scrapyd部署scrapy爬虫必看.png  [493.5 KB]
    12章.mp4  [56.5 MB]
📁 第8章 scrapy进阶开发
    2selenium模拟登陆微博.mp4  [65.8 MB]
    8-6+scrapy的暂停与重启.avi  [64.7 MB]
    1selenium动态网页与请求.mp4  [87.4 MB]
    7 scrapy url 去重原理.mp4  [35.5 MB]
    8-12+scrapy扩展开发.avi  [85.8 MB]
    4selenium集成到scrapy.mp4  [108.9 MB]
    8  scripy telnet.mp4  [21.8 MB]
    5其余动态网页获取介绍.59.mp4  [45.4 MB]
    10.mp4  [55.2 MB]
    8-9+spider+middleware+详解.avi  [88.7 MB]
    9.32.mp4  [65.5 MB]
    3chromedriver不加载图片.mp4  [47.9 MB]
📁 第十一
    11-3.mp4  [66.7 MB]
    11-7.mp4  [41.8 MB]
    11-6.10.mp4  [92.6 MB]
    11-4.mp4  [45.3 MB]
    11-2.mp4  [61.2 MB]
    11-5.mp4  [51.1 MB]
    11-1 es完成搜索建议.mp4  [27.5 MB]
    11-9+搜索记录、热门搜索功能实现+-+2.avi  [70.3 MB]
    11-8+搜索记录、热门搜索功能实现+-+1.avi  [76.1 MB]
📁 第2章 windows下搭建开发环境
    2-1 pycharm的安装和简单使用.mp4  [12.2 MB]
    2-4 虚拟环境的安装和配置.mp4  [39.7 MB]
    2-3 windows和linux下安装python2和python3.mp4  [8.6 MB]
    2-2 mysql和navicat的安装和使用.mp4  [17.3 MB]
📁 第1章 课程介绍
    📁 1
        1必看.zip  [1.8 MB]
        第一章.mp4  [25.4 MB]
    第1章 课程介绍文档.zip  [1.8 MB]
    1-1 python分布式爬虫打造搜索引擎简介.avi  [7.3 MB]
📁 第7章 Scrapy突破反爬虫的限制
    📁 7
        第七章2-10.mp4  [234.7 MB]
📁 第4章 scrapy爬取知名技术文章网站
    📁 4
        4文档.png  [493.5 KB]
        4-4 5.mp4  [480.7 MB]
        4-6 7.mp4  [357.3 MB]
        4-8 9.mp4  [365.4 MB]
        16.mp4  [42.0 MB]
        17.mp4  [40.2 MB]
        第四章7-15.mp4  [326.8 MB]
        1-3.mp4  [185.1 MB]
📁 第13章 课程总结
    2017.05.06-15.19.51.mp4  [5.3 MB]
爬虫源码.zip  [1.0 MB]
爬虫讲师源代码.zip  [1.2 MB]

夸克网盘 · 免费下载

网盘下载链接

点击获取 夸克网盘 链接

https://pan.quark.cn/s/7e4438d33a43