开源小红书抖音微博爬虫工具MediaCrawler深度解析
MediaCrawler是一款功能强大的开源爬虫工具，支持小红书、抖音、微博等多平台视频、图片、评论等数据的抓取。本文将详细介绍其功能、使用方法及数据保存方式。
MediaCrawler是什么
MediaCrawler是一款在线开源的小红书、抖音、微博爬虫工具，能够抓取这些平台上的视频、图片、评论、点赞、转发等信息。它利用playwright技术，通过保留登录后的浏览器环境，简化了加密参数的获取过程，降低了逆向难度，适合有一定技术基础的用户使用。
MediaCrawler功能列表
查看功能截图
MediaCrawler如何使用
创建并激活python虚拟环境
cd MediaCrawler python -m venv venv source venv/bin/activate (macos & linux) venv\Scripts\activate (windows)
安装依赖库
pip3 install -r requirements.txt
安装playwright浏览器驱动
playwright install
运行爬虫程序
python main.py --platform xhs --lt qrcode --type search python main.py --platform xhs --lt qrcode --type detail python main.py --help (查看其他平台爬虫使用示例)
数据保存
- 支持保存到关系型数据库（Mysql、PgSQL等）
- 支持保存到csv中（data/目录下）
- 支持保存到json中（data/目录下）
开源小红书抖音微博爬虫工具
源码备份：国内网盘