QQ空间爬虫,一小时20万数据
QQ空间爬虫,一小时20万数据
Python Web爬虫
访问GitHub主页
共75Star
详细介绍
QQ_zone
QQ空间爬虫,一小时20万数据
环境要求
- python3
- requests
- selenium
- configparser
- xlwt
可使用pip或者easy_install安装 安装环境
安装格式为:
pip install ...
easy_install ...
运行项目
- 打开userinfo.ini,填入你的qq_number,qq_password
- 进入项目根目录下打开cmd 或终端 运行命令python qq_spider,一段时间后,数据存储在项目里frends,mood_detail文件夹里
- 好友qq_number存储在frends文件夹中的json文件中
- 说说mood存储在mood_detail中的excel文件夹中
- 文件data_analys.py中可选择将数据存入mysql中
数据分析
- 可参考此篇博客
抓取60000+QQ空间说说做一次数据分析
推荐源码
暂无源码 更多源码...