an unlimit 91pxxn crawler

• 支持所有unix-like系统(也就是不支持windows)
• python3.5+ (becasue of async)

• 91全站无限制爬虫
• 自动下载视频切片
• 自动转换为mp4(with ffmpeg support)

• 设置文件保存路径,比如 /root/91 最后不要带 “/” 符号
• 如果机器安装好ffmpeg(如debian系可以为 sudo apt install ffmpeg, macbrew insatll ffmpeg etc)，可以设置相应选项为True，

• 安装依赖库pip install -r requirements.txt. 推荐使用虚拟环境

• 简单运行 python main.py

下载 https://fake-useragent.herokuapp.com/browsers/0.1.11 并以后缀.json重命名 修改 libs/downloader.py 和 libs/asyncSpider.py 的

a=UserAgent(path="刚才重命名的json路径")