admin 管理员组

文章数量: 1087652

Python爬虫爬取豆瓣图书/豆瓣电影系列

DouBan Crawler Series

代码托管在Github -> DouBanCrawls

完成豆瓣读书/电影相关的爬取，豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率，可与原始版本的读书爬虫(DouBanReading)相比较，更多信息待加入补充。

豆瓣图书爬虫 [Python 3.6.1]

爬取结果在Result_Book文件夹，可直接查看

实现功能：
  • 按标签名称进行相关图书信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按Tag存取在不同的Sheet
  • 使用User Agent伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封
豆瓣页面截图：

运行时截图：

Excel结果截图：

豆瓣电影爬虫

爬取结果在Result_Movie文件夹，可直接查看

实现功能：
  • 增加了简单的多线程，极大地提高了爬虫效率。
  • 按标签名称进行相关电影信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按Tag存取在不同的Sheet
  • 使用User Agent伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封
豆瓣页面截图：

运行时截图：

Excel结果截图：

欢迎 Star / PR.

本文标签： Python爬虫爬取豆瓣图书豆瓣电影系列

版权声明：本文标题：Python爬虫爬取豆瓣图书豆瓣电影系列 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1700299429a386183.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。