admin 管理员组

文章数量: 1086059

Selenium+PhantomJS()+PIL漫画快照

Selenium爬取漫画网站保存快照

一.目标网站分析

目标网站:漫画台
目标漫画:斗罗大陆:.html
目标数据:网站的漫画部分
网站分析:

通过网址我们发现:每一章网址后缀数字不一样。第二章为*.2.html
以此类推。
selenium 可以模拟浏览器操作。我们只要模拟点击下一页按钮就可以翻页前提是读取方式为”单机翻页”如上图标注所示


我们需要做的就是定位到下一页这个标签！

二.关键数据获取
1.拼接url获取每一章的网址存到数组urls中，测试用所以只爬取几页

#获取urlsdef getUrls(self):urls=[]for i in range(1,3):url='/'+str(i)+'.html'urls.append(url)self.log.debug('----待爬取的地址有:' + url)return urls

2.初始化浏览器

 #初始化浏览器def getBrowser(self,urls):browser = webdriver.PhantomJS()#循环获取每一个urlfor url in urls:try:browser.get(url)except:mylog.error('open the %s failed' %url)browser.implicitly_wait(1)return browser

3.创建文件夹存取每一章的图片，文件夹名通过xpath定位title获取

#创建目录def createDir(self, dirName):if os.path.exists(dirName):self.log.error('create directory %s failed, hava a same name file or directory' %dirName)else:try:os.makedirs(dirName)except:self.log.error('create directory %s failed' %dirName)else:self.log.info('create directory %s success' %dirName)
#文件夹名
cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题

4.保存图片
selenium提供了方法，但是这是截取的网页全屏，并不是我们所需要的，我们只想要漫画部分怎么办？
截取全屏:

browser.get_screenshot_as_file(imgName)#截全屏

这里我们要用到另外一个模块 Pillow，他是python的一个图像处理库 个人感觉类似于ps这样的软件，功能丰富，使用简单，具体详细用法大家看下api未安装记得安装.Pillow中最重要的类就是Image。接下来我们直接使用。
1.要想只截取漫画部分，要先定位漫画部分位置。

imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')

2.获取定位部分大小

location = imgelement.location  # 获取漫画图片部分的x,y轴坐标
size = imgelement.size  # 获取漫画图片部分的长宽

3.使用Image的crop函数，从截图中再次截取我们需要的区域并保存(不知道为什么获取的图片尺寸有偏差所以我调整了下宽高)

cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),int(location['y'] + size['height']+766))
ii = Image.open(imgName)  # 打开截图
newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域
newimg.save(imgName)#保存新图片

4.换页保存
还是得定位下一页的标签位置

NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页
NextTag.click()#点击事件

大致的流程就是这样子了。

三.结果及源码

结果:

2.源码
爬虫类：

#!/usr/bin/evn python
#-*- coding: utf-8 -*-from selenium import webdriver
from MyLog import MyLog as mylog
from PIL import Image
import os
import timeclass GetCartoon(object):def __init__(self):self.log = mylog()self.urls = []self.startUrl=self.getUrls() #获取urlsself.browser = self.getBrowser(self.startUrl)self.saveCartoon(self.browser)self.browser.quit()#获取urlsdef getUrls(self):urls=[]for i in range(1,3):url='/'+str(i)+'.html'urls.append(url)self.log.debug('----待爬取的地址有:' + url)return urls#初始化浏览器def getBrowser(self,urls):browser = webdriver.PhantomJS()#循环获取每一个urlfor url in urls:try:browser.get(url)except:mylog.error('open the %s failed' %url)browser.implicitly_wait(1)return browser# 保存图片def saveCartoon(self, browser):cartoonTitle = browser.find_element_by_xpath('/html/body/div[2]/div[1]/h1/strong').text#取标题self.createDir(cartoonTitle)    #根据标题创建保存目录os.chdir(cartoonTitle)          #切换到当前目录进行保存图片sumPage = int(self.browser.find_element_by_xpath('/html/body/div[4]/div[3]/select/option[last()]').get_attribute('value'))#取总页数self.log.info('%s pages ' %str(sumPage))i = 1while i<=sumPage:imgName = str(i) + '.png'browser.get_screenshot_as_file(imgName)#截全屏# 定位漫画部分imgelement = browser.find_element_by_xpath('//*[@id="comiclist"]/div[1]/img')location = imgelement.location  # 获取漫画图片部分的x,y轴坐标size = imgelement.size  # 获取漫画图片部分的长宽cutrange = (int(location['x']), int(location['y']), int(location['x'] + size['width']+500),int(location['y'] + size['height']+766))ii = Image.open(imgName)  # 打开截图newimg = ii.crop(cutrange)  # 使用Image的crop函数，从截图中再次截取我们需要的区域newimg.save(imgName)self.log.info('save img %s' %imgName)i=i+1NextTag = browser.find_element_by_xpath('/html/body/div[4]/div[3]/span[2]')#下一页NextTag.click()#点击事件time.sleep(5)self.log.info('save img sccess')#创建目录def createDir(self, dirName):if os.path.exists(dirName):self.log.error('create directory %s failed, hava a same name file or directory' %dirName)else:try:os.makedirs(dirName)except:self.log.error('create directory %s failed' %dirName)else:self.log.info('create directory %s success' %dirName)if __name__ == '__main__':GC = GetCartoon()

2.日志类
测试类这里不写了等下文章变得又臭又长，大家可以去我的其他文章中找。

四.总结
selenium是一个非常好用的自动化测试工具，更多的功能等着大家自己去发现。我们一般用他进行动态网页爬取，自动化测试，在今天的例子中我们还用另一个处理图片的库“Pillow”(PIL)，他的功能也很丰富，在后面的例子我们会用selenium模拟登陆，会用pillow处理验证码，结合tesseract做识别然后模拟登陆，敬请期待。

本文标签： SeleniumPhantomJS()PIL漫画快照

版权声明：本文标题：Selenium+PhantomJS()+PIL漫画快照 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1697129226a262035.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。