admin 管理员组文章数量: 1184232
2024年4月23日发(作者：maven类库)
python爬虫实战案例爬取爱奇艺vip视频
一、实战背景
爱奇艺的VIP视频只有会员能看，普通用户只能看前6分钟。比如加勒比海盗5的
URL：/v_#vfrm=19-9-0-1我们怎么免费看VIP
视频呢？一个简单的方法，就是通过旋风视频VIP解析网站。URL：/
这个网站为我们提供了免费的视频解析，它的通用解析方式是：
/?url=[播放地址或视频id]比如，对于绣春刀这个电影，
我们只需要在浏览器地址栏输入：
/?url=/v_#vfr
m=19-9-0-1这样，我们就可以在线观看这些VIP视频了：但是这个网站只提供了在线解
析视频的功能，没有提供下载接口，如果想把视频下载下来，我们就可以利用网络爬虫进
行抓包，将视频下载下来。
二、实战升级
分析方法相同，我们使用Fiddler进行抓包：
我们可以看到，有用的请求并不多，我们逐条分析。我们先看第一个请求返回的信息。
可以看到第一个请求是GET请求，没有什么有用的信息，继续看下一条。
我们看到，第二条GET请求地址变了，并且在返回的信息中，我们看到，这个网页执
行了一个POST请求。POST请求是啥呢？它跟GET请求正好相反，GET是从服务器获得
数据，而POST请求是向服务器发送数据，服务器再根据POST请求的参数，返回相应的
内容。这个POST请求有四个参数，分别为time、key、url、type。记住这个有用的信息，
我们在抓包结果中，找一下这个请求，看看这个POST请求做了什么。
很显然，这个就是我们要找的POST请求，我们可以看到POST请求的参数以及返回
的json格式的数据。其中url存放的参数如下：
xfsub_?key=02896e4af69fb18f70129b6046d7c718&time=15057
24557&url=http%3A%2F%%2Fv_&typ
e=&xml=1这个信息有转义了，但是没有关系，我们手动提取一下，变成如下形式：
xfsub_api/?key=02896e4af69fb18f70129b6046d7c718&time=150572
4557&url=/v_&type=&xml=1
我们已经知道了这个解析视频的服务器的域名，再把域名加上：
/xfsub_?key=02896e4af69fb18f70129b6046d7c71
8&time=1505724557&url=/v_&a
mp;type=&xml=1这里面存放的是什么东西？不会视频解析后的地址吧？我们有浏
览器打开这个地址看一下：果然，我们可以看到视频地址近在眼前啊，URL如下：
/?fmt=4&pno=1121&fid=1FEA2622E0
BD9A1CA625FBE9B5A238A6&file=/c1/2017/09/06_0/1FEA2622E0BD9A1CA6
25FBE9B5A238A6_20170906_1_1_4我们再打开这个视频地址：
瞧，我们就这样得到了这个视频在服务器上的缓存地址。根据这个地址，我们就可以
轻松下载视频了。
PS：需要注意一点，这些URL地址，都是有一定时效性的，很快就会失效，因为里面
包含时间信息。所以，各位在分析的时候，要根据自己的URL结果打开网站才能看到视频。
接下来，我们的任务就是编程实现我们所分析的步骤，根据不同的视频播放地址获得
视频存放的地址。现在梳理一下编程思路：用正则表达式匹配到key、time、url等信息。
根据匹配的到信息发POST请求，获得一个存放视频信息的url。根据这个url获得视频存
放的地址。根据最终的视频地址，下载视频。三、编写代码
编写代码的时候注意一个问题，就是我们需要使用n()保持我们的会
话请求。简单理解就是，在初次访问服务器的时候，服务器会给你分配一个身份证明。我
们需要拿着这个身份证去继续访问，如果没有这个身份证明，服务器就不会再让你访问。
这也就是这个服务器的反爬虫手段，会验证用户的身份。
版权声明：本文标题：python爬虫实战案例爬取爱奇艺vip视频 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1713879748a655796.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论