admin 管理员组文章数量: 1086019
一、下载安装 proxy_pool
1. 系统环境
- Windows 7/8/10/11 64位
- Python 3 环境
2. 下载地址及参考文档
https://github/jhao104/proxy_pool
爬虫代理IP池项目，主要功能为定时采集网上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。
3. 压缩包解压到本地
4. 打开 requirement.txt 安装依赖
win+R打开 运行，输入 “cmd” 打开 cmd.exe。
按照requirement.txt的内容，使用pip install安装依赖。
pip install -y APScheduler==3.2.0 werkzeug==0.15.5 Flask==1.0 requests==2.20.0 click==7.0 gunicorn==19.9.0 lxml redis
输入pip list可以查看已安装的依赖。
5. 安装 redis 数据库
proxy_pool 需要使用redis数据库。目前Windows下安装redis仅支持64位。
下载地址：https://github/tporadowski/redis/releases
安装教程可参考：https://www.runoob/redis/redis-install.html
下载对应zip压缩包，解压缩本地。
在redis目录文件夹右键启动powershell，并启动服务端。
PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf
另外启动一个新的powershell，并启动客户端，设置认证密码，这里简单设置为abc。
PS D:\Redis-x64-5.0.14> .\redis-cli.exe -h 127.0.0.1 -p 6379
127.0.0.1:6379> set myKey abc
OK
127.0.0.1:6379> get myKey
"abc"
127.0.0.1:6379>
设置好之后，需要修改redis目录下的redis.windows.conf文件中的requirepass为对应的认证密码。在此之前，关闭服务端powershell和客户端powershell。
requirepass abc
接着修改proxy_pool目录下的setting.py文件。
DB_CONN = 'redis://:abc@127.0.0.1:6379/0'
6. 安装 redis 数据库可视化工具【可选】
推荐使用RedisDesktopManager。
下载地址（作者提供免费下载）：
https://download.csdn/download/weixin_43468923/80010501
二、使用 proxy_pool
1. 获取可用 IP 代理
在redis目录下启动powershell，打开redis服务端。
PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf
在proxy_pool目录下启动proxy_pool，作为redis客户端去访问redis服务端，刚才已在setting.py进行了端口、认证密码的设置。
proxy_pool有两种启动方式。
PS D:\proxy_pool-master> python proxyPool.py schedule
PS D:\proxy_pool-master> python proxyPool.py server
第一种主要在终端进行。
第二种可在浏览器显示
可通过proxy_pool目录下的setting.py文件进行设置。一般默认为本地地址，端口默认为5010。
打开浏览器，输入对应地址端口。http://127.0.0.1:5010/ 会提示有以下选项（子目录），常用的是get目录或者all目录。
分别修改浏览器地址为http://127.0.0.1:5010/get/ 和 http://127.0.0.1:5010/all/。会显示出可供使用的IP代理，以及是否支持https。
2. 设置局部代理/全局代理
电脑、手机等终端设备的所有的网络数据，不管是玩游戏、QQ还是看视频看新闻，都从代理ip服务器或vpn服务器进行传输，这种方式我们称之为全局代理。
反之，只有某个程序或者某些程序的网络数据是通过代理ip服务器或vpn服务器进行传输的，那么，我们称它为局部代理。
局部代理：http/https代理 socks代理
HTTP代理：
www对于每一个上网的人都再熟悉不过了，www的链接请求就是采用的HTTP协议，所以我们在浏览网页和下载数据的时候，用到的就是HTTP代理。
HTTPS代理：
HTTPS即是超文本传输安全协议，它是由Netscape开发并内置于其浏览器中，用于对数据进行压缩和解压操作，并返回网络上传送回的结果。
HTTP和HTTPS是在Socks基础上，进行了数据封装，只专注业务，不考虑底层的数据传输。
Socks代理：
Socks是基于IP:Port套接字进行底层的数据传输，支持多种HTTP、FTP、ICMP等上层协议。
HTTP、HTTPS和Socks代理如何选择：
对于普通用户，一般使用HTTP或HTTPS即可;对于开发者用户，推荐使用Socks，比如微信开发。
局部代理：http/https代理设置
一般在浏览器的设置选项。设置好代理的IP地址和端口即可，之后通过浏览器浏览网页均经过代理服务器。
全局代理
打开计算机“网络和Internet”选项，找到“代理”选项，进行设置即可。
版权声明：本文标题：IP代理池Proxy_Pool使用教程（Windows版） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1738305137a1959977.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论