Merge branch 'master'

Author: jy

Dockerfile

@@ -1,7 +1,9 @@
-FROM python:3.6
+FROM python:3.6-alpine
 WORKDIR /app
 COPY . .
-RUN pip install -r requirements.txt  -i https://pypi.douban.com/simple
-# RUN pip install -r requirements.txt  -i
+# RUN pip install -r requirements.txt  -i https://pypi.douban.com/simple
+RUN apk add --no-cache libxml2-dev libxslt-dev gcc musl-dev && \
+pip install -r requirements.txt && \
+apk del gcc musl-dev libxml2-dev
 VOLUME ["/app/proxypool/crawlers/private"]
 CMD ["supervisord", "-c", "supervisord.conf"]

README.md

@@ -14,15 +14,20 @@
 
 代理池原理解析可见「[如何搭建一个高效的代理池](https://cuiqingcai.com/7048.html)」，建议使用之前阅读。
 
-## 运行示例
+## 使用准备
 
-API Server 可以见[部署样例](https://proxypool.scrape.center/)，随机代理[取用地址](https://proxypool.scrape.center/random)，代理源比较少，仅供演示。
+首先当然是克隆代码并进入 ProxyPool 文件夹：
 
-本样例为 GitHub Actions + Kubernetes 自动部署 master 分支代码结果。
+```
+git clone https://github.com/Python3WebSpider/ProxyPool.git
+cd ProxyPool
+```
+
+然后选用下面 Docker 和常规方式任意一个执行即可。
 
 ## 使用要求
 
-可以通过两种方式来运行代理池，一种方式是使用 Docker（推荐），另一种方式是常规方式运行。
+可以通过两种方式来运行代理池，一种方式是使用 Docker（推荐），另一种方式是常规方式运行，要求如下：
 
 ### Docker
 
@@ -31,6 +36,8 @@ API Server 可以见[部署样例](https://proxypool.scrape.center/)，随机代
 * Docker
 * Docker-Compose
 
+安装方法自行搜索即可。
+
 ### 常规方式
 
 常规方式要求有 Python 环境、Redis 环境，具体要求如下：

docker-compose.yml

@@ -1,20 +1,19 @@
-version: '3'
+version: "3"
 services:
   redis4proxypool:
     image: redis:alpine
     container_name: redis4proxypool
-    command: redis-server
     ports:
-      - "6378:6379"
+      - "6374:6379"
     # restart: always
   proxypool:
     build: .
-    image: 'germey/proxypool'
+    image: "germey/proxypool"
     container_name: proxypool
     ports:
       - "5555:5555"
     restart: always
     #    volumes:
     #      - proxypool/crawlers/private:/app/proxypool/crawlers/private
     environment:
-      REDIS_HOST: redis4proxypool
+      REDIS_HOST: redis4proxypool

examples/usage2.py

@@ -17,7 +17,7 @@ def getChinaIP(ip='127.0.0.1'):
     reader = geolite2.reader()
     ip_info = reader.get(ip)
     geolite2.close()
-    # print(ip_info)
+    print(ip_info)
     return True if ip_info['country']['iso_code'] == 'CN' else False
 
 
@@ -32,8 +32,8 @@ def run(self):
         pure_ip_address = self.proxyip.split(':')[0]
         # 验证IP归属
         if not getChinaIP(pure_ip_address):
-            pass
-            # raise ValueError('不是有效IP')
+            # pass
+            raise ValueError('不是有效IP')
         # 
         start = time.time()
         # 消除关闭证书验证的警告
@@ -88,8 +88,8 @@ def run(self):
     # apiUrl = "http://127.0.0.1:5555/all"
     apiUrl = "http://127.0.0.1:5555/random"
     # 要抓取的目标网站地址
-    # targetUrl = "http://bb.cf08tp.cn/Home/index.php?m=Index&a=vote&vid=335688&id=2676&tp="
-    targetUrl = 'http://www.so.com'
+    targetUrl = "http://bb.cf08tp.cn/Home/index.php?m=Index&a=vote&vid=335688&id=2676&tp="
+    # targetUrl = 'http://bb.cf08tp.cn/Home/index.php?m=Index&a=vote&vid=335608&id=2676&tp='
     fetchSecond = 5
     # 开始自动获取IP
     GetIpThread(fetchSecond).start()

proxypool/processors/tester.py

@@ -85,8 +85,8 @@ def run(self):
                 break
 
 def run_tester():
-    host = '111.246.42.52'
-    port = '8888'
+    host = '96.113.165.182'
+    port = '3128'
     tasks = [tester.test(Proxy(host=host, port=port))]
     tester.loop.run_until_complete(asyncio.wait(tasks))
 

requirements.txt

@@ -8,6 +8,6 @@ loguru==0.5.3
 pyquery==1.4.3
 supervisor==4.2.1
 redis==3.5.3
-lxml==4.6.2
+lxml==4.6.3
 fake_headers==1.0.2
 maxminddb_geolite2==2018.703