bwt-scrapy-proxy-我對個人項目的簡短描述。-Hennadii Dobrovolskyi
發佈:2020-12-23 10:27:19.986968
做者:Hennadii Dobrovolskyi
### 做者郵箱:gen.dobr@gmail.com ### 首頁:https://github.com/gendobr/scrapyproxy ### 文檔:None ### 下載連接
Подключение ротации прокси-серверов к проекту на scrapy
Подключение выполняется в Downloader Middleware.python
Чтобы его подключить, надоgit
0) Инсталлировать pipenv run python -m pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy или pip install -e git+https://github.com/gendobr/scrapyproxy.git/#egg=bwt_scrapy_proxy github
0) в settings.py в словарь DOWNLOADER_MIDDLEWARES добавить 'bwt_scrapy_proxy.ProxyRotationMiddleware':530 scrapy
0) в settings.py добавить параметры X_BWT_PROXY_MEDIATOR = "http://192.168.11.82:5001" X_BWT_PARSERNAME = "test" Сейчас mitmproxy работает на 192.168.11.82 и слушает порт 5001spa
XBWTPARSERNAME = "test" - уникальный идентификатор парсера.net
0) в базу данных (таблица parsers) внести уникальный идентификатор парсера (параметр XBWTPARSERNAME из settings.py) и максимальное количество коннектов (parsers.threads_limit) Это делает админ БД парсеров.code
Copy from pypi.org
查詢時間：6.065ms
渲染時間：6.196ms
本文同步分享在 博客「zhenruyan」（other）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。ip