「docker實戰篇」python的docker爬蟲技術-在linux下mitmproxy介紹和安裝（四）

原創文章，歡迎轉載。轉載請註明：轉載自 IT人故事會，謝謝！ 原文連接地址： 「docker實戰篇」python的docker爬蟲技術-在linux下mitmproxy介紹和安裝（四）

上次說了fiddler的抓包和參數介紹，經過fiddler抓包工具能夠完成app和web端的數據，此次介紹另外一款抓包公司mitmproxy，能夠和python語言結合經過爬蟲抓取數據。 源碼： github.com/limingios/n…

mitmproxy

• 官方

www.mitmproxy.org/

• 介紹

mitmproxy is a free and open source interactive HTTPS proxy.

mitmproxy 就是用於MITM的proxy 中間人攻擊（Man-in-the-MiddleAttack，簡稱「MITM攻擊」）是一種「間接」的入侵攻擊，這種攻擊模式是經過各類技術手段將受入侵者控制的一臺計算機虛擬放置在網絡鏈接中的兩臺通訊計算機之間，這臺計算機就稱爲「中間人」。

1. 正常的代理同樣轉發請求，保證服務端和客戶端的通訊
2. 攔截請求，修改請求，攔截返回，修改返回
3. 能夠載入自定義的mitmproxy
4. fiddler只能攔截請求，修改請求，篡改數據，可是不能載入自定義的mitmproxy
5. 隨着安全的要求，如今愈來愈多的網站使用https請求，特別是ios客戶端要求必須服務端使用https，因此必須讓客戶端和服務端都信任中間人
6. 請用：mitmproxy 作測試使用，請勿使用灰產哦！

安裝

• 環境安裝

感受windows 太麻煩了，仍是建議使用linux

1. 基於pyhon
2. windows操做系統須要安裝Microsoft Visual C++ V14.0以上
3. linux操做系統直接安裝pyhon就能夠了。

windows 安裝

這裏不作介紹了，真心沒有linux好！

linux 安裝

經過vagrant的方式安裝虛擬機

系統類型IP地址用戶CPUMemoryHostnameCentos7192.168.77.100root24Gmitmproxy

• 三臺機器mac開通遠程登陸root用戶下

#設置 PasswordAuthentication yes
vi /etc/ssh/sshd_config
sudo systemctl restart sshd複製代碼

• 修改dns

# 修改配置文件
vi /etc/resolv.conf
# 修改爲：
nameserver 8.8.8.8
search localdomain複製代碼

• 修改網絡

service network restart複製代碼

• 安裝wget和pip3

yum -y install wget
wget --no-check-certificate  https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
tar -zxvf pip-8.0.2.tar.gz
cd pip-8.0.2
python3.6 setup.py build
python3.6 setup.py install複製代碼

安裝mitmproxy

• 安裝mitmproxy

#安裝python3.6的devel
yum install python36-devel
yum install gcc libffi-devel openssl-devel -y     
# 升級pip3
pip3 install --upgrade pip
# 安裝 mitmproxy
pip3 install mitmproxy複製代碼

• 查看mitmproxy的版本

mitmproxy --version
mitmdump --version
mitmweb --version複製代碼

mitmproxy的使用

• mitmproxy

安裝好了mitmproxy 直接查看，直接輸入mitmproxy，默認端口是8080,

mitmproxy複製代碼

打開google瀏覽器的插件switchyOmega

訪問baidu提示，須要安裝證書哦看來

如何安裝mitmproxy的證書，瀏覽器輸入mitm.it，根據本身的操做系統選擇要安裝的地址：mac，windows，android，other

演示windows下安裝證書

雙擊證書

不用輸入密碼

講全部的證書都放入下列存儲

瀏覽器關閉從新打開

• 已經能夠打開了

查看mitm的界面

• 列表界面

• 鍵盤選擇

點擊鍵盤迴車，進入

進入後，裏面分爲request，repsonse，detail

退出esc，而後輸入q 返回列表

進入列表後，輸入f鍵

查看mitmproxy的三大組件

• mitmproxy

上邊介紹了 不在詳細說了。

• mitmdump

#記錄的請求都放入指定的文件夾下
mitmdump -w 文件路徑複製代碼

• mitmweb

這個windows查看比較方便。訪問http://127.0.0.1:8081

mitmweb複製代碼

PS：更多mitmproxy後續強大的功能，在後續的實踐中，我們一塊兒詳解吧。實現出真知。