黑暗世界的搜索引擎

什麼是 Shodan？

首先，Shodan 是一個搜索引擎，但它與 Google 這種搜索網址的搜索引擎不一樣，Shodan 是用來搜索網絡空間中在線設備的，你能夠經過 Shodan 搜索指定的設備，或者搜索特定類型的設備，其中 Shodan 上最受歡迎的搜索內容是：webcam，linksys，cisco，netgear，SCADA等等。

那麼 Shodan 是怎麼工做的呢？Shodan 經過掃描全網設備並抓取解析各個設備返回的 banner 信息，經過了解這些信息 Shodan 就能得知網絡中哪種 Web 服務器是最受歡迎的，或是網絡中到底存在多少可匿名登陸的 FTP 服務器。（如今也能夠看到shodan也加入了新工具）

基本用法

這裏就像是用 Google 同樣，在主頁的搜索框中輸入想要搜索的內容便可，例以下面我搜索 「SSH」：

上圖的搜索結果包含兩個部分，左側是大量的彙總數據包括：

• Results map – 搜索結果展現地圖
• Top services (Ports) – 使用最多的服務/端口
• Top organizations (ISPs) – 使用最多的組織/ISP
• Top operating systems – 使用最多的操做系統
• Top products (Software name) – 使用最多的產品/軟件名稱

隨後，在中間的主頁面咱們能夠看到包含以下的搜索結果：

• IP 地址
• 主機名
• ISP
• 該條目的收錄收錄時間
• 該主機位於的國家
• Banner 信息

想要了解每一個條目的具體信息，只須要點擊每一個條目下方的 details 按鈕便可。此時，URL 會變成這種格式 https://www.shodan.io/host/[IP]，因此咱們也能夠經過直接訪問指定的 IP 來查看詳細信息。

上圖中咱們能夠從頂部在地圖中看到主機的物理地址，從左側瞭解到主機的相關信息，右側則包含目標主機的端口列表及其詳細信息。

使用搜索過濾

若是像前面單純只使用關鍵字直接進行搜索，搜索結果可能不盡人意，那麼此時咱們就須要使用一些特定的命令對搜索結果進行過濾，常見用的過濾命令以下所示：

• hostname：搜索指定的主機或域名，例如 hostname:"google"
• port：搜索指定的端口或服務，例如 port:"21"
• country：搜索指定的國家，例如 country:"CN"
• city：搜索指定的城市，例如 city:"Hefei"
• org：搜索指定的組織或公司，例如 org:"google"
• isp：搜索指定的ISP供應商，例如 isp:"China Telecom"
• product：搜索指定的操做系統/軟件/平臺，例如 product:"Apache httpd"
• version：搜索指定的軟件版本，例如 version:"1.6.2"
• geo：搜索指定的地理位置，參數爲經緯度，例如 geo:"31.8639, 117.2808"
• before/after：搜索指定收錄時間先後的數據，格式爲dd-mm-yy，例如 before:"11-11-15"
• net：搜索指定的IP地址或子網，例如 net:"210.45.240.0/24"

搜索實例

查找位於合肥的 Apache 服務器：

apache city:"Hefei" 

查找位於國內的 Nginx 服務器：

nginx country:"CN" 

查找 GWS(Google Web Server) 服務器：

"Server: gws" hostname:"google" 

查找指定網段的華爲設備：

huawei net:"61.191.146.0/24" 

如上經過在基本關鍵字後增長指定的過濾關鍵字，能快速的幫助發現咱們感興趣的內容。固然，還有更快速更有意思的方法，那就是點擊 Shodan 搜索欄右側的 「Explore」 按鈕，就會獲得不少別人分享的搜索語法，你問我別人分享的語法有什麼好玩的？那我們就隨便來看看吧：

我們隨便選取一個名爲「NetSureveillance Web」的用戶分享語法，從下面的描述信息咱們基本就能得知這就是一個弱密碼的漏洞，爲了方便測試讓咱們把語法在增長一個國家的過濾信息，最終語法以下：

Server: uc-httpd 1.0.0 200 OK Country:"CN" 

如今讓咱們隨便選取一個頁面進去輸入，使用admin帳號和空密碼就能順利進入了：）

其餘功能

Shodan 不只能夠查找網絡設備，它還具備其餘至關不錯的功能。

Exploits：每次查詢完後，點擊頁面上的 「Exploits」 按鈕，Shodan 就會幫咱們查找針對不一樣平臺、不一樣類型可利用的 exploits。固然也能夠經過直接訪問網址來自行搜索：https://exploits.shodan.io/welcome；

地圖：每次查詢完後，點擊頁面上的 「Maps」 按鈕，Shodan 會將查詢結果可視化的展現在地圖當中；

報表：每次查詢完後，點擊頁面上的 「Create Report」 按鈕，Shodan 就會幫咱們生成一份精美的報表，這是每天要寫文檔兄弟的一大好幫手啊；

命令行下使用 Shodan

Shodan 是由官方提供的 Python 庫的，項目位於：https://github.com/achillean/shodan-python

安裝

pip install shodan 

或者

git clone https://github.com/achillean/shodan-python.git && cd shodan-python python setup.py install 

安裝完後咱們先看下幫助信息：

➜  ~ shodan -h
Usage: shodan [OPTIONS] COMMAND [ARGS]...
Options:
  -h, --help  Show this message and exit. Commands: alert Manage the network alerts for your account # 管理帳戶的網絡提示 convert Convert the given input data file into a... # 轉換輸入文件 count Returns the number of results for a search # 返回查詢結果數量 download Download search results and save them in a... # 下載查詢結果到文件 honeyscore Check whether the IP is a honeypot or not. # 檢查 IP 是否爲蜜罐 host View all available information for an IP... # 顯示一個 IP 全部可用的詳細信息 info Shows general information about your account # 顯示帳戶的通常信息 init Initialize the Shodan command-line # 初始化命令行 myip Print your external IP address # 輸出用戶當前公網IP parse Extract information out of compressed JSON... # 解析提取壓縮的JSON信息，即便用download下載的數據 scan Scan an IP/ netblock using Shodan. # 使用 Shodan 掃描一個IP或者網段 search Search the Shodan database # 查詢 Shodan 數據庫 stats Provide summary information about a search... # 提供搜索結果的概要信息 stream Stream data in real-time. # 實時顯示流數據 

經常使用示例

init

初始化命令行工具。

➜  ~ shodan init [API_Key] Successfully initialized 

count

返回查詢的結果數量。

➜  ~ shodan count microsoft iis 6.0 575862 

download

將搜索結果下載到一個文件中，文件中的每一行都是 JSON 格式存儲的目標 banner 信息。默認狀況下，該命令只會下載1000條結果，若是想下載更多結果須要增長 --limit 參數。

parse

咱們可使用 parse 來解析以前下載數據，它能夠幫助咱們過濾出本身感興趣的內容，也能夠用來將下載的數據格式從 JSON 轉換成 CSV 等等其餘格式，固然更能夠用做傳遞給其餘處理腳本的管道。例如，咱們想將上面下載的數據以CSV格式輸出IP地址、端口號和組織名稱：

➜  ~ shodan parse --fields ip_str,port,org --separator , microsoft-data.json.gz 

host

查看指定主機的相關信息，如地理位置信息，開放端口，甚至是否存在某些漏洞等信息。

search

直接將查詢結果展現在命令行中，默認狀況下只顯示IP、端口號、主機名和HTTP數據。固然咱們也能夠經過使用 –fields 來自定義顯示內容，例如，咱們只顯示IP、端口號、組織名稱和主機名：

➜  ~ shodan search --fields ip_str,port,org,hostnames microsoft iis 6.0 

代碼中使用 Shodan 庫

仍是使用上一節講到的 shodan 庫，安裝方式這裏不在闡述了。一樣的，在使用 shodan 庫以前須要初始化鏈接 API，代碼以下：

import shodan SHODAN_API_KEY = "API_Key" api = shodan.Shodan(SHODAN_API_KEY) 

隨後，咱們就能夠搜索數據了，示例代碼片以下：

try: # 搜索 Shodan results = api.search('apache') # 顯示結果 print 'Results found: %s' % results['total'] for result in results['matches']: print result['ip_str'] except shodan.APIError, e: print 'Error: %s' % e 

這裏 Shodan.search() 會返回相似以下格式的 JSON 數據：

{
        'total': 8669969, 'matches': [ { 'data': 'HTTP/1.0 200 OK\r\nDate: Mon, 08 Nov 2010 05:09:59 GMT\r\nSer...', 'hostnames': ['pl4t1n.de'], 'ip': 3579573318, 'ip_str': '89.110.147.239', 'os': 'FreeBSD 4.4', 'port': 80, 'timestamp': '2014-01-15T05:49:56.283713' }, ... ] } 

經常使用 Shodan 庫函數

• shodan.Shodan(key) ：初始化鏈接API
• Shodan.count(query, facets=None)：返回查詢結果數量
• Shodan.host(ip, history=False)：返回一個IP的詳細信息
• Shodan.ports()：返回Shodan可查詢的端口號
• Shodan.protocols()：返回Shodan可查詢的協議
• Shodan.services()：返回Shodan可查詢的服務
• Shodan.queries(page=1, sort='timestamp', order='desc')：查詢其餘用戶分享的查詢規則
• Shodan.scan(ips, force=False)：使用Shodan進行掃描，ips能夠爲字符或字典類型
• Shodan.search(query, page=1, limit=None, offset=None, facets=None, minify=True)：查詢Shodan數據

至此，本文基本告於段落，買了 Shodan Membership 的各位朋友們能夠好好的去 Happy 啦。

zoomeye的簡單使用（很恐怖的搜索引擎）

2017-03-27 11:23

Zoomeye:知道創宇的一個搜索引擎

ZoomEye 支持公網設備指紋檢索和 Web 指紋檢索

網站指紋包括應用名、版本、前端框架、後端框架、服務端語言、服務器操做系統、網站容器、內容管理系統和數據庫等。設備指紋包括應用名、版本、開放端口、操做系統、服務名、地理位置等

咱們能夠利用某一個指紋特色挖掘網絡空間中具備同種類型的網站或者是設備

如咱們要尋找關於php的網站咱們能夠直接輸入php

咱們能夠看到在右邊還會有webapp，這裏會列出php腳本寫的一些web應用，咱們搜索php，同時能夠經過點擊左邊的webapp裏面的項來進行搜索，好比搜索phpmyadmin的程序點擊，就能夠看到

點開一個能夠看到：

咱們也能夠在左邊搜索設備：好比批量攝像頭好比海康威視的http-baner爲DVRDVS-Webs， 直接搜索就能夠找出海康威視的攝像頭web管理界面

若是結合弱口令的話極可能進去。恐怖，隱私泄露同時zoomeye也支持一些語法，可讓咱們更精確的探索網絡空間常見的有：App組件名 ver版本port端口os操做系統還能夠有相似googl的語法形式，如搜索某網站的子域名能夠：site:xx.com更多語法能夠去看zoomeye用戶手冊Zoomeye也有本身的api，咱們能夠調用api來達到自動化的挖漏洞。下邊在來幾個實例：php appedeCMS ver:5.7.48 好比某天某個版本的cms出現了漏洞，你須要去刷一波，這時候你用這個命令就能夠找出來這個版本的cms的網站如圖

同理其餘的cms也是同樣的方法其餘的搜索的話，本身構造好搜索的語法便可，總之一句話灰常強大，刷洞的時候非常須要啊！

 

三分鐘內找出全網全部「弱雞」設備？這不是魔法而是FOFA

去年年末，南方很多地區出現了 H7N9（禽流感）的疫情，搞得許多地方人心惶惶，連吃個雞顧慮半天。

若是這時有人問我：「有沒有什麼辦法，能快速定位全球全部 H7N9 病毒感染者和易感人羣？」 我必定以爲他瘋了 —— 若是真有這樣的辦法，病情可能早就控制住了。

可若是換個問題：「在網絡世界，一個高危危漏洞爆發，就像現實生活中的疾病那樣迅速蔓延，影響成千上萬的設備和網站，有沒有辦法找到這些脆弱的網站和設備，以快速控制危害？」

我會回答：有，並且方法很簡單。

三分鐘找到全球全部「弱雞」設備

2017年1月，一場網絡瘟疫席捲全球互聯網，普遍使用的 Elastic Search 被曝出安全隱患，攻擊者利用該隱患能夠直接遠程刪除受害者的數據。短短一個月，全球至少上萬臺設備遭遇勒索——  不給錢？先刪庫，後跑路。

然而，在勒索風波剛開始不久，小編()編輯就收到了白帽匯發來的一份《威脅情報預警：Elasticsearch 勒索事件報告》，上面竟清晰展現了受勒索事件影響的設備在全球的分佈狀況：

• 全球中受影響最多的爲美國4380臺，其次是中國第二944臺。法國787臺，愛爾蘭462臺，新加坡418臺。
• 其中，中國受害的有944臺。其中，浙江省受影響最嚴中，有498臺，其次是北京，186臺，上海52臺，湖南43臺，上海42臺。

甚至，連每一波勒索者留下的勒索信息以及被勒索設備的一些詳細狀況都一一說明，報告的末尾還附帶了相應的防護策略。

但更使人驚訝的是，小編得知，這樣一份全球範圍調查、內容詳實的安全報告，三分鐘就能作出來。

一場網絡世界的瘟疫爆發，幾分鐘以內找到全球範圍了可能「感染」的設備，生成一份安全報告進行預警。這到底是如何作到的？白帽匯COO劉宇告訴小編，這全都得益於他們的「佛法」——  FOFA系統。

FOFA 是什麼？

FOFA，按照官方說明，它是個搜索引擎，但並非一個普通搜索引擎，起碼不是普通人能用的搜索引擎。

當咱們使用谷歌、百度這類常規搜索引擎時，只須要說人話 —— 輸入文字就行，但在 FOFA 搜索引擎裏你卻「不能說人話」，而必須用程序化的語言，不然 FOFA 可能拒絕和你溝通。

【不說「人話」的FOFA搜索引擎】

固然，爲了初次見面更愉快， FOFA 搜索引擎配備了長長的語法說明：

【FOFA系統的查詢語法】

固然，FOFA 搜索引擎檢索到的內容並非日常的文字、照片等內容，而是：

• 服務器
• 數據庫
• 某個網站管理後臺
• 路由器
• 交換機
• 公共ip的打印機
• 網絡攝像頭
• 門禁系統
• Web服務
• ……

正因如此，FOFA 這類搜索引擎又有另外一個名字：網絡空間測繪系統。—— 它們就像是現實生活中的衛星地圖那樣，一點點勾勒出公共網絡空間的樣子，每個網站、每一臺公共環境下的服務器……當一個高危漏洞爆發，FOFA系統便能向衛星定位地址同樣，經過特徵迅速找到全網的脆弱設備。

【圖片來自谷歌地球衛星圖】

「支離破碎」的網絡空間

在完美主義者羅永浩的眼中，這是個支離破碎的世界；在FOFA的眼中，網絡空間也是支離破碎的世界。當安全人員須要用FOFA系統尋找某些設備時，他須要用「支離破碎」的語言來檢索。

好比要找「北京全部教育網站可遠程鏈接的數據庫」，你須要在FOFA引擎中輸入：

• City=Beijing（城市爲北京）
• Host=edu.cn（教育網站）
• Port=3306 (MySQL數據庫經常使用的遠程端口）

對於普通人來講，FOFA搜索引擎的查詢語法或許難以上手，但劉宇卻告訴小編，這正是FOFA系統的一大特色。

劉宇說，全部搜索引擎都會利用非惡意爬蟲來採集服務器和網站的公開數據，FOFA也是如此。當它爬取到的設備和網站信息後，會將數據打散成一個個很是細小的特徵，讓使用者能夠像拼積木同樣自由組合這些特徵，從而有了更大的發揮餘地。

【基於特徵檢索-亂入的表情包】

劉宇打了個比方，當人們去買電腦，不瞭解電腦配置的人通常傾向於買整機，而極客、發燒友則傾向於單獨買來處理器、主板、顯卡……而後本身攢機。FOFA就是這樣，它將採集到的全部信息用很是細粒度的形式呈現給使用者，讓他們本身來自定義檢索規則。——極客們都喜歡本身動手、愛折騰，而FOFA就是給極客們用的。

「撒旦」和「佛法」

其實這類「黑客專用」的搜索引擎並不是 FOFA 獨創，早在 2009 年的世界黑客大會 DEFCON 上，一個名爲「Shodan」的網絡空間搜索引擎一經公佈就掀起了軒然大波。當時人們驚奇地發現，透過一塊小小的電腦屏幕，竟能瞬間找到世界另外一端的脆弱設備、攝像頭、打印機……

因而，一種全新的黑客攻擊手法誕生了：

本來攻擊者須要利用漏洞掃描器對一個個服務器、網站進行掃描，現在只須要利用 Shodan 搜索引擎，瞬間就能找到成千上萬存在一樣漏洞的設備，而後在極短的時間內拿下他們。

步槍變成了機關槍，單體攻擊變成了AOE（羣體傷害），世界範圍的地圖炮。

很快，Shodan 在輿論導向之下成了邪惡的代名詞，媒體驚呼它爲「世界上最可怕的搜索引擎」、「黑暗搜索引擎」，甚至連中文名都被譯做「撒旦」。

FOFA系統的創造者，白帽匯CEO趙武告訴小編：

Shodan出現以後，許多攻擊者再也不挨個掃網站漏洞，那樣效率過低，他們更喜歡「打時間差」—— 當國外曝出一個高危漏洞後，他們迅速利用  Shodan 找到大量存在漏洞的服務，而後在企業反應過來以前就完成滲透。

在趙武看來，既然攻擊者利用網絡空間搜索引擎來發現脆弱設備，那麼防護者一樣能利用它來發現脆弱設備並及時修補，這便促成了FOFA系統的誕生。就像古代行軍打仗，地圖就在那裏，哪一方能運用得當，哪一方就在更容易取得優點。在網絡世界裏，白帽匯的趙武但願FOFA能成爲幫助人們避開網絡攻擊的那張「地圖」。

「 目前現實狀況有些糟糕。」趙武說，「對於許多稍大一些的企業，他們可能有數以千計的設備、服務。具體哪裏有臺什麼樣的服務器，裝了哪些服務，開了什麼端口，這些網絡空間資產一般很難梳理清楚。有時一個大企業修補一個漏洞就花好幾天，就是由於對本身的網絡空間資產梳理不清楚致使的。」

世界老是趨於混亂，就像咱們電腦裏的文件系統同樣，當文件夾層級愈來愈多，即便文件結構再清晰，也會常常找不到想要的文件。這時就該換個思路，須要經過作標籤，搜索的方式來查找。而 FOFA 就能夠充當這麼一個資產檢索和梳理的角色。

當一個漏洞爆發時，在一個企業中，若是防護者能最短的時間內檢索到本身的脆弱設備並保護起來，就能最大限度地讓本身免遭攻擊；在全網範圍內，若是能儘快找到這些脆弱設備並聯合國家相關安全機構做出預警，就能最快地控制住「網絡疫情」，這即是趙武但願完成的事情。

現在每次出現大的漏洞狀況，白帽彙總會第一時間出具相關的漏洞狀況報道，提醒企業進行安全防範。而他們也告訴小編編輯，FOFA企業版已經積累了數千條規則，幫助很多公司提升了安全防範能力。

在趙武看來，Shodan 之因此被稱之爲「最可怕的搜索引擎」，一部分緣由在於太多人缺少網絡安全意識，讓許多私有的服務器、數據庫、攝像頭被絕不設防地暴露在四通八達的互聯網中。

一個搜索引擎本不具備任何破壞力，它的意義在於爲網絡世界創建了新的鏈接方式，讓本來混沌的網絡世界更透明、陽光，這種陽光、透明最初坑讓沒準備好的人感到不適，但最終它將推進整個行業的正向發展。