網站robots.txt探測工具Parsero

網站robots.txt探測工具Parsero

 

robots.txt文件是網站根目錄下的一個文本文件。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當搜索引擎訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt。若是存在，搜索引擎就會按照該文件中的內容來肯定訪問的範圍；若是該文件不存在，則會夠訪問網站上全部沒有被口令保護的全部頁面。

 

網站爲了防止搜索引擎訪問一些重要的頁面，會把其所在的目錄放入robots.txt文件中。因此，探測該文件，也能夠獲取網站的重要信息。Kali Linux提供一個小工具Parsero，能夠探測指定網站的robots.txt文件，並確認實際可訪問性。

 

 

PS：該工具須要用戶使用apt-get命令手動安裝。