免費數據分析工具：secsoso

前段時間思考了理想數據分析平臺，以後咱們根據這個思路開發了spl語言並提供了一個數據分析平臺，這個平臺主要用在搜索ES，數據庫索引中的數據。但後來發現對文件的過後處理也是個很是重要的事情。當問題發生後，不少時候須要對文件進行分析取證。在linux下還有一堆的命令可使用，但不少時候使用起來也比較麻煩。在windows基本沒有啥好的工具。在這種狀況下咱們開發了一款免費的對文件分析的小工具secsoso.

    先舉一個示例：列出當天訪問次數最多的IP命令。

    在Linux下能夠用以下命令：

    cut -d- -f 1 log_file|uniq -c | sort -rn | head -20

    用secsoso的命令爲：

    secsoso ‘access.log|stats  count($1) by ip|sort 20 -count_ip’

經過對比發現，二者有相似的地方，也有不一樣的地方，相似的地方都是用|做爲管道來進行操做，不一樣的地方是secsoso只有一個命令，其餘的都是內部的參數使用，並且這個參數命令和sql有些相似，方便學習和記憶。

    secsoso不單單是linux命令的一些替換，有時候用linux命令不太好實現的事情用secsoso也能實現，舉例以下：

    統計每一個小時的訪問次數

     secsoso 'access.log|eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats count(date) by tspan(date,"1h")'

這個是對日誌中的時間進行了轉換，經過轉換後的時間能夠用到時間統計的一些方法。這種場景用linux腳本實現可能會比較麻煩。

    在舉例幾個複雜的場景來驗證下secsoso的功能：

 

    統計具備cc攻擊的用戶ip(單位時間內訪問次數超過閾值的用戶)，每小時大於100

secsoso  'access.log|eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats $1 as ip,count(date) as count by tspan(date,"1h"),$1|search count>100'

結果以下:

        tspan_date                         ip            count

2013-09-18 08:00:00              114.252.89.91               79

2013-09-18 08:00:00             116.24.236.137               68

2013-09-18 08:00:00               202.84.17.41               84

2013-09-18 08:00:00               203.192.6.59               83

    網站登陸密碼猜想

好比5分鐘大於10次同一個ip登陸密碼錯誤，認爲是密碼猜想,而後把全部IP找到，日誌示例：

114.221.137.86 - - [11/Sep/2019:10:25:39 +0800] "POST /login HTTP/1.1" 200 1111 https://secilog.secisland.com/login Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.105 Safari/537.36 Vivaldi/2.4.1488.40

secsoso 'access.log $6="*POST" $7="*/login"  $9="200"| eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats count($1) as count by tspan(date,"5m"),$1| search count>10|stats sum(count) by $1'

結果以下:

                $1            sum_count

111.192.165.229                   14

    經過以上分析能夠發現，secsoso能夠知足平常生活的不少統計分析功能。能夠做爲linux或者windows平臺上的一個有利的補充。

賽克藍德是一家數據分析公司，本着數據改變生活的理念，致力於提供方便好用的數據分析產品。