tcpdump抓SQL[轉]

時間  2019-11-10
標籤 tcpdump sql 欄目 SQL 简体版
原文   原文鏈接

轉自：http://www.cnblogs.com/LMySQL/p/5060604.htmlhtml

前言：假設若是有個服務器幾十個連接忽然達到上千個連接，show processlist,general_log,還有慢查詢日誌這些都不能用，你怎麼把這些連接過來的SQL狀況瞭解清楚，若是你以爲那些好用的都沒法使用，這不可能的事情，總會留下啥蛛絲馬跡，既然說不能用，那麼就沒法下手了嗎，圖樣圖森破，其實有個神器能夠用。linux

下面就來看看tcpdump這款神器web

 

複製代碼 
用字符串形式
[root@localhost ~]# tcpdump -i em1 port 3306 -l -s 0 -w - | strings | grep -A 5 "select" > /tmp/tcpdump.txt
tcpdump: listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes
^C699 packets captured
699 packets received by filter
0 packets dropped by kernel

[root@localhost ~]# cat /tmp/tcpdump.txt | more

select 1
$vV8@
8=!P
select @@session.tx_read_only
8=!|
@@session.tx_read_only
8=nP
select  DISTINCT opp.course_big_id from opp LEFT JOIN app ON opp.id = app.id where student_id = 259585937 and ( editable_code = 'CHANCE_ALLOCA
TED' or(editable_code = 'CHANCE_FEEDBACK' AND effective_code = 'DATA_CODE_EFFECTIVE')) AND delete_state = 'ACTIVE'    and  opp.course_big_id not in  (   32  )
8=n|
opp
opp
course_big_id
course_big_id
--


你可能以爲格式很差看，能夠抓包結合pt-query-digest來分析包
[root@localhost ~]# tcpdump -s 65535 -x -nn -q -tttt -i em1 -c 1000 port 3306 > /tmp/mysq.tcp.txt
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em1, link-type EN10MB (Ethernet), capture size 65535 bytes
1000 packets captured
1000 packets received by filter
0 packets dropped by kernel
[root@localhost ~]# cat /tmp/mysq.tcp.txt | more
2015-12-20 11:49:02.521497 IP 192.168.1.25.3306 > 192.168.1.26.33514: tcp 4625
    0x0000:  4508 1245 719e 4000 4006 3389 c0a8 0119
    0x0010:  c0a8 011a 0cea 82ea fb97 e0b4 bcd8 0218
    0x0020:  8018 007a 95bb 0000 0101 080a 531c 97fc
    0x0030:  7677 0229 5200 00ae 002e 2576 5602 5abd
    0x0040:  2500 5100 0000 8802 3409 0800 bf05 1000
    0x0050:  0000 0000 0300 0024 0000 0000 0000 0100
    0x0060:  0020 4000 0000 0006 0373 7464 0421 0021
    0x0070:  0021 0005 0653 5953 5445 4d0c fe63 726d
    0x0080:  0042 4547 494e 05bd 8242 ae00 00af 002e
    0x0090:  2576 5613 5abd 2500 ad00 0000 3503 3409
    0x00a0:  0000 0a58 0000 0000 0300 0363 726d 0014
    0x00b0:  745f 6f6e 6c69 6e65 5f6f 7070 6f72 7475
    0x00c0:  6e69 7479 002c 0803 0308 0303 0f0f 0f0f
    0x00d0:  0f0f 0ffc 0f0f 0f0f 0f0f 0f03 0f0f 1203
    0x00e0:  120f 0312 0f0f 0f12 0f12 0f0f 0f0f 0f0f



[root@localhost ~]# pt-query-digest --type tcpdump /tmp/mysq.tcp.txt 

# 410ms user time, 20ms system time, 27.92M rss, 216.83M vsz
# Current date: Sun Dec 20 11:50:58 2015
# Hostname: localhost
# Files: /tmp/mysq.tcp.txt
# Overall: 207 total, 9 unique, 14.88 QPS, 0.01x concurrency _____________
# Time range: 2015-12-20 11:49:02.621793 to 11:49:16.536897
# Attribute          total     min     max     avg     95%  stddev  median
# ============     ======= ======= ======= ======= ======= ======= =======
# Exec time           87ms    23us    33ms   419us   260us     3ms    31us
# Rows affecte           0       0       0       0       0       0       0
# Query size        53.68k       8   1.83k  265.56 1012.63  398.95   28.75
# Warning coun           0       0       0       0       0       0       0

# Profile
# Rank Query ID           Response time Calls R/Call V/M   Item
# ==== ================== ============= ===== ====== ===== ===============
#    1 0x9D4B9366E8A0F276  0.0331 38.2%     1 0.0331  0.00 SELECT xxxx
#    2 0x8A9C2066E45E4B88  0.0318 36.7%     1 0.0318  0.00 SELECT xxxxx
#    3 0x7C4BC7D69A3993EF  0.0085  9.8%    32 0.0003  0.00 SELECT xxxxx
#    4 0x081EB4DF07F38A22  0.0055  6.3%    24 0.0002  0.00 SELECT adfadf
#    5 0x16219655761820A2  0.0023  2.7%    69 0.0000  0.00 SELECT
#    6 0x5B84E22AECC129B1  0.0020  2.3%     9 0.0002  0.00 SELECT t_adfadfadsf
# MISC 0xMISC              0.0035  4.0%    71 0.0000   0.0 <3 ITEMS>

# Query 1: 0 QPS, 0x concurrency, ID 0x9D4B9366E8A0F276 at byte 1224863 __
# Scores: V/M = 0.00
# Time range: all events occurred at 2015-12-20 11:49:11.484563
# Attribute    pct   total     min     max     avg     95%  stddev  median
# ============ === ======= ======= ======= ======= ======= ======= =======
# Count          0       1
# Exec time     38    33ms    33ms    33ms    33ms    33ms       0    33ms
# Rows affecte   0       0       0       0       0       0       0       0
# Query size     2   1.59k   1.59k   1.59k   1.59k   1.59k       0   1.59k
# Warning coun   0       0       0       0       0       0       0       0
# String:
# Hosts        192.168.1.235
# Query_time distribution
#   1us
#  10us
# 100us
#   1ms
#  10ms  ################################################################
# 100ms
#    1s
#  10s+
# Tables
#    SHOW TABLE STATUS LIKE aaa\G
#    SHOW CREATE TABLE `aaa`\G
#    SHOW TABLE STATUS LIKE 'bbb'\G
#    SHOW CREATE TABLE `bbb`\G
# EXPLAIN /*!50100 PARTITIONS*/
select count(*) from aaa skyopp  left join bbb topp on aaaopp.sky_potential_opportunity_id = topp.id  where skyopp.serving_state_code = 'SERVING' and skyopp.account is null      and skyopp.area_id = 2             AND first_visit_time <= '2015-12-20 23:59:59'         AND first_visit_time >= '2015-09-20 00:00:00'                   and  office_id in  (   4  ,  24  ,  25  ,  26  ,  1003  ,  1004  ,  2020  ,  2021  ,  2028  ,  2029  ,  2039  ,  2040  ,  10043  ,  10045  )      and  project_id in  (   11  ,  13  ,  10099  ,  10504  ,  11  ,  13  ,  10099  ,  10504  ,  11  ,  13  ,  10099  ,  10504  ,  11  ,  13  ,  10099  ,  10504  ,  11  ,  13  ,  10099  ,  10504  /*... omitted 36 items ...*/)      and  last_visit_type_code in  (   'FIRST_VISIT_TYPE'  ,  'THE_WEEK_RETURN'  ,  'NEXT_WEEK_RETURN'  ,  'SECOND_VISIT_TYPE'  )      and  topp.source_code in  (   'CS_LEYU'  ,  'CS_BBS'  ,  'CS_PUSH'  ,  'CS_QQ'  )      and get_count<=22       and  legion_id in  (   1  ,  3  ,  4  ,  5  ,  6  ,  7  ,  8  ,  9  ,  10  ,  11  ,  12  ,  31  ,  32  ,  53  ,  54  ,  55  ,  56  ,  57  ,  58  ,  59  /*... omitted 8 items ...*/)    AND ( abandon_time >= '2015-12-20 23:59:59.774'  or  abandon_time <= '2015-12-20 00:00:00.774'     or abandon_time is null) order by skyopp.first_visit_time desc\G
複製代碼

 

能夠發現：有個邏輯坑爹的語句 ( abandon_time >= '2015-12-20 23:59:59.774'  or  abandon_time <= '2015-12-20 00:00:00.774' ），本意是查詢當天的時間，變成了查詢昨天之前的，這是老項目的一個模塊語句算法

 

tcpdump選項：windows

 

複製代碼 
複製代碼
-A  以ASCII碼方式顯示每個數據包(不會顯示數據包中鏈路層頭部信息). 在抓取包含網頁數據的數據包時, 可方便查看數據(nt: 即Handy for capturing web pages).

-c  count
    tcpdump將在接受到count個數據包後退出.

-C  file-size (nt: 此選項用於配合-w file 選項使用)
    該選項使得tcpdump 在把原始數據包直接保存到文件中以前, 檢查此文件大小是否超過file-size. 若是超過了, 將關閉此文件,另創一個文件繼續用於原始數據包的記錄. 新建立的文件名與-w 選項指定的文件名一致, 但文件名後多了一個數字.該數字會從1開始隨着新建立文件的增多而增長. file-size的單位是百萬字節(nt: 這裏指1,000,000個字節,並不是1,048,576個字節, 後者是以1024字節爲1k, 1024k字節爲1M計算所得, 即1M=1024 ＊ 1024 ＝ 1,048,576)

-d  以容易閱讀的形式,在標準輸出上打印出編排過的包匹配碼, 隨後tcpdump中止.(nt | rt: human readable, 容易閱讀的,一般是指以ascii碼來打印一些信息. compiled, 編排過的. packet-matching code, 包匹配碼,含義未知, 需補充)

-dd 以C語言的形式打印出包匹配碼.

-ddd 以十進制數的形式打印出包匹配碼(會在包匹配碼以前有一個附加的'count'前綴).

-D  打印系統中全部tcpdump能夠在其上進行抓包的網絡接口. 每個接口會打印出數字編號, 相應的接口名字, 以及可能的一個網絡接口描述. 其中網絡接口名字和數字編號能夠用在tcpdump 的-i flag 選項(nt: 把名字或數字代替flag), 來指定要在其上抓包的網絡接口.

    此選項在不支持接口列表命令的系統上頗有用(nt: 好比, Windows 系統, 或缺少 ifconfig -a 的UNIX系統); 接口的數字編號在windows 2000 或其後的系統中頗有用, 由於這些系統上的接口名字比較複雜, 而不易使用.

    若是tcpdump編譯時所依賴的libpcap庫太老,-D 選項不會被支持, 由於其中缺少 pcap_findalldevs()函數.

-e  每行的打印輸出中將包括數據包的數據鏈路層頭部信息

-E  spi@ipaddr algo:secret,...

    可經過spi@ipaddr algo:secret 來解密IPsec ESP包(nt | rt:IPsec Encapsulating Security Payload,IPsec 封裝安全負載, IPsec可理解爲, 一整套對ip數據包的加密協議, ESP 爲整個IP 數據包或其中上層協議部分被加密後的數據,前者的工做模式稱爲隧道模式; 後者的工做模式稱爲傳輸模式 . 工做原理, 另需補充).

    須要注意的是, 在終端啓動tcpdump 時, 能夠爲IPv4 ESP packets 設置密鑰(secret）.

    可用於加密的算法包括des-cbc, 3des-cbc, blowfish-cbc, rc3-cbc, cast128-cbc, 或者沒有(none).默認的是des-cbc(nt: des, Data Encryption Standard, 數據加密標準, 加密算法未知, 另需補充).secret 爲用於ESP 的密鑰, 使用ASCII 字符串方式表達. 若是以 0x 開頭, 該密鑰將以16進制方式讀入.

    該選項中ESP 的定義遵循RFC2406, 而不是 RFC1827. 而且, 此選項只是用來調試的, 不推薦以真實密鑰(secret)來使用該選項, 由於這樣不安全: 在命令行中輸入的secret 能夠被其餘人經過ps 等命令查看到.

    除了以上的語法格式(nt: 指spi@ipaddr algo:secret), 還能夠在後面添加一個語法輸入文件名字供tcpdump 使用(nt：即把spi@ipaddr algo:secret,... 中...換成一個語法文件名). 此文件在接受到第一個ESP　包時會打開此文件, 因此最好此時把賦予tcpdump 的一些特權取消(nt: 可理解爲, 這樣防範以後, 當該文件爲惡意編寫時,不至於形成過大損害).

-f  顯示外部的IPv4 地址時(nt: foreign IPv4 addresses, 可理解爲, 非本機ip地址), 採用數字方式而不是名字.(此選項是用來對付Sun公司的NIS服務器的缺陷(nt: NIS, 網絡信息服務, tcpdump 顯示外部地址的名字時會用到她提供的名稱服務): 此NIS服務器在查詢非本地地址名字時,經常會陷入無盡的查詢循環).

    因爲對外部(foreign)IPv4地址的測試須要用到本地網絡接口(nt: tcpdump 抓包時用到的接口)及其IPv4 地址和網絡掩碼. 若是此地址或網絡掩碼不可用, 或者此接口根本就沒有設置相應網絡地址和網絡掩碼(nt: linux 下的 'any' 網絡接口就不須要設置地址和掩碼, 不過此'any'接口能夠收到系統中全部接口的數據包), 該選項不能正常工做.

-F  file
    使用file 文件做爲過濾條件表達式的輸入, 此時命令行上的輸入將被忽略.

-i  interface

    指定tcpdump 須要監聽的接口.  若是沒有指定, tcpdump 會從系統接口列表中搜尋編號最小的已配置好的接口(不包括 loopback 接口).一但找到第一個符合條件的接口, 搜尋立刻結束.

    在採用2.2版本或以後版本內核的Linux 操做系統上, 'any' 這個虛擬網絡接口可被用來接收全部網絡接口上的數據包(nt: 這會包括目的是該網絡接口的, 也包括目的不是該網絡接口的). 須要注意的是若是真實網絡接口不能工做在'混雜'模式(promiscuous)下,則沒法在'any'這個虛擬的網絡接口上抓取其數據包.

    若是 -D 標誌被指定, tcpdump會打印系統中的接口編號，而該編號就可用於此處的interface 參數.

-l  對標準輸出進行行緩衝(nt: 使標準輸出設備遇到一個換行符就立刻把這行的內容打印出來).在須要同時觀察抓包打印以及保存抓包記錄的時候頗有用. 好比, 可經過如下命令組合來達到此目的:
    ``tcpdump  -l  |  tee dat'' 或者 ``tcpdump  -l   > dat  &  tail  -f  dat''.(nt: 前者使用tee來把tcpdump 的輸出同時放到文件dat和標準輸出中, 然後者經過重定向操做'>', 把tcpdump的輸出放到dat 文件中, 同時經過tail把dat文件中的內容放到標準輸出中)

-L  列出指定網絡接口所支持的數據鏈路層的類型後退出.(nt: 指定接口經過-i 來指定)

-m  module
    經過module 指定的file 裝載SMI MIB 模塊(nt: SMI，Structure of Management Information, 管理信息結構MIB, Management Information Base, 管理信息庫. 可理解爲, 這二者用於SNMP(Simple Network Management Protoco)協議數據包的抓取. 具體SNMP 的工做原理未知, 另需補充).

    此選項可屢次使用, 從而爲tcpdump 裝載不一樣的MIB 模塊.

-M  secret  若是TCP 數據包(TCP segments)有TCP-MD5選項(在RFC 2385有相關描述), 則爲其摘要的驗證指定一個公共的密鑰secret.

-n  不對地址(好比, 主機地址, 端口號)進行數字表示到名字表示的轉換.

-N  不打印出host 的域名部分. 好比, 若是設置了此選現, tcpdump 將會打印'nic' 而不是 'nic.ddn.mil'.

-O  不啓用進行包匹配時所用的優化代碼. 當懷疑某些bug是由優化代碼引發的, 此選項將頗有用.

-p  通常狀況下, 把網絡接口設置爲非'混雜'模式. 但必須注意 , 在特殊狀況下此網絡接口仍是會以'混雜'模式來工做； 從而, '-p' 的設與不設, 不能當作如下選現的代名詞:'ether host {local-hw-add}' 或  'ether broadcast'(nt: 前者表示只匹配以太網地址爲host 的包, 後者表示匹配以太網地址爲廣播地址的數據包).

-q  快速(也許用'安靜'更好?)打印輸出. 即打印不多的協議相關信息, 從而輸出行都比較簡短.

-R  設定tcpdump 對 ESP/AH 數據包的解析按照 RFC1825而不是RFC1829(nt: AH, 認證頭, ESP， 安全負載封裝, 這二者會用在IP包的安全傳輸機制中). 若是此選項被設置, tcpdump 將不會打印出'禁止中繼'域(nt: relay prevention field). 另外,因爲ESP/AH規範中沒有規定ESP/AH數據包必須擁有協議版本號域,因此tcpdump不能從收到的ESP/AH數據包中推導出協議版本號.

-r  file
    從文件file 中讀取包數據. 若是file 字段爲 '-' 符號, 則tcpdump 會從標準輸入中讀取包數據.

-S  打印TCP 數據包的順序號時, 使用絕對的順序號, 而不是相對的順序號.(nt: 相對順序號可理解爲, 相對第一個TCP 包順序號的差距,好比, 接受方收到第一個數據包的絕對順序號爲232323, 對於後來接收到的第2個,第3個數據包, tcpdump會打印其序列號爲1, 2分別表示與第一個數據包的差距爲1 和 2. 而若是此時-S 選項被設置, 對於後來接收到的第2個, 第3個數據包會打印出其絕對順序號:232324, 232325).

-s  snaplen
    設置tcpdump的數據包抓取長度爲snaplen, 若是不設置默認將會是68字節(而支持網絡接口分接頭(nt: NIT, 上文已有描述,可搜索'網絡接口分接頭'關鍵字找到那裏)的SunOS系列操做系統中默認的也是最小值是96).68字節對於IP, ICMP(nt: Internet Control Message Protocol,因特網控制報文協議), TCP 以及 UDP 協議的報文已足夠, 但對於名稱服務(nt: 可理解爲dns, nis等服務), NFS服務相關的數據包會產生包截短. 若是產生包截短這種狀況, tcpdump的相應打印輸出行中會出現''[|proto]''的標誌（proto 實際會顯示爲被截短的數據包的相關協議層次). 須要注意的是, 採用長的抓取長度(nt: snaplen比較大), 會增長包的處理時間, 而且會減小tcpdump 可緩存的數據包的數量， 從而會致使數據包的丟失. 因此, 在能抓取咱們想要的包的前提下, 抓取長度越小越好.把snaplen 設置爲0 意味着讓tcpdump自動選擇合適的長度來抓取數據包.

-T  type
    強制tcpdump按type指定的協議所描述的包結構來分析收到的數據包.  目前已知的type 可取的協議爲:
    aodv (Ad-hoc On-demand Distance Vector protocol, 按需距離向量路由協議, 在Ad hoc(點對點模式)網絡中使用),
    cnfp (Cisco  NetFlow  protocol),  rpc(Remote Procedure Call), rtp (Real-Time Applications protocol),
    rtcp (Real-Time Applications con-trol protocol), snmp (Simple Network Management Protocol),
    tftp (Trivial File Transfer Protocol, 碎文件協議), vat (Visual Audio Tool, 可用於在internet 上進行電
    視電話會議的應用層協議), 以及wb (distributed White Board, 可用於網絡會議的應用層協議).

-t     在每行輸出中不打印時間戳

-tt    不對每行輸出的時間進行格式處理(nt: 這種格式一眼可能看不出其含義, 如時間戳打印成1261798315)

-ttt   tcpdump 輸出時, 每兩行打印之間會延遲一個段時間(以毫秒爲單位)

-tttt  在每行打印的時間戳以前添加日期的打印

-u     打印出未加密的NFS 句柄(nt: handle可理解爲NFS 中使用的文件句柄, 這將包括文件夾和文件夾中的文件)

-U    使得當tcpdump在使用-w 選項時, 其文件寫入與包的保存同步.(nt: 即, 當每一個數據包被保存時, 它將及時被寫入文件中,而不是等文件的輸出緩衝已滿時才真正寫入此文件)

      -U 標誌在老版本的libcap庫(nt: tcpdump 所依賴的報文捕獲庫)上不起做用, 由於其中缺少pcap_cump_flush()函數.

-v    當分析和打印的時候, 產生詳細的輸出. 好比, 包的生存時間, 標識, 總長度以及IP包的一些選項. 這也會打開一些附加的包完整性檢測, 好比對IP或ICMP包頭部的校驗和.

-vv   產生比-v更詳細的輸出. 好比, NFS迴應包中的附加域將會被打印, SMB數據包也會被徹底解碼.

-vvv  產生比-vv更詳細的輸出. 好比, telent 時所使用的SB, SE 選項將會被打印, 若是telnet同時使用的是圖形界面,
      其相應的圖形選項將會以16進制的方式打印出來(nt: telnet 的SB,SE選項含義未知, 另需補充).

-w    把包數據直接寫入文件而不進行分析和打印輸出. 這些包數據可在隨後經過-r 選項來從新讀入並進行分析和打印.

-W    filecount
      此選項與-C 選項配合使用, 這將限制可打開的文件數目, 而且當文件數據超過這裏設置的限制時, 依次循環替代以前的文件, 這至關於一個擁有filecount 個文件的文件緩衝池. 同時, 該選項會使得每一個文件名的開頭會出現足夠多並用來佔位的0, 這能夠方便這些文件被正確的排序.

-x    當分析和打印時, tcpdump 會打印每一個包的頭部數據, 同時會以16進制打印出每一個包的數據(但不包括鏈接層的頭部).總共打印的數據大小不會超過整個數據包的大小與snaplen 中的最小值. 必需要注意的是, 若是高層協議數據沒有snaplen 這麼長,而且數據鏈路層(好比, Ethernet層)有填充數據, 則這些填充數據也會被打印.(nt: so for link  layers  that pad, 未能銜接理解和翻譯, 需補充 )

-xx   tcpdump 會打印每一個包的頭部數據, 同時會以16進制打印出每一個包的數據, 其中包括數據鏈路層的頭部.

-X    當分析和打印時, tcpdump 會打印每一個包的頭部數據, 同時會以16進制和ASCII碼形式打印出每一個包的數據(但不包括鏈接層的頭部).這對於分析一些新協議的數據包很方便.

-XX   當分析和打印時, tcpdump 會打印每一個包的頭部數據, 同時會以16進制和ASCII碼形式打印出每一個包的數據, 其中包括數據鏈路層的頭部.這對於分析一些新協議的數據包很方便.

-y    datalinktype
      設置tcpdump 只捕獲數據鏈路層協議類型是datalinktype的數據包

-Z    user
      使tcpdump 放棄本身的超級權限(若是以root用戶啓動tcpdump, tcpdump將會有超級用戶權限), 並把當前tcpdump的用戶ID設置爲user, 組ID設置爲user首要所屬組的ID(nt: tcpdump 此處可理解爲tcpdump 運行以後對應的進程)

      此選項也可在編譯的時候被設置爲默認打開.(nt: 此時user 的取值未知, 需補充)

複製代碼
複製代碼
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程