爬蟲方向

面試總結

• app端逆向反編譯(知乎上有簡單說明)
• js調試,分析加密參數
• 有些消息是websocket發送的,可使用js接收,有些使用的是tcp這就須要tcp端的抓包工具了
• 通用爬蟲框架,涉及到算法如機率論,
• 結合大數據,hoodop,kafka
• splash渲染可使用併發,selenium相對來講能夠不太好
• 爬蟲 + 大數據 + 數據分析 + 機器學習