數學之美 - 讀後感

數學之美讀後感

數學之美

吳軍，著名學者，投資人，人工智能、語音識別和互聯網搜索專家

著有 《浪潮之巔》 《數學之美》 《大學之路》 《文明之光》 《硅谷之謎》 和 《智能時代》 等多部暢銷書

閱讀原因

• 公司爲大數據公司，該怎麼感覺，如何理解用數據思惟的方式
• 因爲 硅谷之謎 留下的印象，因此想經過數據處理背後的數學模型來了解數據思惟

不要畏懼

• 不須要理解裏面複雜的數學公式（本人也不懂），做者結合歷史人文知識，穿插生活中現象後的規律，講得通俗易懂

• 三論（信息論 系統論 控制論），信息時代的科學基礎，也是做者推崇的信息時代變革的理論。與後視鏡中的工業時代的理論，作一個比較更容易體會

  • 工業時代的科學基礎，牛頓和機械思惟

    • 流水生產線，把原材料從一邊進，成品從另外一端出。在變化不快的計劃時代，具備很高的效率。經過頂層設計，利用我的的經驗，把中間過程工序，一道道設計好，一環扣一環。
    • 瀑布模式，嚴格遵循預先計劃的需求分析、設計、編碼、集成、測試、維護的步驟順序進行，對於需求的變化這將是一個災難
       

  • 信息時代的科學基礎，三論

    • 百科
    • 硅谷之謎與三論對於個人啓示
    • 推崇的開發模式，注重人的交互，通訊，比文檔的信息傳遞更高效；與客戶(用戶)的協做，明確需求，客戶與團隊是一個總體，更開放的系統；快速響應需求的變化，靈活性，控制(牽強附會上去的)
       

• 信息論，本書中不少思考方式用到了信息論

  • wiki
  • 信息的做用
    • 消除不肯定性，當現有信息不足以消除時，可能須要引入其餘信息，像說的多維度
  • 現實世界人與人之間或動物與動物之間的通訊，和機器間通訊的聯繫
  • 有趣的是，不一樣文化的地域，卻都用十進制，可能都是用十個手指計數。那有沒有加上腳趾，用二十進制的呢？有，瑪雅文明，後來消失了

有趣章節

• 搜索引擎

  布爾代數 二進制運算，邏輯運算

  • crawl
    • 圖論
  • index
    • 分詞

  • page rank

    • 肯定網頁和查詢相關性，TF-IDF

      Term Frequency：關鍵詞的頻率（單文本詞頻），一個網頁上 某詞出現的頻率，一個詞在網頁上出現的頻率越高，則權重越高；一個詞在一個網頁中的權重
      Inverse Document Frequency：逆文本頻率指數，假如一個詞出現的次數越頻率，它的權重越低；一個詞的權重
      加權求和：TF₁ · IDF₁ + TF₂ · IDF₂ + ... + TF_n · IDF_n 一個詞權重的高低，是由其信息量決定的

      • 通用詞
      • 專業詞
      • 長尾詞
         

• 信息指紋

  • 哈希
    • url 匹配
  • 類似哈希，simhash
    • es 數據
  • 判斷兩個集合是否相同
    • 一一比較
    • 排序後，順序比較
    • 一個放 hashtable，循環另外一個集合比較
    • 生成集合指紋比較
  • 盜版追蹤
     

• 邏輯迴歸和搜索廣告

  • 搜索廣告三階段
    • 競價排名，相似莆田
    • 搜索詞預測 + 出價 + 點擊率，Google Ads，模仿者： 雅虎 Panama，百度鳳巢
    • 根據網絡行爲推送，行爲營銷，用戶畫像
  • 預估點擊率
    • 影響因素(位置，與搜索詞相關性，展現時間等)，邏輯迴歸模型，準確度
       

• 餘玄定理和新聞分類

  • 同一類新聞用詞都是類似的，不一樣類的新聞用詞各不相同
     

• 搜索引擎反做弊

  • 尷尬的時刻，美好的 SEO，相對於搜索引擎來講倒是一個做弊者
  • 失效的 SEO，外鏈
  • 反做弊軟件的學習進步，使得 SEO 難度更大，使得大批以此爲利益的團體甭離，SEO 成本上升（致使選擇 SEM）
  • SEO，與搜索引擎貓捉老鼠的遊戲，隨着難度成本的上升，以及移動互聯網時代搜索引擎的弱化，將來何去何從

背後的人

• 信息論，克勞德·艾爾伍德·香農
• 現代語音識別和天然語言處理，弗裏德里克·賈里尼克
• 隱含馬爾可夫模型，安德烈·馬爾可夫
• 布爾代數，喬治·布爾
• 天然語言處理的教父，米奇·馬庫斯
• 維特比算法，安德魯·維特比，高通創始人之一
• 美女，海蒂·拉瑪爾
• Google AK-47，阿米特·辛格

數據思惟

數學模型

• 由經驗決策，到數據決策，經過數據消除不肯定性
• 以日曆及二十四節氣爲例，是怎麼推算出來的，也就是記錄數據(大數據)，發現規律(數學)，而後驗證(意義)
• 系統性能調優，怎麼定位問題，經過記錄的耗時分佈進行分析（經過經驗判斷進行分析）
• 還不清晰，還沒想明白，未完待續