人工智能與人的職業發展

內容來源：2017 年 7 月 29 日，獵聘網首席數據官張博在「CDAS 2017 中國數據分析師行業峯會【大數據與人工智能】」進行《人工智能與人的職業發展》演講分享。IT 大咖說（微信id：itdakashuo）做爲獨家視頻合做方，經主辦方和講者審閱受權發佈。

閱讀字數：2738 | 7分鐘閱讀

嘉賓演講視頻及PPT回顧： suo.im/5a9Vdh

摘要

隨着人工智能（AI）的日新月異，人們廣泛擔心AI的應用會替代人類勞動，影響就業。可是，從咱們的實踐經驗來看，咱們認爲AI首先可以幫助人找到更好的工做，幫助企業找到更適合的人才；同時能夠將人從重複性和危險的工做中解放出來。而咱們每一個人都須要主動擁抱新技術，並使本身保持競爭力。

什麼是人工智能

Wikipedia有一段很是簡潔精要的介紹，它指出人工智能是一種智能體，可以感覺環境而且採起行動，目的是爲了達成某種目標或者利益最大化。

AI具體分爲強AI（Strong AI）和弱AI（Weak AI），所謂強AI（Strong AI）就是通用型的自動智能，它擁有相似人類的普遍自主學習能力，並可以適應不一樣的任務。而弱AI（Weak AI）則是爲了特定的某一件事情而設計的智能技術。好比說AlphaGo就是弱AI（Weak AI），它的算法和架構是沒法直接遷移到其餘的任務上去的。

目前強AI（Strong AI）可否實現仍然是未知數。咱們所見到的都是弱AI（Weak AI）。而AI領域具體的研究問題包括學習、推理、知識、規劃等等。

AI如何助力職業發展？

職位推薦

對於求職者來講，最主要的需求就是找到合適本身的職位。不一樣的人羣尋找的是不一樣的職位。如何爲用戶提供個性化的、符合其意向的職位推薦是獵聘大數據研究院的核心任務。傳統的方式是用戶本身手動瀏覽搜索。這種方式不但費時費力，並且受限於用戶對行業、企業和專業的瞭解。而咱們的推薦系統，經過運用大數據和機器學習技術，已經能夠爲用戶提供更豐富更好的個性化職位選擇。

求職推薦難點

招聘求職的推薦和常見的電商、電影之類的推薦是不太同樣的。它對相關性有着更高的要求。尤爲是在企業HR方面，由於企業會更加的保守，他們一般不但願在推薦列表內出現一些對該行業或工做沒有經驗的人。

根據國家的一些行業劃分標準，咱們初略統計了下有1200個細分行業，再往下細分就會有近萬個細分職能，如何能在如此多的行業和職能中進行精確的推薦，又是一個很大的挑戰。

解決方案

咱們在給求職者推薦職位的時候採用了一個比較經典的架構。先使用文本挖掘和機器學習的方法構建了人才、職位、公司這三個畫像，接下來使用一些基礎的模型（策略）造成初始的結果，最終進行幾輪的篩選後，經過一個大規模的機器學習的模型進行精細排序。

前面那套的推薦系統是針對求職者的，而面向HR的則是另外一套系統。不過也是相似的一套框架，即多個基礎策略而後加機器學習排序的方法。

健壯的機器學習系統

實現上述的推薦系統都須要一個健壯的機器學習系統。這套系統與通常的作機器學習實驗的系統有很大的不一樣，線上的系統不止須要計算出準確的模型特徵，還須要在實際運行中及時對環境的變化做出反應並穩健的運行。

上圖爲這樣的一個機器學習系統架構。數據會先經過一個實驗管理切分流量，接下來通過數據處理造成特徵。特徵造成之後是即時落地的，避免了滯後或者數據不一致的問題，而後再經由生產模型去產生預測。同時咱們在系統中設置了監測模塊，隨時檢測數據存在的潛在問題。

模型/算法超參數

作過機器學習的人，應該都知道機器學習模型和算法都是有超參數的。好比神經網絡就須要去定義它的層數、以及每層的神經元數量等等。這些參數在之前都是要靠人工調節的，很是依賴於人工和經驗，也會消耗不少時間。

超參數的優化問題

超參數的優化其實至關於一個學習上的學習，它的目標是找到驗證數據集上效果最好的超參數。所面臨的挑戰在於參數空間巨大，效能函數是一個黑黑子，訓練和評估成本太高。

常見的超參數優化方法

這裏列舉一些比較常見的經典的優化方法：首先是格子搜索，這種方法經過選出一些均勻分佈的點，而後進行一個個的暴力搜索，這主要適用於一些簡單的問題。第二種方式就是隨機搜索，經過隨機的選取一些點來進行實驗，一些理論證實只要經過60%或40%的實驗就能夠逼近最佳的那個點。第三種是採用均勻分佈的抽樣選取實驗的點，它看起來像是一個隨機搜索，可是因爲進行了均勻抽樣，因此在理論上比隨機搜索更有效率。

貝葉斯優化

咱們如今使用的是貝葉斯優化的方法，事先會假設目標函數符合某個先驗分佈，而後進行初始隨機試驗，根據觀測結果獲得後驗分佈，接着利用後驗分佈選取下一個實驗的。

這裏面用到一個效用機率模型，其基礎是高斯過程迴歸。它將多元高斯聯合分佈拓展到一個無窮的函數集上，它帶來了這樣的一個結果：若是咱們事先知道一些數據點，而後給一個新的數據點過來，就能夠預測在這個點附近的效用函數的均值和分佈，有了這些咱們就能夠知道哪些點在哪些區域附近可能有比較好的結果。

AI和大數據人才需求

上圖爲AI和大數據的職位佔比趨勢和薪資比較。能夠看到AI和大數據人才的需求是呈現一個快速上升的階段，薪資一樣在大幅的增加。

數據分析師做爲一個存在已久的職能，它的需求也是在穩步的增加。而分析師這方面對經驗要求是比較高的，年輕的分析師薪資和行業平均水平其實相差不大。

AI時代的職業將來

AI在一些領域，好比計算、記憶、預測等方面都是比人類強不少的，可是人類在智能的主要方面如語言、推理、協做、創造和情感等方面仍是有着絕對的優點。

AI對工做的影響

做爲一個行業內人士，我認爲強 AI 可否實現仍然是一個未知數，可是自動化會愈來愈多，重複性的、危險的工做會被替代，一些過程性的管理也會被自動化。

對就業的影響上，AI一方面會創造新的職位，好比AI工程師、機器人工程師、知識工程師等，另外一方面一些職位則會被替代，像司機、農場工人、客服這些。我相信更多的是加強人類的能力。咱們如今已經看到了AI的一些技術是能夠幫助人的，好比智能助理、智能技術支持等，將來還會有更多的新興技術出現。

作AI / 大數據時代的主人翁

爲了適應新時代的到來，咱們應該作一些相應的準備。首先來講多少都要接觸一些編程，而後可以理解數據，學會用數據去作分析、講故事；儘量的去理解AI，瞭解什麼是機器學習和AI；更重要的是要提高協做和組織能力，發揮咱們的想象創造能力。