一份關於人工智能、機器學習和大數據的報告

本報告旨在提供將來數據相關領域的職業機會概述。這份報告將有助於理解這些正在發展的技術帶來的各類機遇和影響。

前言

Analytics Vidhya

2018是特殊的一年.咱們看到來自實驗室的人工智能和機器學習成爲了咱們平常生活的一部分。不管是亞馬遜開設的無人便利店"Amazon Go"仍是Google在Gmail上推出的智能回覆，人工智能都已經成爲了咱們身邊的常客。

建立這份報告的目的是爲咱們的數據科學社區提供宏觀層面發生變化的背景，以及他們如何爲即將到來的變化作好充分的準備。因此，若是您已是數據科學專業人員或者您想進入數據科學，咱們但願這份報告能夠爲您提供背景信息併爲您將來的學習作好準備。

Analytics Vidhya和Great learning 目前都處於建立印度下一代數據科學生態系統的最前沿，咱們真的但願這份報告能夠幫助您一睹將來的發展方向。

爲了你最好的將來，請不斷的學習

Kunal jain

創始人兼首席執行官

greatlearning

人工智能和機器學習的時代已經到來了，這些領域都有可能對印度的行業產生重大的影響。使智能系統成爲可能的技術,數據和人才的組合達到臨界值，推進人工智能的投資增加。在印度努力重振生產力增加的同時，AI人工智能和機器學習有望填補這一空白。事實上，金融、國防、網絡安全、醫療保健和環境保護等行業都已經採用了人工智能，而且取得了進展。但真正讓公司有優點的是找到適合解決內部問題的AI方案。如何找到這個方案？創新纔是關鍵。爲了實現這一目標，咱們須要時間建立一個生態系統來培訓AI專業人員，咱們正在尋找培養在AI領域的人工智能專業人員。這份報告不是咱們的努力，而是與Analytics Vidhya一塊兒努力也是爲了讓人們在這個快速發展的領域抓住機遇。

這是一個使AI人工智能實現飛躍的時代

Mohan Lakhamraju

創始人兼首席執行官

以數據爲中心的轉換和變動

"正如電力在100年前幾乎改變了一切,今天的我很難找到一個理由不認爲人工智能將在將來的幾年內改變行業"-Andrew NG(吳恩達)

咱們在生活的方方面面都感覺到了數據科學和人工智能的影響。Amazon 是如何知道你對哪一種產品最感興趣?或者你的手機是如何明白是"你"須要看手機解鎖呢？當咱們須要送朋友禮物的時候，咱們會糾結於咱們的朋友中會喜歡什麼樣的禮物，這個時候,Google不只會建議各類禮物，還會在眨眼之間展現這些產品的廣告。即便是您所訪問的超市，也能夠確保在結帳櫃檯引發您的注意。您的銀行可以實時的區分潛在的欺詐和真實的交易，不只如此，他們還能夠決定哪些客戶值得信任,以及信用卡的額度是多少。不只僅是這些，人工智能的可能性和影響性在咱們的生活中是無限的。

在接下來的十年左右的時間中，咱們將看到每一個行業都會發生巨大的變化。醫療，銀行，網絡安全只是這其中的一小部分。因此如何捕獲數據並利用它將會是在將來的日子裏面定義這些行業新格局的關鍵。

數據將會是這一切的核心

當你讀到這篇文章的時候正在發生轉變 - 數據將會是這一切的核心

這就是爲何如今幾乎任何職業都須要不斷的提升本身的技能而且學習這場遊戲的新規則。咱們如今須要的管理人員不只僅要了解業務的領域,還要了解咱們正在得到的數據，以及如何去利用這些數據爲公司創造競爭的優點。

數據科學和今天的顛覆

咱們如今獲取、存儲和分析數據的能力已經完全改變了當今行業的運做方式。當人們從牀上醒來的那一刻，智能手機上的應用程序已經開始儘量多地捕獲數據，並利用這些數據爲他們帶來好處。這清晰的描繪了當今行業正在努力的利用人的行爲模式。這份報告的目的就是幫助人們瞭解數據是如何幾乎破壞了全部行業的運做方式。

在咱們在進一步討論以前，咱們先來看一個簡單的統計數據——在Gartner公司的一項調查中顯示，在印度有超過100萬家註冊公司，而且這些公司中有75%的公司已經投資或者計劃投資大數據領域。

大公司,大投資,大數據

讓咱們先來看一些有趣的數據——

• 在今天的數字世界中存在着2.7兆字節的數據
• 在Facebook中單獨存儲,訪問和分析30+PB用戶生成的數據
• 超過50億人在全球範圍內經過手機撥打電話,發短信,發推文和瀏覽網頁
• 幾年前,解碼人類的基因最初須要10年才能完成.如今因爲有處理大量解碼信息的能力,因此在一週以內就能夠完成解碼人類的基因.
• 沃爾瑪須要處理每小時100個客戶的交易,這些交易被導入到估計超過2.5PB數據的數據庫中.
• 糟糕的數據會使企業損失20%-35%的營業收入

這些簡單的陳數強調了咱們今天經過生成、獲取、存儲和分析數據所擁有的強大功能。可是如今的問題是，咱們是否擁有處理好數據和利用數據的能力?鑑於這些大量的數據,咱們須要具備不一樣技能的人來安排,存儲和分析數據.

數據科學中的角色

數據科學家

在印度,數據科學家確定是如今最受歡迎的職位之一，數據科學家起薪爲7.7萬盧比，也是數據科學行業的最高收入者之一。數據科學家可以使用最新技術和技術處理原始數據，經過清理和組織（大）數據執行必要的分析，並以信息的方式向團隊提供所得到的數據.

語言/工具:R,SAS,SPSS,Matlab,Stata,Python,Perl,SQL,Hive,Pig,Spark

僱傭單位:領英,強生,百事

數據庫管理員

數據庫管理員須要確保組織中的每一個須要數據的人均可以訪問數據庫。此外，還須要確保採起必要的安全措施，以確保存儲的數據安全。要成爲數據庫管理員，須要掌握從SQL和XML到更通用的編程語言（如java）的不一樣技術。

語言/工具:SQL,Java,Ruby on Rails,XML,C#,Python

僱傭單位:Reddit,twitter,Tableau

業務分析師

這多是數據科學領域中技術含量最低的.可是，業務分析師經過對各類業務流程的深入理解來彌補技術知識的缺少。所以，業務分析師常常扮演業務人員和技術人員之間的中介角色.

語言/工具:SQL

僱傭單位:Uber,Dell,oracle

數據和分析經理

數據和分析經理負責指導數據科學團隊的方向。這個職位鞏固了各類各樣的基礎（如SQL，R，SAS）的強大和特定技能，以及處理小組所需的社交能力

語言/工具:SQL,R,SAS,Python,Matlab,Java

僱傭單位:Coursera,Slack,Motorola Solutions

數據科學的工做在哪裏

統計數據顯示，印度目前有超過50,000個與數據分析相關的職位空缺。這清楚地代表，咱們並無真正掌握這些可用機會的合適技能。目前與世界相比,印度提供了12%的就業機會,,然而，因爲世界上缺少這類技能的人和潛在的需求，此類工做的人才需求數量可能會呈指數級增加。

若是咱們看一下數據科學家職位的招聘數量，就業崗位以及求職者的興趣,就會發現這類的數量在2017年創下歷史新高.然而,求職者的數量幾乎是招聘職位數量的一半.這清楚地代表了該行業是多麼的須要數據科學家.

數據科學並無侷限於任何特定的行業。它的應用跨越多個領域。銀行和金融服務是分析和數據科學專業人士的最大市場。2017年，該領域創造了44%的就業崗位。銀行業普遍使用數據科學與分析領域來估計和預測市場風險。數據科學普遍應用於欺詐檢測和信用風險預測。電子商務也成爲分析專業人士的一個巨大市場。電子商務網站推薦引擎的普遍使用爲這一領域提供了大量的機會。2017年，電子商務行業創造了12%的分析職位。醫療保健行業也一直在使用數據科學來預測疾病的風險、它們的模式、癌症風險等。媒體等其餘行業正在使用數據科學來理解和設計媒體策略，以得到最佳效果。

提升技能-前進的方向

有了這麼多的機會，咱們如今應該利用咱們的技能來充分利用它們。要在任何特定領域取得優異成績，咱們須要掌握正確的基礎知識,即便在今天，仍然能夠觀察到用於SQL的indeed(做業門戶)上做業的數量最多。Python和Java緊隨其後，可是隨着深度學習庫的的更大支持，Python愈來愈受歡迎.Hadoop擁有大數據功能,能夠處理數百GB的數據。其次是R，這是一個普遍使用的統計和機器學習工具，其次是C。隨着Python和R市場的巨大需求，SAS中的工做崗位數量最近出現了降低。

雖然這些工具是當前業界最流行的需求工具，可是還須要瞭解業界中各類數據驅動角色。儘管各類複雜工具的應用使數據科學家的工做比沒有它們時容易得多，但有些技能只有實踐經驗才能傳授。其中之一就是領域知識。對於擁有領域知識的數據科學家或分析師來講，須要深刻研究並理解領域的整個功能。成爲一名優秀的數據科學家的另外一個重要方面是擁有一種分析方法，學習新的工具是一回事，可是須要有正確的方法來對應最合適的結果.

每一個人能夠挑選認爲適合本身的角色，而後努力得到必要的技能,這個網格是有助於理解特定角色的最重要技能的一個集合.

分析和數據科學產業-及其將來的領域

咱們都看到並經歷了數據科學在電子商務和銀行等領域的滲透。可是數據的力量並不只限於這些領域。在當今世界，幾乎全部的行業都在努力利用數據的力量，咱們估計到2020年，在如下每一個領域中，將有多少人從事分析和數據科學工做:

網絡安全——你可能之前據說過——公司必須保護本身免受各類攻擊。可是攻擊者只須要一次成功的嘗試。有了這些可能性，你不能只是試圖阻止攻擊發生。分析公司一直在撰寫報告，並就「大數據分析對各行業網絡安全的影響」向「客戶」提供諮詢。目前，25％的全球最大公司已採用大數據分析技術，以實現至少一種欺詐檢測用例的安全性。

到2020年，印度此類的分析工做崗位估計將達到5000個

醫療保健——在不一樣的醫療機構(支付方、提供者、製藥公司)中，已經有大量的異構醫療數據可用。這些數據集的龐大和複雜給臨牀環境的分析和後續應用帶來了巨大的挑戰。

到2020年，印度此類分析工做崗位估計爲15000個

基因組學——基因組學是研究生物體完整的遺傳物質(基因組)。該領域包括測序映射和分析普遍的RNA和DNA代碼。大數據幫助解開了這些基因組序列的基本原理。分析如今被用來檢測異常和識別疾病。

到2020年,印度此類分析工做崗位估計將達到2000個

太空探索——大數據已經取得了巨大而有影響力的進展。雖然大數據分析已經被用於研究暗物質，但經過數據發現技術，統計學家和天體物理學家正在應用先進技術來解開宇宙之謎.

到2020年,印度此類分析工做崗位估計將達到350個

農業-農業再也不是一個非技術性工做。分析被普遍應用於農業，特別是精確農業，在那裏植物和種子被特別選擇用於雜交育種。它還被用來了解土壤成分，加速做物改良。在農業領域發生的大量技術和數據採集使計算機科學成爲其中的一個重要部分

到2020年,印度此類分析工做崗位將達到5500個

航空——你知道航空公司使用分析已經很長時間了嗎?長期以來，航空公司一直在對客戶進行細分。他們觀察模式、行爲、偏好、支付能力和意願等，以提供更好的客戶體驗，並得到最大的收益。

到2020年,印度此類分析工做崗位將達到4500個

無人駕駛交通——無人駕駛汽車成爲人工智能和機器學習最流行的應用。無人駕駛汽車能夠進行屢次駕駛，並學會根據交通情況自動理解和行動。自動駕駛汽車已經成爲機器學習、深度學習、物聯網和人工智能融合的先鋒產品。

到2020年,印度此類分析的工做崗位將達到7000個.

使用數據能力的熱門技能

數據科學目前的發展已經超越了統計學，甚至機器學習。這個行業須要有技能的人來設計和開發機器人和智能機器，這是如今很是高的需求。

人工智能

這就是目前世界正在走向的潮流——擁有一臺與人類大腦和智力水平至關或超過人類的機器。正是由於這個緣由，人工智能技術受到了人們的高度追捧。

機器人

機器人目前正在崛起,它們以遠遠高於人類的速度執行特殊的重複功能,網絡爬蟲，互聯網機器人，聊天機器人等,目前的需求量很大,因此根據這個形式不言而喻,可以設計這些機器人的人更受歡迎。

物聯網

據預測，到2020年聯網設備將達到500億部，到2021年市場價值將達到6610億美圓，物聯網是目前最熱門的技術。物聯網與大數據和分析相結合，將爲組織和專業人士創造巨大的機會

AR/VR

虛擬現實能夠定義爲計算機生成的對真實生活環境的模擬。一個例子是3D商店貨架，它能夠適應爲每一個顧客提供更多相關的商品。加強現實能夠定義爲一種技術，它將計算機生成的加強層置於現有的現實之上，並經過交互性使其更有意義。

專家的觀點

mudit kulshreshta博士

古爾岡大湖管理學院卓越分析中心副主任

因爲各行各業都出現瞭如此多的混亂，應對這種局面的壓力多是壓倒性的。考慮到這一點，咱們請到了mudit kulshreshta博士.

讓咱們看看他有什麼要說的……

1. 這些年來，技術領域發生了怎樣的變化?您如何看待數據科學在當今世界日益重要的地位?

企業級存儲和計算能力對我的來講愈來愈容易得到和負擔得起。在接下來的十年裏。大多數企業將經過SAAS、PAAS、DAAS等,將存儲、應用和數據平臺轉移到雲計算，物聯網再也不是戰略選擇，而是勢在必行。它已經處於大數據和海量數據出現的拐點。咱們已經看到千兆字節的數據以空前的規模和速度經過數字渠道實時流動。從圖片到點擊流再到視頻，現在一切都是數據。開源革命包括公衆參與共同創造IT產品、機器學習、人工智能、機器人和機器人。咱們目前正在經歷一場技術革命，尤爲是數據的獲取和使用方式.

1. 目前在機器學習和人工智能領域中，哪些領域從正在進行的工做中獲益最多?

從資本貨物到零售，從製造到服務，從金融銀行到醫療保健的每一個領域都將受益並創建基於ML和AI的差別化商業模式。營銷、零售、金融科技和醫療保健等領域已經採用了這種模式，並正在取得進展。

1. 將來5年，哪些工業領域將從這些技術中受益最多?

爲了生存和差別化，全部工業領域無一例外地將採用和擁抱這場數字革命。此外，一些新的領域也將被創造出來——從自動駕駛汽車到工業規模的3D打印、加強現實、虛擬娛樂、機器人、基因組研究、大氣科學等.

1. 人們在這個階段應該扮演什麼樣的角色，這樣他們才能在將來的5-10年裏作好準備?

坦白地說，這是一場無人倖免的洪水——人們須要參與其中並與之共舞——他們能作的最好的事情就是開始學習技術和計算技能——大數據、ML、Al、雲、技術產品管理等等。

1. 從行業對這一領域的高需求來看，專業人士是否有足夠的技能來知足這一需求?教育系統須要更新嗎?

並不是如此——不只僅是從技能的角度來看——整個世界都毫無準備——就好像整個世界都走在了教育體系的前面——傳統的教育機構如今正對其需求作出迴應，但這些努力充其量也只是零散的。由數字平臺和在線教育推進的點對點學習，填補了傳統學校本應填補的空白.

1. 專業人士目前應該關注哪些最重要的技能?

雲、大數據分析、機器學習、Al、深度學習——產品管理也將變得相當重要。

1. 另外一個大問題是機器人的自動化。有些人擔憂未來可能會有更少的工做。你認爲這是真的嗎?

傳統領域的工做崗位將減小，而上述領域的工做崗位將增長——隨着自動化成爲一個自我維持的過程，人們將不得不進行變革，並走上持續學習的道路。一線但願在於，以數字、數據和人工智能爲核心的新產業將會出現。這些行業將創造新的就業機會和新的機會

1. 有關於終結者中AI的討論 - 你對AI做爲宏觀層面來說對人類物種的影響有什麼見解？

儘管人工智能帶來了重大機遇，但世界尚未準備好迎接人工智能帶來的風險.技術可能有有一個糟糕的主人,可能會被濫用(甚至是無心中的),濫用的規模多是全球性的，影響到數百萬人的生活,在這個潛在的人工智能驅動的世界裏,咱們離全面瞭解道德後果還很遠.咱們將須要大量的經濟，法律和社會法規，來對涉及隱私，未經請求的信息使用和網絡欺詐的預防.這些機器人變得自我意識的後果，不管它看起來多麼牽強，都是一種可能性。而且已經出現了這種威脅的例子.

將來的路

正如Mudit博士所說，傳統領域的工做崗位可能會減小，由於咱們將可以實現重複性工做的自動化。然而，到2020年，非傳統領域的機會將大幅增長。咱們正在邁向一個機器能夠幫助人類智能的世界，幫助他們在不一樣領域提升能力。咱們進入了一個ACs能夠理解咱們是否感到寒冷的世界，咱們的醫生能夠預測咱們患致命疾病的風險。