近幾年來,直播電商處處開花,但絕大多數都是國內的中文直播。若是想買外國電商主播推薦的商品,語言不通怎麼辦?算法
這一難題已被阿里巴巴(下稱 「阿里」)攻克,阿里速賣通是面向全球海外消費者設立的電商平臺,它和淘寶同樣,也面向全部終端消費者,但區別是速賣通是面向全球 200 多個國家和地區的電商平臺。服務器
直播電商動輒 「幾億元帶貨」 的高歌猛進,也讓跨境電商賣家對這一模式心動不已。然而,因爲不一樣國家和地區的語言不一樣、文化不一樣、消費習慣也不一樣,因此要想在速賣通作直播,語言、物流、支付和技術都是很是複雜的系統,其中語言是最急需攻克的難題。網絡
而在近日,阿里達摩院聯合速賣通推出 AI 實時翻譯直播,可同時進行中文到英、俄、西三種語向的翻譯。據悉,這是全球首個啓用 AI 實時翻譯的電商直播,中國商家只需用中文一鍵開播,就能同時覆蓋全球英語、西班牙語、俄語區的逾十億人口。併發
「被迫」 研發的翻譯引擎
兩年前,速賣通開始探索直播,然而不一樣於淘寶直播的是,高峯期涌到直播間的用戶來自 19 個國家,且說着不一樣的語言。當時,沒有多元實時翻譯,要麼所有用英文直播,要麼面向某一語言地區的用戶專門用某種語言直播,好比法語或西班牙語。工具
據速賣通官方直播負責人陸嬿介紹,大部分實力雄厚的商家會請外國主播,而中小商家要麼放棄,要麼無聲直播或用中式英語(Chinglish)尬播。數據顯示,速賣通上近九成商家來自中國,而 82% 的中國商家由於語言困難而放棄跨境直播。學習
相比淘寶直播,速賣通直播更像一個嬰兒,她須要強大的 「養分」 才能快速成長。這個養分就是能實現多譯多功能的實時翻譯工具。阿里雲
在研發多譯多以前,速賣通曾試用過現成的翻譯引擎,但對直播間的翻譯輸出腳原本說,即使是質量最好的翻譯引擎,其翻譯結果也不合格。當時,還有俄羅斯和西班牙用戶受邀參與評測,他們的評價也是徹底聽不懂。人工智能
速賣通研究後發現,這些翻譯引擎之因此沒法使用海外直播,其一是常規同傳有專業的收音設備來保障翻譯準確度。可是電商直播的環境很嘈雜,不少商家直接在檔口就開始播,這樣就難以保證較好的收音。url
其二常規的同傳詞庫是固定的,翻譯工具獲得有效訓練後就能保證準確度。可是電商直播商品數量過億,且天天都在變,根本沒有辦法讓翻譯工具快速學習。並且主播每一個人都來自不一樣地方,有的說話還帶有方言。而且有些主播語速很快,這都會極大地增長翻譯難度。以上緣由使得速賣通不得不自研引擎。spa
沒有訓練集,商家本身 「造」
隨後,速賣通耗時 7 個月開發出中譯英引擎,並於 2020 年 5 月份上線。上線後商家開播率已有 65%,今年 「828 大促」 期間線上 90% 的直播間都使用了該功能。
但仍存在不足,即便中譯英能力作到極限,直播間裏只有 30% 的用戶能聽得懂主播說的話,由於 AE 是一個跨全球平臺,直播間裏各類用戶都有,英語用戶最高比例是 30%,所以亟需推出中譯多的功能。
兩個月後,中譯多功能完成,上線以後用戶體驗獲得較高提高,部分店鋪銷量隨之增長 3 倍。當時,不少商家直播間的購買轉化,比達人直播的轉化率還高。一些直播達人和海外商家發現後,也要求使用中譯多功能,但是不少商家不說中文,爲此速賣通增長了多譯多功能,並於今年 7 月上線。
研發過程當中也有不少困難。第一是跨團隊協做,研發團隊分佈在美國、中國、新加坡三個國家。另外,60 多位研發人員幾乎從未見過面,如何讓他們快速創建信任、並快速推下去是一大難題。
第二是訓練集的收集。跨境直播業務在全球都不多見,市面上沒有現存訓練集能夠直接複用。好在阿里自己擁有較強的商家生態,不少商家都積極幫忙收集訓練集。
第三是併發承載點。若是隻作一場翻譯,根本不會有壓力。可是直播天天有上千場,翻譯幾國語言,這就須要幾千個翻譯,所以服務器的併發壓力很是大。後來,阿里雲對此作了改造,使得服務器得以承載得住。
第四個難題是自動化展現。多譯多功能可自動識別用戶種類,並展現出相應的語言,好比它能識別你是中國人,從而用中文展現主播說的話。以前你們看到同傳效果都是在 PC 端上面,可是移動端很複雜,爲此研發人員在其中作了很多自適應的工做。
自研更高效算法模型,可 「聽懂」 主播口音
達摩院研發的統一多語言多領域融合模型,可把上百個語言,以及每一個語言的多個領域壓縮到一個神經網絡模型中進行翻譯,且翻譯質量不變。據達摩院駱衛華介紹,達摩院 AI 翻譯技術已創下多項業界第一,日均調用量超過 13 億次,累計 3000 億單詞,可提供 214 種語言的高質量翻譯。
據速賣通直播實時翻譯產品負責人趙文倩介紹,速賣通上有上億件商品、數百億個商品相關的專業名詞,對直播實時翻譯技術的要求極高,須要克服口音不標準、直播環境複雜、商品專業名詞多、新品新詞更迭快等問題。
主要負責該難題的是阿里達摩院天然語言處理實驗室的研究員樊楷,他表示爲解決 AI 聽不清、聽不懂的問題,達摩院研發出更高效的語音算法模型,它不只能在嘈雜環境中 「聽清」 直播內容,還能 「聽懂」 主播的口音。經過將多領域的知識融入翻譯模型,該算法模型還能觸類旁通,無需從新訓練便能快速學習不一樣場景裏不斷更迭的專業名詞。
如今,速賣通平臺支持 18 種語言,能夠保證設計出來的頻道和商品定位,可以符合當地文化,這種 「入鄉隨俗」 主要體如今如下三方面。
心有靈犀。速賣通上有大量多元的商品,除了給它們作分類,還得容易被搜到。所以平臺得根據用戶輸入的詞,立刻就能獲悉他的搜索目的。在多語言混合下,這種挑戰會更大。以 「Case」 爲例,它具備箱子和案子的雙重意思,用戶輸入該詞語時,到底想買什麼,就須要結合具體情景。此外,一樣的詞在不一樣語言裏的意思也不一樣,例如 「Basket」 在英語裏有 「籃子」 的意思,在法語裏還有 「球鞋」 的意思。
可面對數以億計的商品搜索,全程由人工解決會很慢。爲此,速賣通採用人工智能來解決,固然人工智能的初步訓練是由算法工程師來解決。訓練結束後,速賣通最終可作到不管用戶輸入什麼,都能根據他先後搜索的詞語,來知曉其購買意圖。
瞭如指掌。速賣通但願用戶能對商品瞭如指掌,所以商品標題須要承載不少內容。好比,這個商品是什麼?怎麼找到?爲何買?可是一些商家的標題,有的沒有標點符號,標題手法上也沒有特別規則。這一問題也可被人工智能解決,它會給標題加上標點符號,並可整理成當地用戶熟悉的表達方式。
深信不疑。速賣通是跨境平臺,不少商家位於海外,商品須要漂洋過海才能到用戶手中。因此,用戶對平臺信用、商家信用和商品質量都有很高要求。而購買前想知道商品到底好很差?就只能經過用戶評價去了解。可是用戶評價很是多,涉及的語言種類也很是多。另外,用戶會用各類不規範的語言來評價,好比 「Very gooooood」 這樣的短語,有的評價還會用到表情符號。而採用 「多到多」 翻譯引擎,上述問題也可獲得解決。
因爲疫情緣由,2020 年不少此前從未涉足直播的商家,如中國山區的果農也開始直播賣貨。有了速賣通,不管是江西贛南的臍橙、仍是河北棗強的貂皮均可以走向全球各地。一樣,中國用戶也能夠買到此前只有靠代購才能買到的產品。科技惠及的歷來不僅是某一個國家的用戶,而是全世界。
本文爲阿里雲原創內容,未經容許不得轉載。