挨踢部落坐診第五期:數據採集與前端運用

時間 2020-01-23

標籤挨踢落坐第五數據採集前端運用欄目網絡爬蟲简体版

原文原文鏈接

活動說明：挨踢部落是爲核心開發者提供深度技術交流，解決開發需求，資源共享的服務社羣。基於此社羣，咱們邀請了業界技術大咖對開發需求進行一對一突破，解除開發過程當中的絆腳石。以最專業、最高效的答覆爲開發者解決開發難題。html

話題關鍵詞：大數據來源/數據安全/雲計算/Linuxlinux

部落陣容：51CTO社羣智囊團算法

面向對象：Java工程師、大數據開發工程師、IT運維、數據分析師數據庫

參與方式：加入51CTO開發者QQ交流羣（羣號370892523（已滿）、請加312724475），有任何技術問題，在羣裏提問，或發給羣主小官。編程

活動詳情：後端

Android-小包-重慶：我有個疑問，大多盈利性質的商業公司和企業都不會輕易泄露本身的數據、建模方法和分析過程，那麼大數據的來源是什麼？centos

雲計算-恩威-成都：數據的來源：一、自有用戶的數據庫；二、採集網絡（爬蟲）；三、買數據接口或者購買數據；四、聚合數據API市場。四種常見的大數據的數據來源。設計模式

Android-小包-重慶：買數據接口或者購買數據，這個可能又要涉及到另外一個問題，數據安全性。好像存在一個因果關係：要實現大數據的核心價值，第一步是經過「衆包」的形式收集海量數據，第二步是經過大數據的技術途徑進行「全量數據挖掘」，最後利用分析結果進行「資源優化配置」；但收集海量數據就得先解決數據安全性問題，才能進行「全量數據挖掘」，纔有後續的發展。不知道理解得對不對？瀏覽器

雲計算-恩威-成都：講的好，每一步的語言都是精煉，提到點上。目前大數據還處於開始階段，不少問題都尚未解決，安全性是任何行業的通病。安全

Java+李賽+鄭州：輸入法的數據收集麼？像輸入法，不少人的打字數據能不能算上大數據？

雲計算-恩威-成都：大數據要通過處理分析纔算的上是大數據，不然僅僅是大容量的二進制數據。例如這個，都是在輸入基礎之上通過提煉分析的結果。

輸入法

Java+李賽+鄭州：大數據是Java的進階麼？

1>App-zee-重慶：算是Java一個方向吧。

2>雲計算-恩威-成都：若是採用的是 Hadoop平臺，那邊無疑是Java語言又一場景的使用。

Java+李賽+鄭州：在作大數據麼？雲計算是作哪些？有什麼關係？

1>雲計算-恩威-成都：雲計算和大數據，應該是不分家的，由於大數據的分析離不開雲計算的基礎平臺。

2>後端接口開發-劉聲傑-成都：雲計算和大數據是分不開，沒有云計算，大數據永遠只是數據，對咱們沒有任何價值。

Java-太陽-深圳:話說有人知道單元測試怎麼寫麼？這樣是否是證實裝好了？

Java-笨鳥先飛-北京：參考這裏>>

網絡編程-付振華-武漢：請教下各位，我如今有個需求，在一個電腦上對上百個網站首頁進行輪詢打開，若是打不開就彈出提示，或者發郵件。有現成的軟件實現這個功能麼？

雲計算-恩威-成都：URL的監控HTTP狀態檢測（200 ok）。

Java網編－海本無因－長沙：我是問HTML5在大數據裏不是代替了Java？

1>PHP-Coeus-安徽：這兩個在大數據上扯不上。H5是負責展現、動效，數據方面的處理仍是看後臺的。數據是五花肉，處理語言是材料，HTML5就是紅燒肉出鍋時候的蔥花吧。HTML5和瀏覽器就像Java和JVM，分工不一樣罷了。隨着HTML5的規範完善，本地存儲、WebSocket、內存管理都已經作的很不錯了。

2>架構師-崔一凡-北京：HTML5能夠作報表，有用的，各類數據展現、報表，處理前，處理中，處理後。

3>網絡編程-付振華-武漢：HTML不就是個表示語言嗎，用來編網頁遊戲的也挺厲害的。但沒有瀏覽器時它沒法交互吧，基於瀏覽器就各類調試。Java程序只要有對應操做系統的JVM就能幹活，內存回收機制也完善些吧。

App-zee-重慶：有用過Vue那個Mint UI的嗎？mt-loadmore的加載更多嵌入到iframe在蘋果的瀏覽器上面上拉有問題，有碰見過的沒？

半吊子全棧工匠-曹洪偉-北京：不少IM 的提供商都提供了客服方案的，能夠集成到本身的系統中來。

新人-菜鳥-蘇州：問一下大佬，我若是要研究Linux，想經過烏班圖入手，我是要看linux的書仍是Ubuntu的書？半路出家搞IT要從哪裏入手呢？linux和Unix不同吧？

1>學習-JSON-重慶：看這個《UNIX環境高級編程》。

2>運維-華子-武漢：差很少，Linux門檻低，適合PC機折騰。

Java-氣-北京：有沒有人對Spring Data JPA有熟悉的嗎？是一個趨勢，最近在作。複雜查詢還行，updata碰到坎上了，感受SpringBoot慢慢要趕超SpringMvc。而SpringDataJpa技術是標配之一。但願你們能夠看看，有問題一塊兒交流。

Java-哈韓浪子-成都：SpringData作持久層的，我的感受很差用啊，沒有Hibernate好用。由於用了好久的Hibernate，因此不習慣其餘的了。

Java-Derrick-北京：有誰在用Linux系統？我的用了一個Ubuntu17.0，主要是算法和設計模式。

1>鏟屎官-項目經理-北京：我的用，烏班圖不錯，企業級，紅帽，等都挺好。

2>Java-氣-北京：公司用centos比較好，和紅帽同樣。