以58同城爲例詳解如何用爬蟲採集二手房房源數據及中介聯繫方式

2008年9月4日，英國《天然》雜誌刊登了一個名爲「Big Data」的專輯，首次提出大數據概念，該專輯對如何研究PB級容量的大數據流，以及目前正在制訂的、用以最爲充分地利用海量數據的最新策略進行了探討。20十一、2012年達沃斯世界經濟論壇將大數據做爲專題討論的主題之一，發佈了《大數據、大影響：國際發展新的可能性》等系列報告。 

2011年以來，中國成立了大數據委員會，研究大數據中的科學與工程問題，科技部《中國雲科技發展「十二五」專項規劃》和工信部《物聯網「十二五」發展規劃》等都把大數據技術做爲一項重點予以支持。業界廣泛認爲，2013年是中國「大數據元年」。

根據IDC做出的估測，數據一直都在以每一年50%的速度增加，也就是說每兩年就增加一倍（大數據摩爾定律），而且大量新數據源的出現則致使了非結構化、半結構化數據爆發式的增加，這意味着人類在最近兩年產生的數據量至關於以前產生的所有數據量，預計到2020年，全球將總共擁有35億GB的數據量，相較於2010年，數據量將增加近30倍。這不是簡單的數據增多的問題，而是全新的問題。 

大數據時代的到來，使咱們要處理的數據量實在是太大、增加太快了，而業務需求和競爭壓力對數據處理的實時性、有效性又提出了更高要求，傳統的常規技術手段根本沒法應付。

大數據的特徵具備數據量大、類型繁多、價值密度低及速度快時效高等特色，面對大數據的全新特徵，既有的技術架構和路線，已經沒法高效地處理如此海量的數據，而對於相關組織來講，若是投入巨大采集的信息沒法經過及時處理反饋有效信息，那將是得不償失的。能夠說，大數據時代對人類的數據駕馭能力提出了新的挑戰，也爲人們得到更爲深入、全面的洞察能力提供了史無前例的空間與潛力。

而大數據蘊含着極大的價值，對咱們的工做和生活具備重大的影響，如何快速有效的獲取到這些數據爲咱們服務，是一個大難題。出現了問題，天然就有解決問題的人，爲了解決這一問題，后羿工程師團隊通過不斷的探索和研發，終於開發出一款基於人工智能技術的網絡爬蟲軟件，只須要輸入網址就可以自動識別網頁數據，無需配置便可完成數據採集，是業內首家支持三種操做系統（包括Windows、Mac和Linux）的採集軟件。同時這是一款真正免費的數據採集軟件，對採集結果導出沒有任何限制，沒有編程基礎的小白用戶也可輕鬆實現數據採集要求。

咱們以58同城杭州地區二手房源爲例，爲你們介紹如何運用軟件採集二手房房源信息及中介聯繫電話。

首先複製須要採集的網址，注意須要複製的是結果頁的網址，而不是搜索頁的網址，而後在軟件中輸入網址新建智能採集任務。

接着咱們對智能識別出的字段進行處理，能夠修改字段名稱，增長或者刪除字段等。

因爲在在列表頁上只展現出了部分信息，若是須要房源的具體描述的話，咱們須要右擊房源連接使用「深刻採集」功能，跳轉到詳情頁進行採集。

深刻採集字段設置完畢後，咱們點擊「保存並啓動」按鈕，運行爬蟲工具。

數據抽取完畢後，咱們能夠導出數據，軟件提供多種的導出方式，咱們能夠自由選擇。

咱們導出一個excel2007的表格，能夠看到數據仍是很是完整的，咱們能夠直接使用這個數據，也能夠在這個基礎上對數據進行加工處理。