hadoop中實現java網絡爬蟲

這一篇網絡爬蟲的實現就要聯繫上大數據了。在前兩篇java實現網絡爬蟲和heritrix實現網絡爬蟲的基礎上，這一次是要完整的作一次數據的收集、數據上傳、數據分析、數據結果讀取、數據可視化。

須要用到

Cygwin：一個在windows平臺上運行的類UNIX模擬環境，直接網上搜索下載，而且安裝；

Hadoop：配置Hadoop環境，實現了一個分佈式文件系統（Hadoop Distributed File System），簡稱HDFS，用來將收集的數據直接上傳保存到HDFS，而後用MapReduce分析；

Eclipse：編寫代碼，須要導入hadoop的jar包，以能夠建立MapReduce項目；

Jsoup：html的解析jar包，結合正則表達式能更好的解析網頁源碼；

 

----->

目錄：

一、配置Cygwin

二、配置Hadoop黃靜

三、Eclipse開發環境搭建

四、網絡數據爬取（jsoup）

-------->

 

一、安裝配置Cygwin

從官方網站下載Cygwin 安裝文件，地址：https://cygwin.com/install.html

下載運行後進入安裝界面。

安裝時直接從網絡鏡像中下載擴展包，至少須要選擇ssh和ssl支持包

安裝後進入cygwin控制檯界面，

運行ssh-host-config命令，安裝SSH

輸入：no，yes，ntsec，no，no

注意：win7下須要改成yes，yes，ntsec，no，yes，輸入密碼並確認這個步驟

完成後會在windows操做系統中配置好一個Cygwin sshd服務，啓動該服務便可。

 

而後要配置ssh免密碼登錄

從新運行cygwin。

執行ssh localhost，會要求使用密碼進行登錄。

使用ssh-keygen命令來生成一個ssh密鑰，一直回車結束便可。

生成後進入.ssh目錄，使用命令：cp id_rsa.pub authorized_keys 命令來配置密鑰。

以後使用exit退出便可。

 

從新進入系統後，經過ssh localhost就能夠直接進入系統，不須要再輸入密碼了。

 二、配置Hadoop環境

修改hadoop-env.sh文件，加入JDK安裝目錄的JAVA_HOME位置設置。

# The java implementation to use.  Required. export JAVA_HOME=/cygdrive/c/Java/jdk1.7.0_67

如圖注意：Program Files縮寫爲PROGRA~1

修改hdfs-site.xml，設置存放副本爲1（由於配置的是僞分佈式方式）

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

注意：此圖片多加了一個property，內容就是解決可能出現的權限問題！！！

HDFS：Hadoop 分佈式文件系統

能夠在HDFS中經過命令動態對文件或文件夾進行CRUD

注意有可能出現權限的問題，須要經過在hdfs-site.xml中配置如下內容來避免：

<property> <name>dfs.permissions</name> <value>false</value> </property>

 

修改mapred-site.xml，設置JobTracker運行的服務器與端口號（因爲當前就是運行在本機上，直接寫localhost 便可，端口能夠綁定任意空閒端口）

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>

配置core-site.xml，配置HDFS文件系統所對應的服務器與端口號（一樣就在當前主機）

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

 

配置好以上內容後，在Cygwin中進入hadoop目錄

 

在bin目錄下，對HDFS文件系統進行格式化（第一次使用前必須格式化），而後輸入啓動命令：

 

三、Eclipse開發環境搭建

這個在我寫的博客  大數據【二】HDFS部署及文件讀寫（包含eclipse hadoop配置）  http://www.cnblogs.com/1996swg/p/7286136.html　　中給出大體配置方法。不過此時須要完善一下。

將hadoop中的hadoop-eclipse-plugin.jar支持包拷貝到eclipse的plugin目錄下，爲eclipse添加Hadoop支持。

啓動Eclipse後，切換到MapReduce界面。

在windows工具選項選擇showviews的others裏面查找map/reduce  locations。

在Map/Reduce Locations窗口中創建一個Hadoop Location，以便與Hadoop進行關聯。

注意：此處的兩個端口應爲你配置hadoop的時候設置的端口！！！

完成後會創建好一個Hadoop Location

在左側的DFS Location中，還能夠看到HDFS中的各個目錄

而且你能夠在其目錄下自由建立文件夾來存取數據。

下面你就能夠建立mapreduce項目了，方法同正常建立同樣。

四、網絡數據爬取

如今咱們經過編寫一段程序，來將爬取的新聞內容的有效信息保存到HDFS中。

此時就有了兩種網絡爬蟲的方法：其一就是利用heritrix工具獲取的數據；

　　　　　　　　　　　　　　　其一就是java代碼結合jsoup編寫的網絡爬蟲。

方法一的信息保存到HDFS：

直接讀取生成的本地文件，用jsoup解析html，此時須要將jsoup的jar包導入到項目中。

 

package org.liky.sina.save;

//這裏用到了JSoup開發包，該包能夠很簡單的提取到HTML中的有效信息
import java.io.File;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class SinaNewsData {

    private static Configuration conf = new Configuration();

    private static FileSystem fs;

    private static Path path;

    private static int count = 0;

    public static void main(String[] args) {
        parseAllFile(new File(
                "E:/heritrix-1.12.1/jobs/sina_news_job_02-20170814013255352/mirror/"));
    }

    public static void parseAllFile(File file) {
        // 判斷類型
        if (file.isDirectory()) {
            // 文件夾
            File[] allFile = file.listFiles();
            if (allFile != null) {
                for (File f : allFile) {
                    parseAllFile(f);
                }
            }
        } else {
            // 文件
            if (file.getName().endsWith(".html")
                    || file.getName().endsWith(".shtml")) {
                parseContent(file.getAbsolutePath());
            }
        }
    }

    public static void parseContent(String filePath) {
        try {
                //用jsoup的方法讀取文件路徑
            Document doc = Jsoup.parse(new File(filePath), "utf-8");
            //讀取標題
            String title = doc.title();
            Elements descElem = doc.getElementsByAttributeValue("name",
                    "description");
            Element descE = descElem.first();
            
            // 讀取內容
            String content = descE.attr("content");

            if (title != null && content != null) {
                //經過Path來保存數據到HDFS中
                path = new Path("hdfs://localhost:9000/input/"
                        + System.currentTimeMillis() + ".txt");

                fs = path.getFileSystem(conf);

                // 創建輸出流對象
                FSDataOutputStream os = fs.create(path);
                // 使用os完成輸出
                os.writeChars(title + "\r\n" + content);

                os.close();

                count++;

                System.out.println("已經完成" + count + " 個!");
            }

        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}