將開發的程序打包到正式環境中運行實戰篇

時間 2020-09-13

標籤開發程序打包正式環境運行實戰简体版

原文原文鏈接

　　　　　　　　　　將開發的程序打包到正式環境中運行實戰篇java

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　做者：尹正傑node

一.編寫spark的wordcount案例git

1>.建立一個maven項目並導入依賴golang

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.yinzhengjie.bigdata</groupId>
    <artifactId>spark</artifactId>
    <version>1.0</version>

    <dependencies>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>

    </dependencies>

    <build>
        <finalName>WordCount</finalName>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <!--打包插件-->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>WordCount</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>


</project>

pom.xml文件內容

2>.編寫WordCount案例web

package com.yinzhengjie.bigdata.spark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object WordCount {

  def main(args: Array[String]): Unit = {

    /**
      *   命令行完成WordCount案例:
      *     sc.textFile("/tmp/data/").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
      *
      *    下面是使用開發工具完成Spark WordCount的開發(須要安裝Scala環境)
      */

    //建立SparkConf對象
    val  config:SparkConf = new SparkConf()
    config.setMaster("local[*]")
    config.setAppName("WordCount")

    //建立Spark上下文對象
    val sc = new SparkContext(config)

    /**
      *   讀取文件，將文件內容一行一行讀取出來
      *
      *   須要注意的是,路徑查找位置默認從當前的部署環境中查找，若是須要從本地查找:"file:///tmp/data/"
      *
      */
    val lines = sc.textFile(args(0))

    //將每行數據按照空格(" ")切割成多個單詞
    val words:RDD[String] = lines.flatMap(_.split(" "))

    //爲了統計方便,將單詞數據進行結構的轉換
    val wordToOne:RDD[(String,Int)] = words.map((_,1))

    //將轉換結構後的數據進行分組聚合
    val wordToSum:RDD[(String,Int)] = wordToOne.reduceByKey(_+_)

    //將統計結果採集後打印到控制檯
    val result:Array[(String,Int)] = wordToSum.collect()
    result.foreach(println)

    //關閉鏈接
    sc.stop()
  }
}

二.使用idea工具將開發的程序打包shell

1>.使用idea工具開始打包apache

2>.打包完成會生成相應的jar包文件(建議選擇有依賴的jar包上傳到服務器)json

三.將開發的程序打包到正式環境中運行實戰案例bootstrap

1>.準備數據源

[root@hadoop101.yinzhengjie.org.cn ~]# ll /tmp/data/
total 8
-rw-r--r-- 1 root root 46 Jun 28 03:14 1.txt
-rw-r--r-- 1 root root 60 Jun 28 03:14 2.txt
[root@hadoop101.yinzhengjie.org.cn ~]# 
[root@hadoop101.yinzhengjie.org.cn ~]# 
[root@hadoop101.yinzhengjie.org.cn ~]# cat /tmp/data/1.txt 
hello java
java python
kafka shell
spark java
[root@hadoop101.yinzhengjie.org.cn ~]# 
[root@hadoop101.yinzhengjie.org.cn ~]# cat /tmp/data/2.txt 
hello golang
bigdata shell
java python
world java
spark c++
[root@hadoop101.yinzhengjie.org.cn ~]#

[root@hadoop101.yinzhengjie.org.cn ~]# ll /tmp/data/

2>.啓動zookeeper集羣

[root@hadoop101.yinzhengjie.org.cn ~]# ansible all -m shell -a 'jps'
hadoop102.yinzhengjie.org.cn | SUCCESS | rc=0 >>
8239 Jps

hadoop105.yinzhengjie.org.cn | SUCCESS | rc=0 >>
8745 Jps

hadoop101.yinzhengjie.org.cn | SUCCESS | rc=0 >>
9677 Jps

hadoop104.yinzhengjie.org.cn | SUCCESS | rc=0 >>
6486 Jps

hadoop103.yinzhengjie.org.cn | SUCCESS | rc=0 >>
8208 Jps

hadoop106.yinzhengjie.org.cn | SUCCESS | rc=0 >>
6730 Jps

[root@hadoop101.yinzhengjie.org.cn ~]#