統一元數據管理 【SpringBoot+Java+Scala】

項目開發流程

統一元數據管理的重要性
目前集羣上總的數據量是多少?
集羣上的每張表有幾個分區?每一個分區所佔大小?每一個分區有多少記錄?
每張表有哪些字段?哪些字段使用比較熱?熱表?熱字段?
表之間的血緣關係?表多是從其他錶轉換來的!java

正式開始

  • 步驟一:新建一個SpringBoot項目,先添加web依賴就能夠了mysql

  • 步驟二:獲得的是一個maven項目,在pom文件中添加以下依賴,目的是確保能支持數據庫訪問層,即dao層的功能git

<!--添加Data的依賴-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>

        <!--添加MySQL驅動-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>
        <!--添加lombok 插件 ,可選-->
         <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
  • 步驟三:到這裏,其實正常使用Java代碼就是能夠開發起來的,可是咱們想要部分功能使用Scala代碼開發。
    就先得引入依賴,還有就是scala-plugin插件。

scala依賴以下:github

<scala.version>2.11.8</scala.version>

     <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
     </dependency>

添加Scala的plugin:web

<!--添加Scala的plugin-->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.1</version>
                <executions>
                    <execution>
                        <id>compile-scala</id>
                        <phase>compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>test-compile-scala</id>
                        <phase>test-compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <recompileMode>incremental</recompileMode>
                    <scalaVersion>${scala.version}</scalaVersion>
                    <args>
                        <arg>-deprecation</arg>
                    </args>
                    <jvmArgs>
                        <jvmArg>-Xms64m</jvmArg>
                        <jvmArg>-Xmx1024m</jvmArg>
                    </jvmArgs>
                </configuration>
            </plugin>
  • 步驟四:到這裏,咱們就成功構建起開發環境
    IDEA+SprigBoot+Spring Data JPA + Java + scala 混合開發的模式
    簡單說一下,混編的好處。
    1.好處一:對於咱們歷史項目中寫好的許多Java 工具類,能夠直接調用
    2.好處二:其實,對於整個市場來講,Java的第三方工具類及其支持確定是好不少的。這樣咱們的Scala項目在集成Java以後就很舒服啦.其實仍是相似第一點

簡單總結:

1.scala 的更多用法spring

@RequestMapping(value = Array("/table"),method = Array(RequestMethod.POST))
         說明:這個value的類型須要是 Array[String],包括method也是
  
       class MetaTableController @Autowired()(metaTableService: MetaTableService) = {???}
         說明:注入的方式比較不同
        
       trait MetaTableRepository extends CrudRepository[MetaTable, Integer] {}
         說明:定義接口使用trait 關鍵字,參數類型使用中括號[] ,不一樣於Java的<>尖括號
              接口實現一樣使用extends 關鍵字,實現多個可使用with進行鏈接 ,with Serializable

      var id:Integer = _ javaBean實體類定義
  1. spring data jpa 用法
導入starter-jar + mysql 依賴
        spring.datasource.driver-class-name=com.mysql.jdbc.Driver
        spring.datasource.url=jdbc:mysql://xxx:3306/bootscala?useUnicode=true&characterEncoding=UTF-8&useSSL=false
        spring.datasource.username=root
        spring.datasource.password=123456
        #######  添加jps相關配置
        spring.jpa.hibernate.ddl-auto=update // 不用建立表,直接啓動便可
        spring.jpa.database=mysql
        #######  實體類中
        @Entity
        @Table
        @Id
        @GeneratedValue
        #######  數據庫訪問層
        public interface MetaDatabaseRepository extends CrudRepository<MetaDatabase,Integer> {}
  1. springboot 測試用例簡單編寫
    @RunWith(SpringRunner.class)
    @SpringBootTest
    @Testsql

    更多能夠去看看junit 相關知識數據庫

項目位置:https://github.com/liuge36/boot2spark-project ,歡迎Star~
好的,到這裏就結束了,有問題能夠留言交流~springboot

相關文章
相關標籤/搜索