統一元數據管理的重要性
目前集羣上總的數據量是多少?
集羣上的每張表有幾個分區?每一個分區所佔大小?每一個分區有多少記錄?
每張表有哪些字段?哪些字段使用比較熱?熱表?熱字段?
表之間的血緣關係?表多是從其他錶轉換來的!java
步驟一:新建一個SpringBoot項目,先添加web依賴就能夠了mysql
步驟二:獲得的是一個maven項目,在pom文件中添加以下依賴,目的是確保能支持數據庫訪問層,即dao層的功能git
<!--添加Data的依賴--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-jpa</artifactId> </dependency> <!--添加MySQL驅動--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version> </dependency> <!--添加lombok 插件 ,可選--> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency>
scala依賴以下:github
<scala.version>2.11.8</scala.version> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency>
添加Scala的plugin:web
<!--添加Scala的plugin--> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.2.1</version> <executions> <execution> <id>compile-scala</id> <phase>compile</phase> <goals> <goal>add-source</goal> <goal>compile</goal> </goals> </execution> <execution> <id>test-compile-scala</id> <phase>test-compile</phase> <goals> <goal>add-source</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <recompileMode>incremental</recompileMode> <scalaVersion>${scala.version}</scalaVersion> <args> <arg>-deprecation</arg> </args> <jvmArgs> <jvmArg>-Xms64m</jvmArg> <jvmArg>-Xmx1024m</jvmArg> </jvmArgs> </configuration> </plugin>
1.scala 的更多用法spring
@RequestMapping(value = Array("/table"),method = Array(RequestMethod.POST)) 說明:這個value的類型須要是 Array[String],包括method也是 class MetaTableController @Autowired()(metaTableService: MetaTableService) = {???} 說明:注入的方式比較不同 trait MetaTableRepository extends CrudRepository[MetaTable, Integer] {} 說明:定義接口使用trait 關鍵字,參數類型使用中括號[] ,不一樣於Java的<>尖括號 接口實現一樣使用extends 關鍵字,實現多個可使用with進行鏈接 ,with Serializable var id:Integer = _ javaBean實體類定義
導入starter-jar + mysql 依賴 spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://xxx:3306/bootscala?useUnicode=true&characterEncoding=UTF-8&useSSL=false spring.datasource.username=root spring.datasource.password=123456 ####### 添加jps相關配置 spring.jpa.hibernate.ddl-auto=update // 不用建立表,直接啓動便可 spring.jpa.database=mysql ####### 實體類中 @Entity @Table @Id @GeneratedValue ####### 數據庫訪問層 public interface MetaDatabaseRepository extends CrudRepository<MetaDatabase,Integer> {}
springboot 測試用例簡單編寫
@RunWith(SpringRunner.class)
@SpringBootTest
@Testsql
更多能夠去看看junit 相關知識數據庫
項目位置:https://github.com/liuge36/boot2spark-project ,歡迎Star~
好的,到這裏就結束了,有問題能夠留言交流~springboot