安裝步驟:java
JAVA實現讀取文件mysql
可是使用hive會更簡單sql
hive可以把文件變成表,只保存表結構存在數據庫mysql中,可是數據仍是在文件中shell
文件----->database---->table數據庫
----->deby------>mysql(保存表結構信息)ide
1.先解壓完而後把數據庫鏈接驅動放到hive110/lib中oop
tar zxvf hive-1.1.0-cdh5.14.2.tar.gz mv hive-1.1.0-cdh5.14.2 /opt/bigdata/hive110
2.配置env文件code
cd /opt/bigdata/hive110/conf cp hive-env.sh.template hive-env.sh vi hive-env.sh
3.配置site.xmlxml
放到hive10/conf下hadoop
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://169.254.211.100:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration>
4.配置環境變量
vi /etc/proflie source /etc/profile
5.進入bin中運行hive
schematool -initSchema -dbType mysql hive create table userinfos(userid int);
6.使用hive插數據
insert into userinfos values(1);
7.使用hadoop查看數據
hdfs dfs -text /user/hive/warehouse/userinfos/000000_0