Flume+Kafka+SparkStreaming啓動命令筆記

1.將日誌產生程序寫入crontab中：

crontab -e

#每一分鐘執行一次
*/1 * * * * /home/qian/data/project/log_generator.sh

進入logs日誌文件中：tail -f access.log

定時腳本添加成功

2.開啓ZK:

 

zkServer.sh start

 

 

 

3.開啓kafka-server：

 

kafka-server-start.sh -daemon \
/home/qian/app/kafka_2.11-0.9.0.0/config/server.properties

 

 

 

 

3.開啓flume agent：

 

flume-ng agent \
 --name exec-memory-kafka \
 --conf $FLUME_HOME/conf/ \
 --conf-file ~/data/project/streaming_project2.conf \
 -Dflume.root.logger=INFO,console

 

 

 

4.開啓sparkstremaing(只作了簡單的計數操做）：

（1）在IDEA中執行scala代碼，控制檯以下：

 

 

(2)在git-bash中打成jar包：

mvn clean package -DskipTests

 

（3）打包成功上傳到服務器上：

 

 （4）在服務器上運行上傳的jar包。