最近申請使用EC2免費服務器,將EC2使用時的一些心得記錄下。java
一、首先須要註冊一個帳戶,此帳戶免費,可是申請帳戶的時候須要綁定信用卡,在綁定後申請EC2雲服務器的時候,aws爲了測試帳戶可用性,象徵性的扣去信用卡1美圓,下個月自動返回到你本身的帳戶。web
申請地址:https://aws.amazon.com/cn/free/?sc_channel=PS&sc_campaign=acquisition_CN&sc_publisher=baidu&sc_category=pc&sc_medium=cloud_computing_b&sc_content=aws_cloud_e&sc_detail=aws%20%E5%85%8D%E8%B4%B9%E4%B8%80%E5%B9%B4&sc_segment=100015479&sc_matchtype=phrase&sc_country=CN&s_kwcid=AL!4422!88!14697818373!!22918598251&ef_id=W3F0BQAAAR0Y3w-R:20180819082825:sshell
二、註冊後選擇免費的EC2,而後添加實例。ubuntu
最後添加成功後以下:vim
1.1:在建立實例的時候會生成一個祕鑰,會提示離下載,下載後在xshell 登陸的時候選擇public keys而不是passwd。而後將下載的祕鑰導入進xshell就能夠直接登陸,不須要密碼。用戶名:你在選擇實例的時候選擇的是ubuntu就是ubuntu(小寫),centos就是centos。其餘的沒試過。centos
1.2:以上的方法比較麻煩的是你在另一臺電腦登陸時候須要把祕鑰複製到電腦。如下這種方法能夠直接IP/用戶名/密碼登陸。安全
首先仍是須要第一次祕鑰登陸,登陸後進root用戶,而後修改配置文件:bash
[root@EC2 ~]# vim /etc/ssh/sshd_config
修改如下:服務器
而後從新登陸使用IP/用戶名/密碼就能夠了ssh
xshell登陸上去之後首先修改root和centos/ubuntu密碼。
1 sudo passwd root 2 3 sudo passwd centos 或者 sudo passwd ubuntu
在啓動實例過程當中,要求你選安全組,此時若是是本身測試用最好端口全放開,這樣在後面部署web服務時候省得麻煩。
centos默認是沒有安裝的,因此直接在EC2 wget下載後解壓,最好安裝在root用戶下,這樣全部的用戶均可以用,wget 如下這個連接,scala同理,有個坑就是Ubuntu好像會自帶安裝包,可是那個jdk版本有點不合適,因此建議下載時候看好是1.8版本的。
4.一、下載
4.二、安裝位置:
4.3配置環境變量:
vim /etc/profile
最後spark這個環境變量配置最好將啓動命令目錄配置進去,這樣啓動中止集羣的時候方便,以上:$SPARK_HOME/sbin即是。
4.四、關於配置文件/etc/profile和 .bashrc區別
/etc/profile :是root用戶下配置環境變量,此處配置後全部用戶都有效
.bashrc :則是單個用戶的配置文件,只是對當前用戶有效。
這兩個文件是cp 出來,而後修改的。spark-env.sh只要增長如下即可:
系統環境變量參照上一步/etc/profile配置就ok。這樣單機版的spark就能夠了。
在這個上面踩過好多坑,其實只要IP+端口,就能夠了。
就是你的:公網IP+8080,單機版就是這樣就ok。沒有什麼7077一堆的配置。
而後sparkshell是:IP+4040
以上的前提保證是你的安全組像上面講的,選擇了全部流量,全部IP。
轉:https://blog.csdn.net/caizi001/article/details/38659189
先寫到這。。。後續想起來更新。