Linux本地數據上傳到阿里雲OSS

這篇文章主要是介紹如何將服務器本地的數據上傳到阿里雲OSS的指定bucket中，最重要的參考文檔是數據遷移單機部署。我第一次上傳數據到OSS上時，步驟要比前面的連接中介紹的要麻煩，ossimport工具仍是v2.1，如今已經更新到了v2.2，並且阿里雲的工程師將不少步驟封裝了起來，所以流程簡化了很多，你們能夠直接參考前面的文檔。我這份主要是針對linux服務器單機模式數據上傳的，Windows的請直接移步前方連接。

1. 環境配置和工具下載

第一步，要確保Linux本地已經有了Java 1.7及以上的運行環境。查看本機java版本，使用命令 java -version 便可。若是沒有，請去網上搜相應的安裝教程，有不少，這個不難；

第二步，請從ossimport-2.2.1.zip此連接處下載ossimport工具，使用wget命令便可。

下載到本地後，新建一個my_oss_work文件夾，再利用下述命令

unzip -o ossimport-2.2.1.zip -d my_oss_work

將壓縮文件解壓到my_oss_work文件夾，完畢。

2. ossimport的相關配置

這一步主要是配置local_job.cfg和sys.properties這兩個文件，它們都在上一步解壓的my_oss_work/conf文件夾下。

第一步，修改local_job.cfg文件：首先，必定不要修改local_job.cfg的名稱和位置，保持不動便可。而後利用vim打開該文件，更改以下設置

srcType=local     //由於是本地上傳，因此此處設置爲local

srcPrefix=/home/my_name/my_data    //這裏是你本地須要上傳的文件夾

destAccessKey=LTAI******bLeL     //這個是你阿里雲帳戶的access key，須要你去你的阿里雲帳戶上去找

destSecretKey=A3Ludf*********qbvEUz08DR  //這個是你阿里雲帳戶的secret key，也須要你去你本身的帳戶上去查找。access key 和secret key都是用來對你的身份進行驗證的，至關於你傳數據到阿里雲上時的鑰匙，這個鑰匙能惟一肯定你的OSS

destDomain=http://oss-cn-beijing.aliyuncs.com  //這一步很重要，這是你的endpoint，是由你的實際OSS區域肯定的。若是你購買了阿里雲ECS服務，且是將你ECS主機上的數據上傳到OSS，那麼這裏設置http://oss-cn-beijing-internal.aliyuncs.com；若是你不只購買了ECS，還設置有VPC專有網絡，那麼此處設置http://vpc100-oss-cn-beijing.aliyuncs.com；若是你是將本身的服務器（並非阿里雲的ECS主機）好比你學院裏的機房上的數據上傳到OSS，那麼這裏設置http://oss-cn-beijing.aliyuncs.com。這些信息均可以在你的OSS帳戶裏面查到。endpoint中的beijing說明我購買的是OSS區域在華北，若是你的在杭州，那麼就改成hangzhou。這些都是能夠在你的帳戶裏查到的。

destBucket=my_bucket  //這是你的OSS的bucket名，你要把數據傳到這個bucket上，注意，不要在bucket名字後面加斜線/

destPrefix=my_oss_data  //這是你的目標文件夾，你要講數據傳到上面指定的my_bucket的my_oss_data文件夾下，注意此處文件夾開頭不要加斜線/

jobName=local_test  //這是你的任務名稱，注意，此處不須要修改，保持不變便可！！ossimport v2.2單機模式要求這個名稱不能更改！！

除了上面幾個須要設置和注意之外，其它的都不須要動！保持不變便可！

第二步，修改sys.properties文件：

workerMaxThroughput(KB/s)=0  //這是設置你的上傳速度上限，設置爲0表示不限制。

注意，sys.properties中的配置項workingDir、workerUserName、workerPassword、privateKeyFile請不要修改！！保持不變便可！！

到此，ossimport的配置到此結束。

3. 運行ossimport和上傳數據

使用下述命令

cd my_oss_work

切換到剛纔解壓的文件夾下，即與import.sh這個文件保持同級，你當前目錄下存在着一個叫作import.sh的文件。這個文件將數據上傳的操做封裝在了一塊兒，你無須管它裏面寫了什麼，只要你前面local_job.cfg和sys_properties這兩個文件正確設置了，那麼運行命令

bash import.sh

ossimport工具就會依據你以前的設定，將你本地/home/my_name/my_data文件夾下的全部數據上傳到你阿里雲OSS的my_bucket的my_oss_data文件夾下。整個過程持續的時間，取決於你文件的大小和數量。

上傳完畢以後，你就能夠去你的OSS上去查看了。

4. 查看上傳數據的狀態

若是數據量很大，上傳須要花費不少時間，咱們就能夠選擇暫時斷開鏈接。斷開後，ossimport仍會繼續上傳數據。當咱們再次登錄時，想看一下數據上傳的進度，這時就能夠切換到my_oss_work文件夾下（也即ossimport的工做目錄下），執行下述命令

bash console.sh stat

若是數據仍在上傳，則會顯示出當前的工做狀態和正在運行的任務；若是已經上傳結束了，就會顯示 JobState:Succeed

5. 其餘狀況

上述是一鍵上傳，其實也能夠逐步上傳，這個數據遷移單機部署這個連接處也有介紹，可是要麻煩不少，不建議新手去嘗試，直接採用上述一鍵上傳的步驟便可。是否上傳成功，取決於你在上面的每一步配置是否正確！

做者：餘含軍 連接：https://www.jianshu.com/p/ab75de4cb1a6 來源：簡書 簡書著做權歸做者全部，任何形式的轉載都請聯繫做者得到受權並註明出處。