Java下載遠程服務器文件到本地(http協議和ssh2協議)

  Java中java.io包爲咱們提供了輸入流和輸出流,對文件的讀寫基本上都依賴於這些封裝好的關於流的類中來實現。前段時間遇到了如下兩種需求:前端

  一、與某系統對接,天天獲取最新的圖片並顯示在前端頁面。該系統提供的是一個http協議的圖片URL,原本獲取到該系統的圖片地址之後在HTML中顯示就能夠了,可是該系統不太穩定,圖片URL常常不能使用,並且天天生成圖片不必定成功,java

對本身系統的功能影響很大,emm。。。因此就考慮天天從該系統下載最新的圖片到本地更新保存,沒有新圖片就繼續使用上次的圖片。mysql

  二、公司算法團隊的同事完成了一個視頻分析的檢測功能,會生成一些截取的短視頻文件,系統須要獲取並保存這些視頻文件。算法運行在Linux系統,沒有搭建FTP服務器,因此就須要系統從運行算法的Linux系統複製文件到系統本地保存起來。算法

  這兩個需求實現起來都是大同小異,思路就是讀取文件而後寫到指定路徑,只不過http協議的圖片地址能夠直接讀取而後保存,而Linux系統的文件須要遠程鏈接到該服務器而後再下載文件,這就須要咱們引入如下依賴:sql

<!--遠程讀取服務器文件-->
        <dependency>
            <groupId>ch.ethz.ganymed</groupId>
            <artifactId>ganymed-ssh2</artifactId>
            <version>262</version>
        </dependency>
        <dependency>
            <groupId>com.jcraft</groupId>
            <artifactId>jsch</artifactId>
            <version>0.1.53</version>
        </dependency>
        <dependency>
            <groupId>commons-net</groupId>
            <artifactId>commons-net</artifactId>
            <version>3.4</version>
        </dependency>

  廢話不說了,先上代碼:shell

package com.XXX.utils;

import ch.ethz.ssh2.*;
import com.databus.Log;
import com.mysql.jdbc.StringUtils;

import java.io.*;
import java.net.*;

public class FileUtils {

    /*
    * 根據http路徑下載文件保存到指定路徑
    * urlString:文件路徑
    * fileName:保存到本地的文件名稱
    * filePath:本地要保存的指定路徑
    * */
    public static boolean downloadFile(String urlString,String fileName,String filePath) {
        boolean bool = false;

        InputStream is = null;
        FileOutputStream os = null;
        try {
            Log.info("文件路徑:" + urlString);
            // 構造URL
            java.net.URL url = new java.net.URL(urlString);
            // 打開鏈接
            URLConnection con = url.openConnection();
            // 輸入流
            is = con.getInputStream();
            // 1K的數據緩衝
            byte[] bs = new byte[1024];
            // 讀取到的數據長度
            int len;
            //判斷指定目錄是否存在,不存在則先建立目錄
            File file = new File(filePath);
            if (!file.exists())
                file.mkdirs();
            //fileName若是不包含文件後綴,則須要加上後綴,如:fileName + ".jpg";fileName + ".txt";
            os = new FileOutputStream(filePath + fileName, false);//false:覆蓋文件,true:在原有文件後追加
            // 開始讀取
            while ((len = is.read(bs)) != -1) {
                os.write(bs, 0, len);
            }

            bool = true;
            Log.info("文件保存成功:" + fileName);
        }catch (Exception e){
            e.printStackTrace();
        }finally {
            // 完畢,關閉全部連接
            if (null != os){
                try {
                    os.flush();
                    os.close();
                }catch (IOException e){
                    e.printStackTrace();
                }
            }
            if (null != is){
                try {
                    is.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return bool;
    }

    //遠程下載服務器文件
    public static boolean copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName){
        boolean bool = false;
        Connection conn = null;
        Session session = null;
        try {
            if (StringUtils.isNullOrEmpty(ip) || StringUtils.isNullOrEmpty(userName) || StringUtils.isNullOrEmpty(password) ||
                    StringUtils.isNullOrEmpty(sourceFile) || StringUtils.isNullOrEmpty(targetFile)){
                return bool;
            }
            conn = new Connection(ip,port);
            conn.connect();
            boolean isAuth = conn.authenticateWithPassword(userName,password);
            if (!isAuth){
                Log.info("算法主機鏈接失敗");
                return bool;
            }
            //執行命令
            session = conn.openSession();

            //執行命令並打印執行結果
            session.execCommand("df -h");
            InputStream staout = new StreamGobbler(session.getStdout());
            BufferedReader br = new BufferedReader(new InputStreamReader(staout));
            String line = null;
            while ((line = br.readLine()) != null){
                System.out.println(line);
            }
            br.close();

            //下載文件到本地
            SCPClient scpClient = conn.createSCPClient();
            SCPInputStream scpis = scpClient.get(sourceFile);

            //判斷指定目錄是否存在,不存在則先建立目錄
            File file = new File(targetFile);
            if (!file.exists())
                file.mkdirs();

            FileOutputStream fos = new FileOutputStream(targetFile + targetFileName);
            byte[] buffer = new byte[1024];
            int len = 0;
            while ((len = scpis.read(buffer)) != -1){
                fos.write(buffer,0,len);
            }
            fos.close();
            bool = true;
            //SFTP
            /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
            sftPClient.createFile("");
            sftPClient.close();*/
        }catch (Exception e){
            e.printStackTrace();
            Log.info(e.getMessage());
            Log.info("保存失敗:" + sourceFile);
        }finally {
            if (null != session){
                session.close();
            }
            if (null != conn) {
                conn.close();
            }
        }

        return bool;
    }


}

  第一個方法downloadFile(String urlString,String fileName,String filePath)與咱們讀寫文件沒什麼區別,咱們主要說一下遠程讀取Linux服務器文件的方法:服務器

  copyFile(String ip,int port,String userName,String password,String sourceFile,String targetFile,String targetFileName)

  能夠看到,咱們須要Linux服務器的ip、ssh開放的端口號(通常默認是22)、服務器用戶名和密碼,因此咱們要確保Linux服務器已經開放ssh鏈接,不然咱們的程序根本就連不上服務器,更不要說複製文件了。session

  其實ssh2鏈接遠程服務器,就和咱們用Xshell鏈接服務器是同樣的,不但能夠複製文件,也能夠執行Linux命令對Linux進行操做,看上面的一段代碼:ssh

//執行命令
            session = conn.openSession();

            //執行命令並打印執行結果
            session.execCommand("df -h");
            InputStream staout = new StreamGobbler(session.getStdout());
            BufferedReader br = new BufferedReader(new InputStreamReader(staout));
            String line = null;
            while ((line = br.readLine()) != null){
                System.out.println(line);
            }
            br.close();

  這段代碼與複製文件沒有關係,之因此保留就是要說明一下,咱們執行了df -h d 命令(查詢服務器磁盤使用狀況),將會獲得磁盤的具體使用狀況,與下圖效果相同。因此咱們能夠用ssh2作不少事情,有興趣的童鞋能夠多瞭解。url

 

   另外在copyFile()方法的最後有一段註釋的代碼:

//SFTP
            /*SFTPv3Client sftPClient = new SFTPv3Client(conn);
            sftPClient.createFile("files");
            sftPClient.close();*/

  咱們也能夠經過創建SFTP鏈接來遠程操做目錄和文件,好比:建立、刪除目錄,建立、刪除文件等。

  關於ssh2包的其餘功能和用法再也不引伸,有興趣的童鞋歡迎在評論區交流。

相關文章
相關標籤/搜索