golang aws-sdk-go 之 s3 服務

s3 是 aws 提供的分佈式文件服務，價格比較優惠，常常被用來做爲日誌的持久化存儲，大數據處理結果的輸入輸出等git

s3 服務提供命令行工具，能夠很方便地上傳、下載、刪除文件，普通 golang 程序若是須要訪問 s3 上文件，一種簡單方式能夠先將 s3 上文件下載到本地，而後直接訪問本地文件便可，可是這種方式須要一個額外的步驟，下載到本地，有額外的運維成本，須要額外的磁盤空間，使用上面不是很靈活，此外，微服務應該儘量地下降對本地數據的依賴，這種設計也不符合微服務的設計思想github

使用 aws-sdk-go 能夠直接訪問 s3 服務，實現文件的上傳和讀取golang

如下使用的代碼：https://github.com/hatlonely/hellogolang/blob/master/internal/aws-sdk-go/s3_test.goapi

建立會話

首先須要建立一個會話，後續的訪問均可以經過這個會話進行，若是訪問的服務須要受權，也能夠在 config 裏面指定受權文件session

sess := session.Must(session.NewSession(&aws.Config{
    Region: aws.String(endpoints.ApSoutheast1RegionID),
}))
service := s3.New(sess)

這裏必須指定 s3 桶所在的地區併發

上傳文件

fp, err := os.Open("s3_test.go")
So(err, ShouldBeNil)
defer fp.Close()

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

_, err = service.PutObjectWithContext(ctx, &s3.PutObjectInput{
    Bucket: aws.String("hatlonely"),
    Key:    aws.String("test/s3_test.go"),
    Body:   fp,
})
So(err, ShouldBeNil)

使用 PutObjectWithContext 實現文件的上傳，這裏只能實現文件的上傳，不能實現文件的寫入，因此只能先將文件寫入到本地，而後再整個上傳app

能夠經過 context 設置訪問超時時間運維

下載文件

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

out, err := service.GetObjectWithContext(ctx, &s3.GetObjectInput{
    Bucket: aws.String("hatlonely"),
    Key: aws.String("test/s3_test.go"),
})
So(err, ShouldBeNil)
defer out.Body.Close()
scanner := bufio.NewScanner(out.Body)
for scanner.Scan() {
    Println(scanner.Text())
}

使用 GetObjectWithContext 接口讀取文件，文件的內容在 out.Body 中，可使用 scanner 接口，不斷地按行讀取文件內容分佈式

最後要記得調用 out.Body.Close()，釋放資源函數

遍歷目錄

var objkeys []string

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

out, err := service.ListObjectsWithContext(ctx, &s3.ListObjectsInput{
    Bucket: aws.String("hatlonely"),
    Prefix: aws.String("test/"),
})
So(err, ShouldBeNil)
for _, content := range out.Contents  {
    objkeys = append(objkeys, aws.StringValue(content.Key))
}
Println(objkeys)

大數據通常都是併發輸出，每一個節點都會輸出一個文件，到一個指定的目錄下面，因此有時候咱們須要去獲取一個目錄下面到底有哪些文件，可使用 ListObjectsWithContext 遍歷一個目錄下全部的文件，這個函數是遞歸的

var objkeys []string

ctx, cancel := context.WithTimeout(context.Background(), time.Duration(30)*time.Second)
defer cancel()

err := service.ListObjectsPagesWithContext(ctx, &s3.ListObjectsInput{
    Bucket: aws.String("hatlonely"),
    Prefix: aws.String("test/"),
}, func(output *s3.ListObjectsOutput, b bool) bool {
    for _, content := range output.Contents {
        objkeys = append(objkeys, aws.StringValue(content.Key))
    }
    return true
})
So(err, ShouldBeNil)
Println(objkeys)

也可使用 ListObjectsPagesWithContext 傳入一個回調函數，用於處理每一個文件

參考連接

aws-sdk-go：https://github.com/aws/aws-sdk-go
aws-sdk-go api：https://docs.aws.amazon.com/sdk-for-go/api/

轉載請註明出處本文連接：http://hatlonely.github.io/2018/03/04/golang-aws-sdk-go-%E4%B9%8B-s3-%E6%9C%8D%E5%8A%A1/