在Go中并发处理大量文件并上传到S3

package main

import (
    "fmt"
    "io/ioutil"
    "os"
    "path/filepath"
    "sync"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3"
)

func main() {
    // 设置AWS配置
    sess := session.Must(session.NewSession(&aws.Config{
        Region: aws.String("your-region"),
        // 其他配置项...
    }))

    // 创建S3客户端
    svc := s3.New(sess)

    // 遍历指定目录下的所有文件
    files := make(chan string)
    var wg sync.WaitGroup
    err := filepath.Walk("your-directory", func(path string, info os.FileInfo, err error) error {
        if !info.IsDir() {
            files <- path
        }
        return nil
    })
    if err != nil {
        fmt.Println("遍历文件失败:", err)
        return
    }
    close(files)

    // 并发处理文件并上传到S3
    for file := range files {
        wg.Add(1)
        go func(file string) {
            defer wg.Done()

            // 读取文件内容
            data, err := ioutil.ReadFile(file)
            if err != nil {
                fmt.Printf("读取文件失败：%s，错误：%v\n", file, err)
                return
            }

            // 上传文件到S3
            _, err = svc.PutObject(&s3.PutObjectInput{
                Bucket: aws.String("your-bucket"),
                Key:    aws.String(filepath.Base(file)),
                Body:   aws.ReadSeekCloser(data),
            })
            if err != nil {
                fmt.Printf("上传文件失败：%s，错误：%v\n", file, err)
                return
            }

            fmt.Printf("文件上传成功：%s\n", file)
        }(file)
    }

    // 等待所有goroutine完成任务
    wg.Wait()

    fmt.Println("所有文件上传完成")
}