Spring Boot读取AWS S3 JSON列表方法

本文档旨在指导开发者如何使用Spring Boot和AWS SDK从S3存储桶中读取包含多个JSON对象的文本文件，并将其转换为Java对象列表。文章将提供两种实现方法，一种是将S3文件读取到本地文件系统，另一种是在内存中直接处理数据，并提供详细的代码示例和配置说明。

前提条件

在开始之前，请确保您已经具备以下条件：

• 安装了Java Development Kit (JDK) 8 或更高版本。
• 安装了Maven或Gradle构建工具。
• 拥有一个有效的AWS账户，并配置了访问S3存储桶的权限。
• 熟悉Spring Boot框架的基本概念。

添加依赖

首先，需要在pom.xml文件中添加AWS SDK for Java S3的依赖。

    software.amazon.awssdk
    s3
    2.17.285

创建实体类

定义一个Java类来映射JSON对象。例如，如果S3中的文件包含以下JSON数据：

{
   "name":"rohit",
   "surname":"sharma"
}
{
   "name":"virat",
   "surname":"kohli"
}

可以创建一个名为Person的类：

public class Person {
    private String name;
    private String surname;

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    public String getSurname() {
        return surname;
    }

    public void setSurname(String surname) {
        this.surname = surname;
    }

    @Override
    public String toString() {
        return "Person{" +
                "name='" + name + '\'' +
                ", surname='" + surname + '\'' +
                '}';
    }
}

配置S3客户端

创建一个配置类来初始化S3Client。

import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Bean;
import software.amazon.awssdk.auth.credentials.AwsBasicCredentials;
import software.amazon.awssdk.auth.credentials.StaticCredentialsProvider;
import software.amazon.awssdk.regions.Region;
import software.amazon.awssdk.services.s3.S3Client;

@Configuration
public class AwsS3ClientConfig {

    @Bean
    public S3Client s3Client(){
        AwsBasicCredentials awsBasicCredentials = AwsBasicCredentials.create("ACCESS_KEY_ID", "SECRET_ACCESS_KEY");
        return S3Client
                .builder()
                .region(Region.US_EAST_1)
                .credentialsProvider(StaticCredentialsProvider.create(awsBasicCredentials))
                .build();
    }
}

注意: 将ACCESS_KEY_ID和SECRET_ACCESS_KEY替换为您的AWS凭证。 建议使用IAM角色或环境变量来管理凭证，而不是硬编码在代码中。 此外，Region.US_EAST_1也需要替换成你实际使用的AWS区域。

实现S3读取服务 (V1 - 读取到本地文件)

以下代码演示了如何从S3读取文件，将其保存到本地文件系统，然后将文件内容转换为Person对象列表。

import org.springframework.stereotype.Service;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import org.springframework.beans.factory.annotation.Autowired;
import com.fasterxml.jackson.databind.ObjectMapper;

import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.ArrayList;
import java.util.List;

@Service
public class AwsS3Service {

    private final S3Client s3Client;

    @Autowired
    public AwsS3Service(S3Client s3Client) {
        this.s3Client = s3Client;
    }


    public List readFileAndCreateList(String bucketName, String keyName) throws IOException {
        final Path file = readFile(bucketName, keyName);
        return convertFileToList(file);
    }

    private Path readFile(String bucketName, String keyName) throws IOException {
        GetObjectRequest getObjectRequest = GetObjectRequest
                .builder()
                .bucket(bucketName)
                .key(keyName)
                .build();

        final byte[] bytes = s3Client
                .getObject(getObjectRequest)
                .readAllBytes();
        final Path path = Paths.get("demo.txt");
        Files.write(path, bytes);
        return path;
    }

    private List convertFileToList(Path path) throws IOException {
        final List lines = Files.readAllLines(path);
        StringBuilder json = new StringBuilder();
        List persons=new ArrayList<>();
        for (String line : lines) {
            if ("{".equals(line)) {
                json = new StringBuilder("{");
            } else if ("}".equals(line)) {
                json.append("}");
               persons.add(new ObjectMapper()
                        .readValue(json.toString(), Person.class));
            } else {
                json.append(line.trim());
            }
        }
        return persons;
    }
}

实现S3读取服务 (V2 - 内存处理)

以下代码演示了如何直接从S3读取文件内容到内存中，然后将文件内容转换为Person对象列表，避免了本地文件系统的IO操作。

import org.springframework.stereotype.Service;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.GetObjectRequest;
import org.springframework.beans.factory.annotation.Autowired;
import com.fasterxml.jackson.databind.ObjectMapper;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.io.ByteArrayOutputStream;
import java.io.ByteArrayInputStream;
import java.io.InputStreamReader;
import java.io.BufferedReader;

@Service
public class AwsS3Service {

    private final S3Client s3Client;

    @Autowired
    public AwsS3Service(S3Client s3Client) {
        this.s3Client = s3Client;
    }


    public List readFileAndCreateObjectList(String bucketName, String keyName) throws IOException {
        final List lines = readFile(bucketName, keyName);
        return convertFileLinesToObjectList(lines);
    }

    private List readFile(String bucketName, String keyName) throws IOException {
        GetObjectRequest getObjectRequest = GetObjectRequest
                .builder()
                .bucket(bucketName)
                .key(keyName)
                .build();

        byte[] bytes;
        try (ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream()) {
            s3Client
                    .getObject(getObjectRequest)
                    .transferTo(byteArrayOutputStream);
            bytes = byteArrayOutputStream.toByteArray();
        }

        List lines=new ArrayList<>();
        try(ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
            InputStreamReader inputStreamReader = new InputStreamReader(byteArrayInputStream);
            BufferedReader bufferedReader=new BufferedReader(inputStreamReader)){
           while (bufferedReader.ready()){
              lines.add(bufferedReader.readLine());
           }
        }
        return lines;
    }

    private List convertFileLinesToObjectList(List lines) throws IOException {
        StringBuilder json = new StringBuilder();
        List persons = new ArrayList<>();
        for (String line : lines) {
            if ("{".equals(line)) {
                json = new StringBuilder("{");
            } else if ("}".equals(line)) {
                json.append("}");
                persons.add(new ObjectMapper()
                        .readValue(json.toString(), Person.class));
            } else {
                json.append(line.trim());
            }
        }
        return persons;
    }
}

使用示例

创建一个Spring Boot Application类，并注入AwsS3Service，然后调用相应的方法。

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.CommandLineRunner;
import org.springframework.beans.factory.annotation.Autowired;

import java.util.List;

@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

    private final AwsS3Service awsS3Service;

    @Autowired
    public DemoApplication(AwsS3Service awsS3Service) {
        this.awsS3Service = awsS3Service;
    }

    public static void main(String[] args) {
        SpringApplication.run(DemoApplication.class);
    }

    @Override
    public void run(String... args) throws Exception {
        //KEY_NAME==filename.txt
        final List peoples =
                awsS3Service
                        .readFileAndCreateList("BUCKET_NAME", "KEY_NAME");
        System.out.println(peoples);
    }
}

注意: 将BUCKET_NAME和KEY_NAME替换为您的S3存储桶名称和对象键名。

运行结果

如果一切配置正确，运行Spring Boot应用程序，您将在控制台中看到从S3读取并转换为Person对象的列表。

[Person{name='rohit', surname='sharma'}, Person{name='virat', surname='kohli'}]

注意事项

• 异常处理: 在实际应用中，应该添加适当的异常处理机制，例如处理S3连接错误、文件不存在等情况。
• 性能优化: 对于大型文件，可以考虑使用分页读取或异步处理来提高性能。
• 安全性: 务必妥善保管AWS凭证，避免泄露。
• JSON解析: 这里使用了ObjectMapper进行JSON解析，可以根据实际情况选择其他JSON库，例如Gson。
• 文件格式: 代码假设S3中的文件每行都是一个完整的JSON对象。如果文件格式不同，需要相应地修改解析逻辑。

总结

本文档介绍了如何使用Spring Boot和AWS SDK从S3存储桶中读取JSON对象列表的两种方法。您可以根据实际需求选择适合的实现方式。希望本文档能够帮助您更好地理解和应用Spring Boot与AWS S3集成。