如何在 Java 中直接将数据流式上传至 AWS S3（无需本地临时文件）

如何在 Ja va 中直接将数据流式上传至 AWS S3（无需本地临时文件）

本文介绍如何使用 aws sdk for ja va v2 将数据库查询结果等内存数据直接上传至 s3 存储桶，避免创建本地临时文件，提升大规模文件处理的性能与可靠性。

处理数据上传时，你是否也遇到过这样的困扰？尤其是在 Spring Boot 这类应用里，经常需要把从数据库动态拉取的数据——比如一个 List>——转换成 JSON 或 CSV 格式，然后存到 S3。传统做法是先把数据序列化成一个本地文件，再把这个文件传上去。听起来简单，但问题随之而来：这不仅白白消耗了磁盘 I/O 和存储空间，一旦遇到高并发或者海量小文件的场景，磁盘瓶颈甚至内存溢出（OOM）的风险就会急剧升高。

那么，有没有更优雅的解决方案？答案是肯定的：绕过文件系统，直接利用内存中的字节数组或者输入流进行上传。AWS SDK for Ja va V2 提供了一个非常轻量、高效且线程安全的 RequestBody 抽象层。它支持从 byte[]、InputStream、ByteBuffer 等多种数据源直接构建请求体，从而完美避开了本地文件落盘这一步。

✅ 正确实现（基于 SDK v2）

下面这个上传方法示例，可以直接用于生产环境。它能将任意数据序列化后，无缝上传至 S3。

import software.amazon.awssdk.core.RequestBody;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Exception;
import com.fasterxml.jackson.databind.ObjectMapper;

private final S3Client s3Client;
private final ObjectMapper objectMapper = new ObjectMapper(); // 用于 JSON 序列化

public void uploadJsonDataToS3(List> jsonData,
                               String bucketName,
                               String folderName,
                               String fileName) throws Exception {
    // 1. 内存中序列化为 JSON 字节数组（不写磁盘）
    byte[] jsonBytes = objectMapper.writeValueAsBytes(jsonData);

    // 2. 构建 S3 对象路径（如：reports/2024-06/data.json）
    String objectKey = String.format("%s/%s", folderName.trim().replaceAll("/+$", ""), fileName);

    // 3. 直接上传字节数组
    try {
        s3Client.putObject(
            PutObjectRequest.builder()
                .bucket(bucketName)
                .key(objectKey)
                .contentType("application/json")
                .build(),
            RequestBody.fromBytes(jsonBytes)
        );
        System.out.println("✅ Uploaded to s3://" + bucketName + "/" + objectKey);
    } catch (S3Exception e) {
        throw new RuntimeException("Failed to upload to S3: " + e.getMessage(), e);
    }
}

⚠️ 关键注意事项

• 内存控制：writeValueAsBytes() 会把整个数据集一次性加载到堆内存里。如果单次处理的数据量超过 10 到 50 MB，建议改用 RequestBody.fromInputStream() 配合 Jackson 的 JsonGenerator 进行流式序列化（例如使用 ObjectWriter.writeValues()），这样可以有效避免给垃圾回收（GC）带来过大压力。
• 编码与 ContentType：显式设置 .contentType(...) 至关重要，它能确保 S3 控制台以及下游服务（比如 Athena、Lambda）能够正确识别文件类型。对于中文等字符，需要确认 ObjectMapper 使用的是 UTF-8 编码（默认已启用）。
• 异常处理：S3Exception 是 SDK v2 的核心异常类型，务必捕获并做好重试或告警处理。为了增强系统的健壮性，建议结合重试策略（例如 RetryMode.STANDARD）一起使用。
• 依赖声明（Ma ven）：

  
      software.amazon.awssdk
      s3
      2.21.30 
  
  
      com.fasterxml.jackson.core
      jackson-databind
  

✅ 进阶建议（超大数据场景）

• 对于需要分块生成数据的场景，可以使用 RequestBody.fromInputStream(() -> new ByteArrayInputStream(...)) 或者自定义 InputStream 实现；
• 如果文件体积巨大（例如超过 5GB），可以结合 TransferManager（在 v2 中是 S3TransferManager）来进行分段上传；
• 在 Spring Boot 应用中，可以将 S3Client 声明为 @Bean，并启用连接池与超时配置，这能显著提升客户端的复用率和整体稳定性。

采用上述方式，你不仅能彻底摆脱对本地磁盘的依赖，还能在吞吐量和运维简易度上获得显著提升——这无疑是向“数据即上传”的云原生最佳实践迈出的关键一步。