高效批量执行PreparedStatement并捕获失败记录方法

本文详解如何正确使用 JDBC 批量操作处理动态 SQL 插入场景，避免因重复创建 PreparedStatement 导致批处理失效，并提供带错误捕获的健壮批量执行方案。

本文详解如何正确使用 JDBC 批量操作处理动态 SQL 插入场景，避免因重复创建 PreparedStatement 导致批处理失效，并提供带错误捕获的健壮批量执行方案。

在实际数据迁移或 ETL 场景中，常需将一个 ResultSet 的多行数据动态插入到目标表（如跨库同步）。此时若为每行数据单独创建 PreparedStatement 并调用 addBatch()，会因每次新建 Statement 而导致前序批次丢失——关键误区在于：addBatch() 只对同一 PreparedStatement 实例生效，不同实例之间批次互不关联。

正确的做法是：复用同一个 PreparedStatement 实例，仅动态重置参数值，再反复调用 addBatch()。而非为每行创建新 PreparedStatement 并试图“合并多个 Statement 的批次”——JDBC 规范不支持跨 Statement 批量执行。

以下是优化后的完整实现方案：

// ✅ 正确：复用单个 PreparedStatement，动态设参 + 批量提交
String insertSql = "INSERT INTO " + targetTableName + 
    "(" + String.join(", ", columns) + ") VALUES (" + 
    String.join(", ", Collections.nCopies(columns.size(), "?")) + ")";

try (PreparedStatement ps = connection.prepareStatement(insertSql)) {
    int batchSize = 0;
    List failedIndices = new ArrayList<>(); // 记录失败行号（从1开始）

    rs.beforeFirst(); // 重置游标以便重新遍历
    while (rs.next()) {
        // 清空上一行参数（可选，但推荐显式重置）
        for (int i = 1; i <= columns.size(); i++) {
            ps.setNull(i, Types.OTHER); // 或根据类型设默认值
        }

        // 动态设置当前行各列值
        for (int i = 0; i < columns.size(); i++) {
            String colName = columns.get(i);
            Object value = rs.getObject(colName);
            // 推荐使用 setObject(int, Object, int) 显式指定 SQL 类型以避免推断错误
            ps.setObject(i + 1, value, getSqlType(rs, colName)); 
        }

        ps.addBatch();
        batchSize++;

        // 每 1000 行执行一次批处理（防内存溢出 & 提升性能）
        if (batchSize % 1000 == 0) {
            try {
                int[] results = ps.executeBatch();
                // results[i] == Statement.SUCCESS_NO_INFO 表示成功，< 0 表示失败（部分驱动支持）
                for (int i = 0; i < results.length; i++) {
                    if (results[i] == Statement.EXECUTE_FAILED) {
                        failedIndices.add(batchSize - results.length + i + 1);
                    }
                }
            } catch (BatchUpdateException e) {
                // 捕获批量异常，获取具体失败位置（需驱动支持）
                int[] updateCounts = e.getUpdateCounts();
                for (int i = 0; i < updateCounts.length; i++) {
                    if (updateCounts[i] == Statement.EXECUTE_FAILED) {
                        failedIndices.add(batchSize - updateCounts.length + i + 1);
                    }
                }
                // 注意：此处不应直接抛出，应继续处理后续批次
                System.err.println("Batch execution failed at position: " + failedIndices);
            }
        }
    }

    // 执行剩余未提交的批次
    if (batchSize % 1000 != 0) {
        try {
            ps.executeBatch();
        } catch (BatchUpdateException e) {
            int[] counts = e.getUpdateCounts();
            for (int i = 0; i < counts.length; i++) {
                if (counts[i] == Statement.EXECUTE_FAILED) {
                    failedIndices.add(batchSize - counts.length + i + 1);
                }
            }
        }
    }

    System.out.println("Total inserted: " + batchSize + 
                       ", Failed records: " + failedIndices.size() + 
                       " at positions: " + failedIndices);
}

? 关键注意事项：

• 禁止为每行创建新 PreparedStatement：你原代码中 list.add(rs2) 后无法“合并批次”，因为 executeBatch() 是实例方法，必须在同一个对象上调用。
• 动态 SQL 安全性：tablename 和 columns 来自元数据时，务必校验其合法性（如正则过滤 [a-zA-Z0-9_]+），防止 SQL 注入。
• 类型映射可靠性：rs.getObject(colName) 返回的 Java 类型可能与目标字段不匹配，建议通过 rs.getMetaData().getColumnType(i) 获取 java.sql.Types 常量，并调用 ps.setObject(pos, obj, sqlType) 显式指定。
• 事务控制：整个批量操作应在同一事务中完成，执行前 connection.setAutoCommit(false)，成功后 commit()，失败则 rollback()。
• 资源管理：使用 try-with-resources 确保 PreparedStatement 和 ResultSet 自动关闭。

✅ 总结：高性能批量插入的核心是「单 Statement + 多次 setObject + addBatch + 分段 executeBatch」，辅以异常捕获与事务保障。切勿陷入“收集多个 PreparedStatement 再统一执行”的误区——这既不符合 JDBC 设计，也无法真正提升效率。