当前位置:首页 > 文章列表 > 文章 > java教程 > Java JDBC 批量提交 怎样处理

Java JDBC 批量提交 怎样处理

来源:17golang原创 2026-10-22 08:18:53 0浏览 收藏

Java JDBC 批量提交 怎样处理

JDBC 批量提交要把两个边界分开:executeBatch 负责执行已加入批次的语句,commit 负责完成事务。想让一组导入数据共同成功或失败,应在独占连接上关闭自动提交,分块执行批次,全部完成后再提交;失败时回滚,而不是把“批次执行完”当成“数据已持久提交”。

官方 API 入口:https://docs.oracle.com/en/java/javase/26/docs/api/java.sql/java/sql/Connection.html。本文沿用常规 JDBC API,不涉及框架托管事务,也不声称下面的示例已经连接数据库或完成性能测试。

导入分成十批,不一定要提交十次

假设一个标签导入任务,需要写入一组编号与名称,要求本次数据共同完成。为了控制驱动积累的参数数量,可以每 200 条执行一次批次,但仍把所有批次放在同一个事务内。200 只是示例参数,和业务的原子性要求没有必然关系。

旧写法的问题通常不是缺少 addBatch,而是没有明确谁管理连接和事务。有的代码保持自动提交,有的代码每执行一块就提交,还有的代码在服务层异常后直接重跑整组。这些方案的失败含义不同,不能都叫“批量提交”而忽略区别。

本文给出的规则是一种应用选择:分块执行,但只在最后提交一次。它不是 JDBC 新版本修改了语义,也不表示所有大任务都适合一个长事务。

先确认连接归属和数据库前提

示例假定已有事务型表 import_label,包含唯一的 item_id 与 label_text 两列;列类型与长度由目标数据库建表规范确定。输入数据已经完成权限及业务格式检查,DataSource 已按目标驱动配置。本文不提供通用建表脚本,避免把不同数据库的 DDL 和事务行为混在一起。

连接必须由本次方法独占,不能传入 Spring、JTA 或外层业务已经管理的事务。若已有事务管理器,应由它决定提交和回滚,底层方法只处理批次执行,不能在内部偷偷 commit。

还要核对驱动支持批处理、表具备所需事务语义,以及触发器或外部副作用是否也处于业务可恢复范围。数据库回滚不负责撤回已经发出的网络通知。

分块执行,把提交留到最后

下面是可放入独立类中的原创方法。它不保留整批 SQL 字符串,而是绑定参数;每批执行后清理批次,尾部不足一批的数据也会执行。该方法没有自动重试。

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.List;
import javax.sql.DataSource;

public final class LabelBatchWriter {
    public record Row(long itemId, String label) {}

    public static void write(DataSource source, List rows, int batchSize)
            throws SQLException {
        // 入参先检查,避免进入事务后才发现配置错误
        if (source == null || rows == null || batchSize  0) {
                        statement.executeBatch();
                        statement.clearBatch();
                    }
                }

                commitAttempted = true;
                connection.commit();
            } catch (SQLException | RuntimeException | Error failure) {
                // 回滚属于尽力处理;保留失败线索,不能覆盖原始异常
                try {
                    connection.rollback();
                } catch (SQLException rollbackFailure) {
                    failure.addSuppressed(rollbackFailure);
                }
                if (commitAttempted) {
                    // 提交期间失败时不能宣称数据库一定没有提交
                    throw new SQLException("commit outcome requires reconciliation", failure);
                }
                throw failure;
            }
            // 不在失败路径切回自动提交;连接交还由DataSource规范清理
        }
    }
}

调用方传入已配置的 DataSource 和 Row 列表,例如选择 200 作为起始批大小。示例不包含账户密码,也没有读取真实业务输入。正常返回表示这次 commit 已返回成功且资源关闭没有报错;但方法抛异常不必然表示数据未提交,尤其需要区分提交与后续连接关闭阶段。

连接池必须能在归还时正确清理事务和状态,对失效连接按驱动及池的规则淘汰。不要把这段代码理解成可以忽略连接池行为的完整连接治理方案。若 rollback 失败,更不能手动切回 autoCommit=true 后继续复用同一个连接。

连接事务、预编译语句、批次缓冲与提交的静态边界
静态结构图:批次控制一次执行的数据规模,连接事务控制最终提交范围。

BatchUpdateException 的计数不是提交证明

批更新失败时,驱动可能在错误处停止,也可能继续处理剩余命令。BatchUpdateException 的更新计数需要按驱动行为解释,不能只看数组长度就断定哪些数据已经永久写入。

Statement 定义了 SUCCESS_NO_INFO,表示语句执行成功但没有具体影响行数;EXECUTE_FAILED 表示批中执行失败。它们不是普通行数,不能简单把整个数组相加,也不该把所有负数都判为同一种错误。

本例采用任意执行异常即尝试回滚整组的策略,因此不根据局部更新计数接着提交剩余数据。若业务希望跳过坏行,应另行设计任务结果与事务边界,不能只在 catch 中打印异常后继续 commit。

提交时断线,为什么不能直接重跑?

executeBatch 在事务中执行成功,与 commit 期间客户端收到成功确认是两件事。提交阶段连接中断时,数据库可能已经完成提交,而客户端没有收到结果;此时再次 rollback 的调用也不能证明原提交没有发生。

建议为导入任务设计可追踪的业务请求标识、唯一约束和对账状态,并在结果未知时进入核对流程。唯一键只是防重复的一部分,不能自动决定重复记录内容不同、局部冲突或任务状态该怎样处理。

连接关闭报错也要结合提交阶段记录判断。不能把任何 SQLException 都当作“整组已回滚”,更不能把所有异常都接入无条件自动重试。日志应保留任务标识、批次位置、异常分类和回滚异常,不应打印完整敏感输入或数据库凭据。

执行异常、回滚、提交尝试与业务对账的静态关系
静态结构图:执行失败与提交结果未知需要不同处理,更新计数不代替事务结论。

什么时候才应该每块提交?

如果任务规模使一个长事务带来不可接受的锁持有、日志或回滚压力,可以考虑分块提交,但这会改变业务语义:前面已提交的块不会因为后面失败而整体撤销。需要记录完成位置,并让恢复逻辑知道哪些块已经确认,而不是把它称为同一个原子事务。

设计执行边界失败后的含义
分块执行、最后提交多个批次共用一个事务提交前失败尝试整组回滚
每块分别提交每块独立事务已提交块仍然保留
提交阶段结果未知无法仅凭客户端异常判断先核对业务状态,不盲目重试

executeBatch 是否会自动完成事务?不能把它当作显式 commit 的替代。批次越大是否越快?需要用目标驱动、数据规模和数据库负载测量,没有通用最佳值。能否在事务管理框架中照抄整个方法?不应照抄连接生命周期,应遵守框架的事务归属。

采用前先确定原子性要求,再选批大小;随后明确异常路径、连接清理和对账方式。只有这些边界都清楚,批量执行才是可维护的数据写入方式,而不只是把循环里的 SQL 换成另一个方法。

参考:JDBC Connection 事务接口、Statement 批处理与计数、BatchUpdateException 驱动差异。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Java Transactional 自调用 怎样处理Java Transactional 自调用 怎样处理
上一篇
Java Transactional 自调用 怎样处理
Java Spring 配置绑定失败 怎样处理
下一篇
Java Spring 配置绑定失败 怎样处理
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    586次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    622次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    656次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    623次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    438次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码