SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？

哈喽！今天心血来潮给大家带来了《SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？》，想必大家应该对数据库都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习数据库，千万别错过这篇文章~希望能帮助到你！

springboot + mybatis + mysql 批量新增数据避免 oom

在批量插入大量数据到 mysql 数据库时，很容易出现 oom（outofmemory）错误。为了避免这种情况，可以采取以下策略：

首先，对传进来的数据进行细分处理。例如，每 1w 条数据插入一次。这可以显着减少一次性加载到内存中的数据量。

其次，优化代码。在给出的代码中，可以对temp 变量的处理进行简化：

for (int i = 0; i < max; i += count) {
    list list1 = list.sublist(i, math.min(i + count, max));
    usermapper.insert(list1);
}

另外，更好的处理方法是使用分批保存策略，即将数据分批存储在临时表中，然后将临时表的数据批量导入到目标表。这种方法可以有效地避免 oom 错误，并且效率更高。

具体实现方法如下：

// 创建临时表
CREATE TABLE tmp_user (
    id INT NOT NULL,
    name VARCHAR(255) NOT NULL
);

// 批量插入数据到临时表
List idList = new ArrayList<>();
List nameList = new ArrayList<>();
for (User user : list) {
    idList.add(user.getId());
    nameList.add(user.getName());
}
String sql = "INSERT INTO tmp_user (id, name) VALUES (?, ?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
    @Override
    public void setValues(PreparedStatement ps, int i) throws SQLException {
        ps.setInt(1, idList.get(i));
        ps.setString(2, nameList.get(i));
    }

    @Override
    public int getBatchSize() {
        return idList.size();
    }
});

// 将临时表数据导入目标表
sql = "INSERT INTO user (id, name) SELECT id, name FROM tmp_user";
jdbcTemplate.execute(sql);

// 删除临时表
DROP TABLE tmp_user;

通过使用分批保存策略，可以有效地避免 oom 错误，并且提高批量插入数据的效率。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《SpringBoot + Mybatis + MySQL 批量新增数据如何避免 OOM？》文章吧，也可关注golang学习网公众号了解相关技术文章。