mysql中批量插入数据(1万、10万、100万、1000万、1亿级别)

IT行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习，精进自己的技术，尤其是初学者。今天golang学习网给大家整理了《mysql中批量插入数据(1万、10万、100万、1000万、1亿级别)》，聊聊mysql批量插入，我们一起来看看吧！

硬件：windows7+8G内存+i3-4170处理器+4核CPU

首先贴上数据库的操作类BaseDao：

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.List;
 
import com.lk.entity.TUser;
 
public class BaseDao {
    private static ConfigManager cm = ConfigManager.getInstance();
 
    private static String Driver = null;
    private static String URL = null;
    private static String USER = null;
    private static String PWD = null;
 
    private static Connection conn = null;
    private static PreparedStatement psmt = null;
    public ResultSet rs = null;
    public int row = 0;
 
    static {
        Driver = cm.getString("DRIVER");
        URL = cm.getString("URL");
        USER = cm.getString("USER");
        PWD = cm.getString("PWD");
        try {
            Class.forName(Driver);
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        getConnection();
        try {
            conn.setAutoCommit(false);
            psmt = conn.prepareStatement("");
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
 
    private static Connection getConnection() {
        try {
            conn = DriverManager.getConnection(URL, USER, PWD);
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return conn;
    }
 
    /**
     * 多条记录插入操作
     * flag是为了判断是否是插入的最后一个记录
     */
    public boolean affectRowMore(String sql, List list, long flag) {
        try {
            psmt = conn.prepareStatement(sql);
            for (TUser tUser : list) {
                psmt.setLong(1, tUser.getId());
                psmt.setString(2, tUser.getName());
                psmt.setInt(3, tUser.getSex());
                psmt.setString(4, tUser.getPhone());
                psmt.setString(5, tUser.getPassword());
                // 添加执行sql
                psmt.addBatch();
            }
            // 执行操作
            int[] counts = psmt.executeBatch(); // 执行Batch中的全部语句
            conn.commit(); // 提交到数据库
            for (int i : counts) {
                if (i == 0) {
                    conn.rollback();
                }
            }
            closeAll(flag);
        } catch (SQLException e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    /**
     * 多条记录插入操作
     */
    public boolean affectRowMore1(String sql, long flag) {
        try {
            psmt.addBatch(sql);
            // 执行操作
            int[] counts = psmt.executeBatch(); // 执行Batch中的全部语句
            conn.commit(); // 提交到数据库
            for (int i : counts) {
                if (i == 0) {
                    conn.rollback();
                    return false;
                }
            }
            closeAll(flag);
        } catch (SQLException e) {
            e.printStackTrace();
            return false;
        }
        return true;
    }
 
    public void closeAll(long flag) {
        try {
            if (conn != null && flag == -1) {
                // 在完成批量操作后恢复默认的自动提交方式，提高程序的可扩展性
                conn.setAutoCommit(true);
                conn.close();
            }
            if (psmt != null && flag == -1) {
                psmt.close();
            }
            if (rs != null) {
                rs.close();
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

方法一:

通过BaseDao中的affectRowMore方法进行插入，插入的速度如下所示：

     * 一万条数据(通过多条添加)
     * 生成1万条数据共花费978毫秒
     * 生成10万条数据共花费5826毫秒
     * 生成100万条数据共花费54929毫秒
     * 生成1000万条数据共花费548640毫秒
     * 生成1亿条数据(因为数字过大，没有计算)

public void insertBenchMark() {
        long start = System.currentTimeMillis();
        List list = new ArrayList();
        long row = 1;
        for (int j = 0; j  list,long flag) {
        String sql = "insert into tuser(id,name,sex,phone,password) values(?,?,?,?,?)";
        return affectRowMore(sql,list,flag);
    }

方法二：

通过BaseDao中的affectRowMore1方法进行数据的插入操作，插入的速度如下：

     * 通过拼接语句实现多条添加
     * 生成1万条数据共花费225毫秒
     * 生成10万条数据共花费1586毫秒
     * 生成100万条数据共花费14017毫秒
     * 生成1000万条数据共花费152127毫秒
     * 生成1亿条数据(因为数字过大，没有计算)

public void insertBenchMark1() {
        long start = System.currentTimeMillis();
        StringBuffer suffix = new StringBuffer();
        long row = 1;
        for (int j = 0; j 
总结：
方法一和方法二很类同，唯一不同的是方法一采用的是“insert into tb (...) values (...);insert into tb (...) values (...);...”的方式执行插入操作，方法二则是“insert into tb (...) values(...),(...)...;”的方式。
通过测试的对比，方法二比方法一快了近5倍。
终于介绍完啦！小伙伴们，这篇关于《mysql中批量插入数据(1万、10万、100万、1000万、1亿级别)》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布数据库相关知识，快来关注吧！