你还在逐条插入？：掌握MyBatis批量ON DUPLICATE技术，提升插入效率20倍以上

第一章：MyBatis批量插入ON DUPLICATE技术概述

核心优势

• 避免因主键或唯一索引冲突导致的插入失败
• 减少数据库往返次数，提升批量写入效率
• 支持对重复记录进行字段更新，灵活控制业务逻辑

SQL语法结构示例

INSERT INTO user_info (id, name, email, age) 
VALUES 
  (1, 'Alice', 'alice@example.com', 25),
  (2, 'Bob', 'bob@example.com', 30)
ON DUPLICATE KEY UPDATE 
  name = VALUES(name),
  email = VALUES(email),
  age = VALUES(age);

MyBatis 批量插入配置要点

第二章：批量插入性能瓶颈与解决方案

2.1 单条插入的性能缺陷与数据库压力分析

典型低效插入示例

-- 逐条执行，每次触发一次Round-Trip
INSERT INTO users (name, email) VALUES ('Alice', 'alice@example.com');
INSERT INTO users (name, email) VALUES ('Bob', 'bob@example.com');

性能瓶颈分析

• 频繁的上下文切换消耗CPU资源
• 日志刷盘（fsync）成为主要延迟来源
• 索引更新带来额外B+树调整开销

压力对比数据

2.2 批量插入的基本原理与MyBatis实现方式

MyBatis中的实现方式

<insert id="batchInsert">
  INSERT INTO user (name, age) VALUES
  <foreach collection="list" item="item" separator=",">
    (#{item.name}, #{item.age})
  </foreach>
</insert>

执行器模式优化

2.3 ON DUPLICATE KEY UPDATE语义解析与适用场景

语义机制解析

INSERT INTO users (id, name, login_count) 
VALUES (1, 'Alice', 1) 
ON DUPLICATE KEY UPDATE 
login_count = login_count + 1, 
name = VALUES(name);

典型应用场景

• 统计计数器的原子性更新，如页面浏览量累加
• 缓存数据与数据库的最终一致性同步
• 避免先查后插引发的竞争条件

2.4 MyBatis中使用foreach进行批量插入的实践优化

基本语法结构

<insert id="batchInsert">
  INSERT INTO user (name, age) VALUES
  <foreach collection="list" item="item" separator=",">
    (#{item.name}, #{item.age})
  </foreach>
</insert>

性能优化建议

• 控制单次批量数量，避免SQL过长导致数据库解析瓶颈，建议每批500~1000条；
• 结合rewriteBatchedStatements=true的JDBC参数，启用MySQL批处理重写机制，可提升插入效率3倍以上。

2.5 结合ON DUPLICATE提升数据一致性与效率的策略

核心机制解析

INSERT INTO user_stats (user_id, login_count, last_login)
VALUES (1001, 1, NOW())
ON DUPLICATE KEY UPDATE
login_count = login_count + 1,
last_login = NOW();

性能与一致性优势

• 减少网络往返：合并“读-判-写”为单条指令
• 保证原子性：避免应用层逻辑引发的数据覆盖问题
• 降低锁竞争：减少行锁持有时间，提升并发吞吐

第三章：核心技术实现与配置详解

3.1 数据库表结构设计与唯一索引的重要性

唯一索引防止数据重复

CREATE TABLE users (
  id BIGINT PRIMARY KEY AUTO_INCREMENT,
  email VARCHAR(255) NOT NULL,
  created_at DATETIME DEFAULT CURRENT_TIMESTAMP,
  UNIQUE INDEX idx_email_unique (email)
);

索引提升查询性能

• 唯一索引同时具备普通索引的查询加速能力
• 在高频检索字段（如用户名、手机号）上建立唯一索引，显著降低查询时间复杂度
• 复合唯一索引适用于多字段联合约束场景

3.2 MyBatis映射文件中insert语句的编写技巧

基本insert语法结构

<insert id="insertUser" parameterType="User">
  INSERT INTO users (name, email) 
  VALUES (#{name}, #{email})
</insert>

自动生成主键处理

<insert id="insertUser" 
         parameterType="User" 
         useGeneratedKeys="true" 
         keyProperty="id">
  INSERT INTO users (name, email) 
  VALUES (#{name}, #{email})
</insert>

• 避免硬编码表名与字段，提升可维护性
• 结合<selectKey>处理不支持自增的数据库
• 使用trim或choose等动态SQL增强灵活性

3.3 参数封装与List批量传参的最佳实践

参数封装设计原则

type BatchUpdateRequest struct {
    UserID   int64    `json:"user_id"`
    ItemIDs  []int64  `json:"item_ids"` // 批量传参核心字段
    Status   string   `json:"status"`
}

MyBatis 中的批量处理示例

<select id="selectByIds" parameterType="list" resultType="User">
    SELECT * FROM user WHERE id IN
    <foreach item="id" index="index" collection="list" open="(" separator="," close=")">
        #{id}
    </foreach>
</select>

第四章：性能对比与实战优化案例

4.1 普通插入 vs 批量ON DUPLICATE插入性能测试

测试SQL示例

-- 普通插入（逐条执行）
INSERT INTO user_log (uid, action) VALUES (1001, 'login');

-- 批量插入（含冲突处理）
INSERT INTO user_log (uid, action) VALUES 
(1001, 'login'), 
(1002, 'view')
ON DUPLICATE KEY UPDATE action = VALUES(action);

性能对比结果

4.2 大数据量下的内存与事务控制调优

内存调优关键参数

• innodb_buffer_pool_size：应设置为物理内存的70%-80%，用于缓存数据和索引；
• sort_buffer_size 和 join_buffer_size：避免过大导致线程内存浪费。

事务批量提交优化

SET autocommit = 0;
START TRANSACTION;
-- 批量插入1000条记录
INSERT INTO large_table (id, data) VALUES (1, 'a'), (2, 'b'), ...;
COMMIT;
SET autocommit = 1;

连接与缓冲区管理

4.3 实际业务场景中的异常处理与重试机制

重试策略设计

Go语言实现指数退回避重试

func retryWithBackoff(operation func() error, maxRetries int) error {
    for i := 0; i < maxRetries; i++ {
        err := operation()
        if err == nil {
            return nil
        }
        backoff := time.Second * time.Duration(1<

SqlSession batchSqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {
    UserMapper mapper = batchSqlSession.getMapper(UserMapper.class);
    for (int i = 0; i < 1000; i++) {
        User user = new User("User" + i);
        mapper.insertUser(user); // 操作被缓存，未立即执行
    }
    batchSqlSession.commit(); // 批量提交所有变更
} finally {
    batchSqlSession.close();
}

// 示例：带过期机制的本地缓存封装
type LocalCache struct {
    data sync.Map
}

func (c *LocalCache) Set(key string, value interface{}) {
    c.data.Store(key, struct {
        val      interface{}
        expireAt int64
    }{value, time.Now().Add(5 * time.Minute).Unix()})
}