【JAVA開發平常問題】2、使用SpringBoot實現MYSQL批量插入

1、需求背景

SpringBoot沒有提供封裝好的批量插入的方法，因此本身網上了找了些資料關於批量插入的，不太理想，想要實現SQL語句的批量插入，而不是每條每條插入。

2、解決方案

1. 配置JPA的批量插入參數，使用JPA提供的方法saveAll保存，打印SQL發現實際仍是單條SQL的插入。

spring.jpa.properties.hibernate.jdbc.batch_size=500
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates =true

2. 使用JdbcTemplate的方法構造SQL語句，實現批量插入。

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jdbc.core.namedparam.NamedParameterJdbcTemplate;
import org.springframework.jdbc.core.namedparam.SqlParameterSource;
import org.springframework.jdbc.core.namedparam.SqlParameterSourceUtils;
import org.springframework.stereotype.Service;

import java.util.List;

/**
 * @author Marion
 * @date 2020/8/13
 */
@Service
public class JdbcService {

    @Autowired
    private NamedParameterJdbcTemplate namedParameterJdbcTemplate;

    public <T> void saveMsgItemList(List<T> list) {
        // 這裏注意VALUES要用實體的變量，而不是字段的Column值
        String sql = "INSERT INTO t_msg_item(groupid, sender_uid) " +
                "VALUES (:groupId, :senderUid)";
        updateBatchCore(sql, list);
    }

    /**
     * 必定要在jdbc url 加&rewriteBatchedStatements=true才能生效
     * @param sql  自定義sql語句，相似於 "INSERT INTO chen_user(name,age) VALUES (:name,:age)"
     * @param list
     * @param <T>
     */
    public <T> void updateBatchCore(String sql, List<T> list) {
        SqlParameterSource[] beanSources = SqlParameterSourceUtils.createBatch(list.toArray());
        namedParameterJdbcTemplate.batchUpdate(sql, beanSources);
    }

}

3. 將插入的數據切割成100一條一次，推薦不超過1000條數據，循環插入。

@Autowired
    private JdbcService jdbcService;

    private void multiInsertMsgItem(List<Long> uids, String content, boolean hide) {
        int size = uids.size();
        List<MsgItemEntity> data = new ArrayList<>();
        for (int i = 0; i < size; i++) {
            MsgItemEntity mIE = MsgItemEntity.buildMsgItem(MessageGroupType.SYSTEM.getValue(), content, MessageType.TEXT, uids.get(i), hide);
            data.add(mIE);
            if (i % 100 == 0) {
                jdbcService.saveMsgItemList(data);
                data.clear();
            }
        }
        if (data.size() > 0) {
            jdbcService.saveMsgItemList(data);
        }
    }

4. 運行結果。查詢SQL是不是正常的批量插入，能夠參考文章。MySQL查看實時執行的SQL語句

3、總結

1. JPA找到實現批量插入的仍是挺麻煩的，因此仍是使用NamedParameterJdbcTemplate來實現批量插入比較方便。

4、參考文檔

1. JPA批量操做及性能比對 saveAll -jdbcTemplate.

2. 【JAVA開發平常問題】1、使用SpringBoot實現MYSQL批量插入