MySQL 批量插入，如何不插入重複資料？

溫故而知新

知識這個東西，看來真的要溫故而知新，一直不用，都要忘記了。

業務很簡單：需要批量插入一些資料，資料來源可能是其他資料庫的表，也可能是一個外部excel的導入。

那麼問題來了，是不是每次插入之前都要查一遍，看看重不重複，在代碼裡篩選一下資料，重複的就過濾掉呢？

向大資料資料庫中插入值時，還要判斷插入是否重複，然後插入。如何提高效率？

看來這個問題不止我一個人苦惱過。

解決的辦法有很多種，不同的場景解決方案也不一樣，資料量很小的情況下，怎麼搞都行，但是資料量很大的時候，這就不是一個簡單的問題了。

幾百萬的資料，不可能查出來去重處理！

說一下我Google到的解決方案。

1、insert ignore into

當插入資料時，如出現錯誤時，如重複資料，将不傳回錯誤，隻以警告形式傳回。是以使用ignore請確定語句本身沒有問題，否則也會被忽略掉。例如：

INSERT IGNORE INTO user (name) VALUES ('telami')       

這種方法很簡便，但是有一種可能，就是插入不是因為重複資料報錯，而是因為其他原因報錯的，也同樣被忽略了～

2、on duplicate key update

當primary或者unique重複時，則執行update語句，如update後為無用語句，如id=id，則同1功能相同，但錯誤不會被忽略掉。

例如，為了實作name重複的資料插入不報錯，可使用一下語句：

INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id       

這種方法有個前提條件，就是，需要插入的限制，需要是主鍵或者唯一限制（在你的業務中那個要作為唯一的判斷就将那個字段設定為唯一限制也就是unique key）。

3、insert … select … where not exist

根據select的條件判斷是否插入，可以不光通過primary 和unique來判斷，也可通過其它條件。例如：

INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)       

這種方法其實就是使用了mysql的一個臨時表的方式，但是裡面使用到了子查詢，效率也會有一點點影響，如果能使用上面的就不使用這個。

4、replace into

如果存在primary or unique相同的記錄，則先删除掉。再插入新記錄。

REPLACE INTO user SELECT 1, 'telami' FROM books       

這種方法就是不管原來有沒有相同的記錄，都會先删除掉然後再插入。另外，關注公衆号Java技術棧，在背景回複：面試，可以擷取我整理的 MySQL 面試題和答案。

實踐

選擇的是第二種方式

<insert id="batchSaveUser" parameterType="list">
    insert into user (id,username,mobile_number)
    values
    <foreach collection="list" item="item" index="index" separator=",">
        (
            #{item.id},
            #{item.username},
            #{item.mobileNumber}
        )
    </foreach>
    ON duplicate KEY UPDATE id = id
</insert>      

這裡用的是Mybatis，批量插入的一個操作，mobile_number已經加了唯一限制。這樣在批量插入時，如果存在手機号相同的話，是不會再插入了的。