㈠ 高並發下資料庫插入重復數據，有什麼好方法
Mysql避免重復插入記錄的幾種方法
本文章來給大家提供三種在mysql中避免重復插入記錄方法，主要是講到了ignore,Replace,ON DUPLICATE KEY UPDATE三種方法，有需要的朋友可以參考一下
方案一：使用ignore關鍵字
如果是用主鍵primary或者唯一索引unique區分了記錄的唯一性,避免重復插入記錄可以使用：
復制代碼 代碼如下:
INSERT IGNORE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('[email protected]', '99999', '9999');
這樣當有重復記錄就會忽略,執行後返回數字0
還有個應用就是復製表,避免重復記錄：
復制代碼 代碼如下:
INSERT IGNORE INTO `table_1` (`name`) SELECT `name` FROM `table_2`;
方案二：使用Replace
語法格式：
復制代碼 代碼如下:
REPLACE INTO `table_name`(`col_name`, ...) VALUES (...);
REPLACE INTO `table_name` (`col_name`, ...) SELECT ...;
REPLACE INTO `table_name` SET `col_name`='value',
...演算法說明：
REPLACE的運行與INSERT很相像,但是如果舊記錄與新記錄有相同的值，則在新記錄被插入之前，舊記錄被刪除，即：
嘗試把新行插入到表中
當因為對於主鍵或唯一關鍵字出現重復關鍵字錯誤而造成插入失敗時：
從表中刪除含有重復關鍵字值的沖突行
再次嘗試把新行插入到表中
舊記錄與新記錄有相同的值的判斷標准就是：
表有一個PRIMARY KEY或UNIQUE索引，否則，使用一個REPLACE語句沒有意義。該語句會與INSERT相同，因為沒有索引被用於確定是否新行復制了其它的行。
返回值：
REPLACE語句會返回一個數，來指示受影響的行的數目。該數是被刪除和被插入的行數的和
受影響的行數可以容易地確定是否REPLACE只添加了一行，或者是否REPLACE也替換了其它行：檢查該數是否為1（添加）或更大（替換）。
示例:
# eg:(phone欄位為唯一索引)
復制代碼 代碼如下:
REPLACE INTO `table_name` (`email`, `phone`, `user_id`) VALUES ('test569', '99999', '123');
另外,在 SQL Server 中可以這樣處理：
復制代碼 代碼如下:
if not exists (select phone from t where phone= '1') insert into t(phone, update_time) values('1', getdate()) else update t set update_time = getdate() where phone= '1'
更多信息請看：http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#replace
方案三：ON DUPLICATE KEY UPDATE
如上所寫，你也可以在INSERT INTO…..後面加上 ON DUPLICATE KEY UPDATE方法來實現。如果您指定了ON DUPLICATE KEY UPDATE，並且插入行後會導致在一個UNIQUE索引或PRIMARY KEY中出現重復值，則執行舊行UPDATE。
例如，如果列a被定義為UNIQUE，並且包含值1，則以下兩個語句具有相同的效果：
復制代碼 代碼如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=`c`+1;
UPDATE `table` SET `c`=`c`+1 WHERE `a`=1;
如果行作為新記錄被插入，則受影響行的值為1；如果原有的記錄被更新，則受影響行的值為2。
注釋：如果列b也是唯一列，則INSERT與此UPDATE語句相當：
復制代碼 代碼如下:
UPDATE `table` SET `c`=`c`+1 WHERE `a`=1 OR `b`=2 LIMIT 1;
如果a=1 OR b=2與多個行向匹配，則只有一個行被更新。通常，您應該盡量避免對帶有多個唯一關鍵字的表使用ON DUPLICATE KEY子句。
您可以在UPDATE子句中使用VALUES(col_name)函數從INSERT…UPDATE語句的INSERT部分引用列值。換句話說，如果沒有發生重復關鍵字沖突，則UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函數特別適用於多行插入。VALUES()函數只在INSERT…UPDATE語句中有意義，其它時候會返回NULL。
復制代碼 代碼如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`);
本語句與以下兩個語句作用相同：
復制代碼 代碼如下:
INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3) ON DUPLICATE KEY UPDATE `c`=3;
INSERT INTO `table` (`a`, `b`, `c`) VALUES (4, 5, 6) ON DUPLICATE KEY UPDATE c=9;
注釋：當您使用ON DUPLICATE KEY UPDATE時，DELAYED選項被忽略。
示例：
這個例子是我在實際項目中用到的：是將一個表的數據導入到另外一個表中，數據的重復性就得考慮(如下)，唯一索引為：email：
復制代碼 代碼如下:
INSERT INTO `table_name1` (`title`, `first_name`, `last_name`, `email`, `phone`, `user_id`, `role_id`, `status`, `campaign_id`)
SELECT '', '', '', `table_name2`.`email`, `table_name2`.`phone`, NULL, NULL, 'pending', 29 FROM `table_name2`
WHERE `table_name2`.`status` = 1
ON DUPLICATE KEY UPDATE `table_name1`.`status`='pending'
再貼一個例子：
復制代碼 代碼如下:
INSERT INTO `class` SELECT * FROM `class1` ON DUPLICATE KEY UPDATE `class`.`course`=`class1`.`course`
其它關鍵：DELAYED 做為快速插入，並不是很關心失效性，提高插入性能。
IGNORE 只關注主鍵對應記錄是不存在，無則添加，有則忽略。
特別說明：在MYSQL中UNIQUE索引將會對null欄位失效，也就是說(a欄位上建立唯一索引)：
復制代碼 代碼如下:
INSERT INTO `test` (`a`) VALUES (NULL);
是可以重復插入的（聯合唯一索引也一樣）。
㈡ 如何處理資料庫並發問題
想要知道如何處理數據並發，自然需要先了解數據並發。
什麼是數據並發操作呢？
就是同一時間內，不同的線程同時對一條數據進行讀寫操作。
在互聯網時代，一個系統常常有很多人在使用，因此就可能出現高並發的現象，也就是不同的用戶同時對一條數據進行操作，如果沒有有效的處理，自然就會出現數據的異常。而最常見的一種數據並發的場景就是電商中的秒殺，成千上萬個用戶對在極端的時間內，搶購一個商品。針對這種場景，商品的庫存就是一個需要控制的數據，而多個用戶對在同一時間對庫存進行重寫，一個不小心就可能出現超賣的情況。
針對這種情況，我們如何有效的處理數據並發呢？
第一種方案、資料庫鎖
從鎖的基本屬性來說，可以分為兩種：一種是共享鎖（S），一種是排它鎖（X）。在MySQL的資料庫中，是有四種隔離級別的，會在讀寫的時候，自動的使用這兩種鎖，防止數據出現混亂。
這四種隔離級別分別是：
讀未提交（Read Uncommitted）
讀提交（Read Committed）
可重復讀（Repeated Read）
串列化（Serializable）
當然，不同的隔離級別，效率也是不同的，對於數據的一致性保證也就有不同的結果。而這些可能出現的又有哪些呢？
臟讀（dirty read）
當事務與事務之間沒有任何隔離的時候，就可能會出現臟讀。例如：商家想看看所有的訂單有哪些，這時，用戶A提交了一個訂單，但事務還沒提交，商家卻看到了這個訂單。而這時就會出現一種問題，當商家去操作這個訂單時，可能用戶A的訂單由於部分問題，導致數據回滾，事務沒有提交，這時商家的操作就會失去目標。
不可重復讀（unrepeatable read）
一個事務中，兩次讀操作出來的同一條數據值不同，就是不可重復讀。
例如：我們有一個事務A，需要去查詢一下商品庫存，然後做扣減，這時，事務B操作了這個商品，扣減了一部分庫存，當事務A再次去查詢商品庫存的時候，發現這一次的結果和上次不同了，這就是不可重復讀。
幻讀（phantom problem）
一個事務中，兩次讀操作出來的結果集不同，就是幻讀。
例如：一個事務A，去查詢現在已經支付的訂單有哪些，得到了一個結果集。這時，事務B新提交了一個訂單，當事務A再次去查詢時，就會出現，兩次得到的結果集不同的情況，也就是幻讀了。
那針對這些結果，不同的隔離級別可以干什麼呢？
「讀未提（Read Uncommitted）」能預防啥？啥都預防不了。
「讀提交（Read Committed）」能預防啥？使用「快照讀（Snapshot Read）」方式，避免「臟讀」，但是可能出現「不可重復讀」和「幻讀」。
「可重復讀（Repeated Red）」能預防啥？使用「快照讀（Snapshot Read）」方式，鎖住被讀取記錄，避免出現「臟讀」、「不可重復讀」，但是可能出現「幻讀」。
「串列化（Serializable）」能預防啥？有效避免「臟讀」、「不可重復讀」、「幻讀」，不過運行效率奇差。
好了，鎖說完了，但是，我們的資料庫鎖，並不能有效的解決並發的問題，只是盡可能保證數據的一致性，當並發量特別大時，資料庫還是容易扛不住。那解決數據並發的另一個手段就是，盡可能的提高處理的速度。
因為數據的IO要提升難度比較大，那麼通過其他的方式，對數據進行處理，減少資料庫的IO，就是提高並發能力的有效手段了。
最有效的一種方式就是：緩存
想要減少並發出現的概率，那麼讀寫的效率越高，讀寫的執行時間越短，自然數據並發的可能性就變小了，並發性能也有提高了。
還是用剛才的秒殺舉例，我們為的就是保證庫存的數據不出錯，賣出一個商品，減一個庫存，那麼，我們就可以將庫存放在內存中進行處理。這樣，就能夠保證庫存有序的及時扣減，並且不出現問題。這樣，我們的資料庫的寫操作也變少了，執行效率也就大大提高了。
當然，常用的分布式緩存方式有：Redis和Memcache，Redis可以持久化到硬碟，而Memcache不行，應該怎麼選擇，就看具體的使用場景了。
當然，緩存畢竟使用的范圍有限，很多的數據我們還是必須持久化到硬碟中，那我們就需要提高資料庫的IO能力，這樣避免一個線程執行時間太長，造成線程的阻塞。
那麼，讀寫分離就是另一種有效的方式了
當我們的寫成為了瓶頸的時候，讀寫分離就是一種可以選擇的方式了。
我們的讀庫就只需要執行讀，寫庫就只需要執行寫，把讀的壓力從主庫中分離出去，讓主庫的資源只是用來保證寫的效率，從而提高寫操作的性能。
㈢ java 插入資料庫 並發
首先要看部署的結構，是單機還是集群，集群環境同步關鍵字達不到想要的結果，可以使用資料庫唯一健約束，或者藉助第三方緩存，例如memcached，使用cas機制，可以實現。
㈣ 如何防止插入資料庫時並發情況
資料庫執行sql語句的時候是不會死鎖的 他有機制去解決這個問題 你的意思應該是想運行一段sql語句時不插入另外的sql干擾是吧 那麼使用sql事務或者用。net事務來解決都可以 個人比較推薦用存儲過程加sql事務~
㈤ 不同客戶同時實施更新刪除插入資料庫操作時,為防止出現問題,如何實施並發控制
最常用的技術是封鎖技術，也可以用其他技術，例如在分布式資料庫系統中可以採用時間戳方法來進行並發控制。具體的你可以去這個網址看看http://blog.csdn.net/xiangminjing/article/details/5922325
㈥ 高並發下資料庫中如何解決重復插入數據的問題
INSERT INTO T_LOG ( LOG_ID ,LOG_NAME ) VALUES ( T_LOG.nextval strName ); T_LOG就是sequence的名字 不是將該欄位省略~而是在插入值的時候
㈦ 資料庫高並發寫入，怎麼降低資料庫的壓力
主要通過架構設計來減少高並發對資料庫的壓力；
比如 在資料庫和應用程序之間，增加 DAL層，通過代理，連接池等，保證資料庫與業務程序由一定的緩沖和關系梳理；
在資料庫前面，加一個緩存層，讓大部分數據訪問，都直接在緩存層獲取數據，不用訪問到後端的MySQL資料庫；
㈧ 使用資料庫連接池，怎麼解決多個用戶並發的向資料庫中插入數據
sql多用戶訪問資料庫其實就是事務並發，會引起如下問題：
1、臟讀：一個事務讀取到了另外一個事務沒有提交的數據
事務1：更新一條數據
事務2：讀取事務1更新的記錄
事務1：調用commit進行提交
此時事務2讀取到的數據是保存在資料庫內存中的數據，稱為臟讀。
讀到的數據為臟數據
詳細解釋：
臟讀就是指:當一個事務正在訪問數據，並且對數據進行了修改，而這種修改還沒有提交到資料庫中，這時，
另外一個事務也訪問這個數據，然後使用了這個數據。因為這個數據是還沒有提交的數據，那麼另外一個
事務讀到的這個數據是臟數據，依據臟數據所做的操作可能是不正確的。
2、不可重復讀：在同一事務中，兩次讀取同一數據，得到內容不同
事務1：查詢一條記錄
事務2：更新事務1查詢的記錄
事務2：調用commit進行提交
事務1：再次查詢上次的記錄
此時事務1對同一數據查詢了兩次，可得到的內容不同，稱為不可重復讀。
3、幻讀：同一事務中，用同樣的操作讀取兩次，得到的記錄數不相同
事務1：查詢表中所有記錄
事務2：插入一條記錄
事務2：調用commit進行提交
事務1：再次查詢表中所有記錄
此時事務1兩次查詢到的記錄是不一樣的，稱為幻讀
㈨ 如何保證資料庫在大批量插入和高並發查詢時的性能
1、如果硬體允許搞個讀寫分離。
2、讀取數據的時候採用臟讀方式，有效提高讀取性能
3、插入的時候大批量比如10W條，可以分開10次1W插入，有效提高寫入性能，但盡量不要1條1條來，會造成大量事務日誌
㈩ 如何設置 mysql 並發插入
只能在應用層做並發，資料庫層不允許並發。設想一下，如果你的主鍵ID是自動遞增的，兩條數據同時插入，那麼他們的ID豈不是相同了？這豈不與主鍵的規則沖突？所以sql語句的執行永遠都是隊列式的，你只能提高sql處理的性能。