㈠ 如何處理資料庫並發問題
想要知道如何處理數據並發，自然需要先了解數據並發。
什麼是數據並發操作呢？
就是同一時間內，不同的線程同時對一條數據進行讀寫操作。
在互聯網時代，一個系統常常有很多人在使用，因此就可能出現高並發的現象，也就是不同的用戶同時對一條數據進行操作，如果沒有有效的處理，自然就會出現數據的異常。而最常見的一種數據並發的場景就是電商中的秒殺，成千上萬個用戶對在極端的時間內，搶購一個商品。針對這種場景，商品的庫存就是一個需要控制的數據，而多個用戶對在同一時間對庫存進行重寫，一個不小心就可能出現超賣的情況。
針對這種情況，我們如何有效的處理數據並發呢？
第一種方案、資料庫鎖
從鎖的基本屬性來說，可以分為兩種：一種是共享鎖（S），一種是排它鎖（X）。在Mysql的資料庫中，是有四種隔離級別的，會在讀寫的時候，自動的使用這兩種鎖，防止數據出現混亂。
這四種隔離級別分別是：
讀未提交（Read Uncommitted）
讀提交（Read Committed）
可重復讀（Repeated Read）
串列化（Serializable）
當然，不同的隔離級別，效率也是不同的，對於數據的一致性保證也就有不同的結果。而這些可能出現的又有哪些呢？
臟讀（dirty read）
當事務與事務之間沒有任何隔離的時候，就可能會出現臟讀。例如：商家想看看所有的訂單有哪些，這時，用戶A提交了一個訂單，但事務還沒提交，商家卻看到了這個訂單。而這時就會出現一種問題，當商家去操作這個訂單時，可能用戶A的訂單由於部分問題，導致數據回滾，事務沒有提交，這時商家的操作就會失去目標。
不可重復讀（unrepeatable read）
一個事務中，兩次讀操作出來的同一條數據值不同，就是不可重復讀。
例如：我們有一個事務A，需要去查詢一下商品庫存，然後做扣減，這時，事務B操作了這個商品，扣減了一部分庫存，當事務A再次去查詢商品庫存的時候，發現這一次的結果和上次不同了，這就是不可重復讀。
幻讀（phantom problem）
一個事務中，兩次讀操作出來的結果集不同，就是幻讀。
例如：一個事務A，去查詢現在已經支付的訂單有哪些，得到了一個結果集。這時，事務B新提交了一個訂單，當事務A再次去查詢時，就會出現，兩次得到的結果集不同的情況，也就是幻讀了。
那針對這些結果，不同的隔離級別可以干什麼呢？
「讀未提（Read Uncommitted）」能預防啥？啥都預防不了。
「讀提交（Read Committed）」能預防啥？使用「快照讀（Snapshot Read）」方式，避免「臟讀」，但是可能出現「不可重復讀」和「幻讀」。
「可重復讀（Repeated Red）」能預防啥？使用「快照讀（Snapshot Read）」方式，鎖住被讀取記錄，避免出現「臟讀」、「不可重復讀」，但是可能出現「幻讀」。
「串列化（Serializable）」能預防啥？有效避免「臟讀」、「不可重復讀」、「幻讀」，不過運行效率奇差。
好了，鎖說完了，但是，我們的資料庫鎖，並不能有效的解決並發的問題，只是盡可能保證數據的一致性，當並發量特別大時，資料庫還是容易扛不住。那解決數據並發的另一個手段就是，盡可能的提高處理的速度。
因為數據的IO要提升難度比較大，那麼通過其他的方式，對數據進行處理，減少資料庫的IO，就是提高並發能力的有效手段了。
最有效的一種方式就是：緩存
想要減少並發出現的概率，那麼讀寫的效率越高，讀寫的執行時間越短，自然數據並發的可能性就變小了，並發性能也有提高了。
還是用剛才的秒殺舉例，我們為的就是保證庫存的數據不出錯，賣出一個商品，減一個庫存，那麼，我們就可以將庫存放在內存中進行處理。這樣，就能夠保證庫存有序的及時扣減，並且不出現問題。這樣，我們的資料庫的寫操作也變少了，執行效率也就大大提高了。
當然，常用的分布式緩存方式有：Redis和Memcache，Redis可以持久化到硬碟，而Memcache不行，應該怎麼選擇，就看具體的使用場景了。
當然，緩存畢竟使用的范圍有限，很多的數據我們還是必須持久化到硬碟中，那我們就需要提高資料庫的IO能力，這樣避免一個線程執行時間太長，造成線程的阻塞。
那麼，讀寫分離就是另一種有效的方式了
當我們的寫成為了瓶頸的時候，讀寫分離就是一種可以選擇的方式了。
我們的讀庫就只需要執行讀，寫庫就只需要執行寫，把讀的壓力從主庫中分離出去，讓主庫的資源只是用來保證寫的效率，從而提高寫操作的性能。
㈡ 高並發性的資料庫操作-Mysql
使用SELECT LAST_INSERT_ID() 函數就可以，因為LAST_INSERT_ID是基於Connection的，只要每個線程都使用獨立的 Connection對象，LAST_INSERT_ID函數將返回該Connection對AUTO_INCREMENT列最新的insert or update 操作生成的第一個record的ID。這個值不能被其它客戶端（Connection）影響，保證了你能夠找回自己的 ID 而不用擔心其它客戶端的活動，而且不需要加鎖。使用單INSERT語句插入多條記錄, LAST_INSERT_ID返回一個列表。
㈢ 如何在高並發環境下設計出無鎖的資料庫操作
一個在線2k的游戲，每秒鍾並發都嚇死人。傳統的hibernate直接插庫基本上是不可行的。我就一步步推導出一個無鎖的資料庫操作。
1. 並發中如何無鎖。
一個很簡單的思路，把並發轉化成為單線程。Java的Disruptor就是一個很好的例子。如果用java的concurrentCollection類去做，原理就是啟動一個線程，跑一個Queue，並發的時候，任務壓入Queue，線程輪訓讀取這個Queue，然後一個個順序執行。
在這個設計模式下，任何並發都會變成了單線程操作，而且速度非常快。現在的node.js, 或者比較普通的ARPG服務端都是這個設計，「大循環」架構。
這樣，我們原來的系統就有了2個環境：並發環境 + 」大循環「環境
並發環境就是我們傳統的有鎖環境，性能低下。
」大循環「環境是我們使用Disruptor開辟出來的單線程無鎖環境，性能強大。
2. 」大循環「環境 中如何提升處理性能。
一旦並發轉成單線程，那麼其中一個線程一旦出現性能問題，必然整個處理都會放慢。所以在單線程中的任何操作絕對不能涉及到IO處理。那資料庫操作怎麼辦？
增加緩存。這個思路很簡單，直接從內存讀取，必然會快。至於寫、更新操作，採用類似的思路，把操作提交給一個Queue，然後單獨跑一個Thread去一個個獲取插庫。這樣保證了「大循環」中不涉及到IO操作。
問題再次出現：
如果我們的游戲只有個大循環還容易解決，因為裡面提供了完美的同步無鎖。
但是實際上的游戲環境是並發和「大循環」並存的，即上文的2種環境。那麼無論我們怎麼設計，必然會發現在緩存這塊上要出現鎖。
3. 並發與「大循環」如何共處，消除鎖？
我們知道如果在「大循環」中要避免鎖操作，那麼就用「非同步」，把操作交給線程處理。結合這2個特點，我稍微改下資料庫架構。
原本的緩存層，必然會存在著鎖，例如：
public TableCache
{
private HashMap<String, Object> caches = new ConcurrentHashMap<String, Object>();
}
這個結構是必然的了，保證了在並發的環境下能夠准確的操作緩存。但是」大循環「卻不能直接操作這個緩存進行修改，所以必須啟動一個線程去更新緩存，例如：
private static final ExecutorService EXECUTOR = Executors.newSingleThreadExecutor();
EXECUTOR.execute(new LatencyProcessor(logs));
class LatencyProcessor implements Runnable
{
public void run()
{
// 這里可以任意的去修改內存數據。採用了非同步。
}
}
OK，看起來很漂亮。但是又有個問題出現了。在高速存取的過程中，非常有可能緩存還沒有被更新，就被其他請求再次獲取，得到了舊的數據。
4. 如何保證並發環境下緩存數據的唯一正確？
我們知道，如果只有讀操作，沒有寫操作，那麼這個行為是不需要加鎖的。
我使用這個技巧，在緩存的上層，再加一層緩存，成為」一級緩存「，原來的就自然成為」二級緩存「。有點像CPU了對不？
一級緩存只能被」大循環「修改，但是可以被並發、」大循環「同時獲取，所以是不需要鎖的。
當發生資料庫變動，分2種情況：
1）並發環境下的資料庫變動，我們是允許有鎖的存在，所以直接操作二級緩存，沒有問題。
2）」大循環「環境下資料庫變動，首先我們把變動數據存儲在一級緩存，然後交給非同步修正二級緩存，修正後刪除一級緩存。
這樣，無論在哪個環境下讀取數據，首先判斷一級緩存，沒有再判斷二級緩存。
這個架構就保證了內存數據的絕對准確。
而且重要的是：我們有了一個高效的無鎖空間，去實現我們任意的業務邏輯。
最後，還有一些小技巧提升性能。
1. 既然我們的資料庫操作已經被非同步處理，那麼某個時間，需要插庫的數據可能很多，通過對表、主鍵、操作類型的排序，我們可以刪除一些無效操作。例如：
a）同一個表同一個主鍵的多次UPdate，取最後一次。
b）同一個表同一個主鍵，只要出現Delete，前面所有操作無效。
2. 既然我們要對操作排序，必然會存在一個根據時間排序，如何保證無鎖呢？使用
private final static AtomicLong _seq = new AtomicLong(0);
即可保證無鎖又全局唯一自增，作為時間序列。
㈣ 資料庫高並發寫入，怎麼降低資料庫的壓力
改善IO性能，例如大緩存，使用磁碟陣列等
分散壓力：伺服器集群，負載均衡，讀寫分離、資料庫分片等。
㈤ 如何處理大量數據並發操作
處理大量數據並發操作可以採用如下幾種方法:
1.使用緩存：使用程序直接保存到內存中。或者使用緩存框架: 用一個特定的類型值來保存，以區別空數據和未緩存的兩種狀態。
2.資料庫優化：表結構優化;SQL語句優化，語法優化和處理邏輯優化;分區;分表;索引優化;使用存儲過程代替直接操作。
3.分離活躍數據:可以分為活躍用戶和不活躍用戶。
4.批量讀取和延遲修改: 高並發情況可以將多個查詢請求合並到一個。高並發且頻繁修改的可以暫存緩存中。
5.讀寫分離: 資料庫伺服器配置多個，配置主從資料庫。寫用主資料庫，讀用從資料庫。
6.分布式資料庫: 將不同的表存放到不同的資料庫中，然後再放到不同的伺服器中。
7.NoSql和Hadoop: NoSql，not only SQL。沒有關系型資料庫那麼多限制，比較靈活高效。Hadoop，將一個表中的數據分層多塊，保存到多個節點（分布式）。每一塊數據都有多個節點保存（集群）。集群可以並行處理相同的數據，還可以保證數據的完整性。
拓展資料:
大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
㈥ 怎麼提高資料庫高峰時訪問的並發能力
1：首先需要有非常良好的網路帶寬，若有上萬人同時錄入數據的普通的Web信息管理系統，至少需要10M左右的網路帶寬，而且網通、電信的主幹網都有接入比較好，否則全國各地的網路情況都不太一樣，有的城市錄入數據時可能會遇到網路非常緩慢的情況，甚至到無法忍受的程度。
2：須有一台牛X的Web伺服器 + 一台牛X的資料庫伺服器(備注接近頂配的奢侈硬體伺服器非個人PC)，由於是需要錄入1000萬條以上數據，最好採用Oracle資料庫比較理想一些，經得起考驗一些。
3：需要進行適當的內存緩存優化策略，不能所有的資料庫都依靠SQL資料庫的方式把壓力放在資料庫伺服器上，盡量多使用內存的方式處理數據。
4：需要一個牛X的，經得起考驗的資料庫訪問層，因為每秒都有可能成千上萬的人在訪問，若是質量不良好的資料庫訪問組件、或者不穩定的資料庫訪問組件，更容易導致系統崩潰、或者佔用非常龐大的內存，最後容易導致整個系統的崩潰。
5：需要優化分頁存取數據功能，應為有可能會有1000萬條數據，若分頁讀取數據的功能沒能優化到最高，也很容易導致系統的崩潰，因為上萬人萬一在同一時間，或者接近同一時間點了查詢某頁數據時，那系統就真崩潰了，分頁存取數據一定需要做到極致才可以。
6：需要進行資料庫索引優化，有索引和沒索引的性能差距有時候會是100倍，大數據量時可能會有1000倍都有可能，資料庫索引優化到極致了更容易得到運行順暢的信息管理系統。
7：嚴謹高效的資料庫事務處理，由於高並發，並且有些單據是需要同時寫入多個表，需要保證資料庫的一致性，要麼全部成功，要麼全部失敗重新錄入數據，所以需要一個高效的資料庫事務處理機制的配合。
8：所有的系統的操作日誌、異常信息都需要完整的記錄下來，當系統發生一些故障時，可以快速排查問題，對正確診斷系統發生的故障的原因做分析參考用。
9：需要經常檢測系統的各項指標、例如各伺服器的內存使用情況、CPU使用情況、網路帶寬使用情況，高峰時的各個參數是什麼情況、系統不繁忙時的情況等，若伺服器快承受不了壓力了，就得馬上增加負載均衡的伺服器，網路帶寬不夠了需要增加等等，總不能等系統崩潰了再去做這些事情。
10：每個頁面的HTML、JS都進行優化，若某個頁面多餘發了100個字元的垃圾HTML代碼，那1萬人每天獲得100次，那得佔用多少網路帶寬，100×100×1萬個字元的多餘HTML被網路上傳輸了，要知道接入主幹網的網路資源是多麼寶貴，費用是多麼昂貴。
11：HTML、JS等都可以考慮用壓縮模式傳輸，那樣網路傳輸效率會更高一些。
12：由於全國各地上萬人，會有各種各樣的人，這些人也未必全是好人，可能某些人心情不好，或者其他什麼的，可能就會攻擊我們的軟體系統破壞數據，這些也可能是由於好奇心導致的，所以系統需要有嚴格的許可權管理控制，不應該進入的頁面絕對不能進入，不應該看的數據絕對不讓看，不能操作的功能絕對不讓多操作，一方面防止沒必要的多餘的麻煩，另一方面也可以減少系統被攻擊破壞的可能性。
㈦ 現在有哪些技術能夠提高.Net的並發和緩存
這些並發，可以通過增加應用伺服器來達到，緩存可以使用 "System.Web.Caching.Cache"來增加，由於目前不知道增加這些並發和緩存的作用，所以下面只能列舉常用的方法給你哦！
一、緩解資料庫讀取壓力
這個緩存機制使用的是.Net本身提供的緩存功能，System.Web.Caching.Cache
這個方案可以解決一般訪問量不是很大的站點的需求，更高一級的，可以通過增加Web園工作進程來達到提升性能的需求，而且這個方案裡面，已經解決多進程下緩存同步的問題。
更高層次的緩存只用到內存資料庫如:Redis Memcached ...
由於增加了緩存服務，可以解決大部分高並發訪問需求。
二、緩解Web伺服器壓力
1 增加公用資源文件訪問CDN (將 js pic 這些站點必須的文件採用公用CDN)
2 使用單獨的文件伺服器
3 增加web伺服器進行負載均衡設計
三、緩解資料庫壓力
資料庫讀寫分離處理
--------------------------
請採納！
㈧ 新人求助，大數據量高並發情況下寫入資料庫問題
1、如果硬體允許搞個讀寫分離。
2、讀取數據的時候採用臟讀方式，有效提高讀取性能
3、插入的時候大批量比如10W條，可以分開10次1W插入，有效提高寫入性能，但盡量不要1條1條來，會造成大量事務日誌
㈨ java高並發是什麼意思，高並發的解釋
1、在java中，高並發屬於一種編程術語，意思就是有很多用戶在訪問，導致系統數據不正確、糗事數據的現象。並發就是可以使用多個線程或進程，同時處理不同的操作。