『壹』 為什麼CPU要分一級緩存、二級緩存和三級緩存
CPU緩存就是CPU內部的緩存運行頻率，緩存的源陸大小與結構對CPU速度的影響較大，因此緩存大小也是CPU重要的性能指標之一。
CPU緩存的作用主要是為了解決CPU運算速度與內存讀寫速度不匹配的矛盾，而緩存的容量要比內存要小的太多，但是其速度要比內存快的多，因此這樣會讓CPU使用很長的時間等待數據到來或把數據寫入內存中。
搜索在緩存中的數據是內存中的一小部分，但這一小部分是短時間內CPU即將訪問的，當CPU調用大量數據時，就能夠避開內存直接從緩存中調用，從而加快讀取速度。
當CPU需要讀取數據並進行計算時，首先需要將CPU緩存中查到所需的數據，並在最短的時間下交付給CPU。
如果沒有查到所需的數據，CPU就會提出「要求」經過緩存從內存中讀取，再原路返回至CPU進行計算。而同時，把這個數據所在的數據也調入緩存，可以使得以後對整塊數據的讀取都從緩存中進行，不必再調用內存。
一級緩存（L1 Cache）
CPU一級緩存，就是指CPU的第一層級的高速緩存，主要當擔的工作是緩存指令和緩存數據。一級緩存的容量與結構對CPU性能影響十分大，但是由於它的結構比較復雜，又考慮到成本等因素，一般來說，CPU的一級緩存較小，通常CPU的一級緩存也就能做到256KB左右的水平。
二級緩存（L2 Cache66）
CPU二級緩存，就是指CPU的第二層級的高速緩存，而二級緩存的容量會直接影響到CPU的性能，二級緩存的容量越大越好。例如intel的第八代i7-8700處理器，共有六個核心數量，而每個核心都擁有256KB的二級緩存，屬於各核心獨享，這樣二級緩存總數就達到了1.5MB。
三級緩存（L3 Cache）盯宏
CPU三級緩存，就是指CPU的第三層級的高速緩存，其作用是進一步降低內存的延遲，同時提升海量數據量計算時的性能。和一級緩存、二級緩存不同的是，三級緩存是核心共享的，能夠將容量做的很大。
CPU的核心數量、高頻高低都會影響性能，但如果讓CPU更聰明、更有效率的執行計算任務，那麼緩存的作用就至關重要了。
(1)雙十一海量數據的緩存架構擴展閱讀：
CPU主要性能參數：
1、主頻
主頻也叫時鍾頻率，單位是兆赫（MHz）或千兆赫（GHz），用來表示CPU的運算、處理數據的速度。
2、外頻
外頻是CPU的基準頻率，單位是MHz。CPU的外頻決定著整塊主板的運行雹則頃速度。
3、匯流排頻率
前端匯流排（FSB)是將CPU連接到北橋晶元的匯流排。前端匯流排（FSB）頻率（即匯流排頻率）是直接影響CPU與內存直接數據交換速度。
4、倍頻系數
倍頻系數是指CPU主頻與外頻之間的相對比例關系。
5、緩存
緩存大小也是CPU的重要指標之一，而且緩存的結構和大小對CPU速度的影響非常大，CPU內緩存的運行頻率極高，一般是和處理器同頻運作，工作效率遠遠大於系統內存和硬碟。
『貳』 傳統大數據存儲的架構有哪些各有什麼特點
數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。
傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。
基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。
尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。
目前市場上的存儲架構如下：
(1)基於嵌入式架構的存儲系統
節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。
(2)基於X86架構的存儲系統
平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。
此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。
面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。
該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。
平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。
(3)基於雲技術的存儲方案
當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著可觀的應用前景。
與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。
一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。
高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。
針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。
雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。
對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。
雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。
『叄』 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括Nosql、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展，產生的數據量越來越多，並且這些數據的特點是半結構化和非結構化，數據很可能是不精確的，易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此，目前互聯網行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據為Google論文 Bigtable: A Distributed Storage System for Structured Data開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念，這是與RDBMS相同的地方，但卻又不同。HBase底層採用HDFS作為文件系統，具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢，並且嵌入式文檔和集合也支持索引，它復制能力被稱作復制集（replica set），提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重要的組件：Couchbase伺服器、Couchbase Gateway、Couchbase Lite。Couchbase伺服器，支持橫向擴展，面向文檔的資料庫，支持鍵值操作，類似於SQL查詢和內置的全文搜索;Couchbase Gateway提供了用於RESTful和流式訪問數據的應用層API。Couchbase Lite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件，譬如超過100MB的文件，使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於，分布式文件系統隔離底層數據存儲和分布的細節，展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發簡訊、用彩鈴的「老三樣」，移動互聯網的發展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網頁、地圖導航、網上購物、外賣訂餐等，這些業務的海量數據都構建在大規模網路雲資源池之上。當14億中國人把衣食住行搬上移動互聯網的同時，也給網路雲資源池帶來巨大業務挑戰。
首先，用戶需求動態變化，傳統業務流量主要是端到端模式，較為穩定；而互聯網流量易受熱點內容牽引，數據流量流向復雜和規模多變：比如雙十一購物狂潮，電商平台訂單創建峰值達到58.3萬筆，要求通信網路提供高並發支持；又如優酷春節期間有超過23億人次上網刷劇、抖音拜年短視頻增長超10倍，需要通信網路能夠靈活擴充帶寬。面對用戶動態多變的需求，通信網路需要具備快速洞察和響應用戶需求的能力，提供高效、彈性、智能的數據服務。
「隨著通信網路管道十倍百倍加粗、節點數從千萬級逐漸躍升至百億千億級，如何『接得住、存得下』海量數據，成為網路雲資源池建設面臨的巨大考驗」，李輝表示。一直以來，作為新數據存儲首倡者和引領者，浪潮存儲攜手通信行業用戶，不斷 探索 提速通信網路雲基礎設施的各種姿勢。
早在2018年，浪潮存儲就參與了通信行業基礎設施建設，四年內累計交付約5000套存儲產品，涵蓋全快閃記憶體儲、高端存儲、分布式存儲等明星產品。其中在網路雲建設中，浪潮存儲已連續兩年兩次中標全球最大的NFV網路雲項目，其中在網路雲二期建設中，浪潮存儲提供數千節點，為上層網元、應用提供高效數據服務。在最新的NFV三期項目中，浪潮存儲也已中標。
能夠與通信用戶在網路雲建設中多次握手，背後是浪潮存儲的持續技術投入與創新。浪潮存儲6年內投入超30億研發經費，開發了業界首個「多合一」極簡架構的浪潮並行融合存儲系統。此存儲系統能夠統籌管理數千個節點，實現性能、容量線性擴展；同時基於浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調度、智能元數據管理等功能，與自研NVMe SSD快閃記憶體檔進行系統級別聯調優化，讓百萬級IO均衡落盤且路徑更短，將存儲系統性能發揮到極致。
「為了確保全球最大規模的網路雲正常上線運行，我們聯合用戶對存儲集群展開了長達數月的魔鬼測試」，浪潮存儲工程師表示。網路雲的IO以虛擬機數據和上層應用數據為主，浪潮按照每個存儲集群支持15000台虛機進行配置，分別對單卷隨機讀寫、順序寫、混合讀寫以及全系統隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試，達到了通信用戶提出的單卷、系統性能不低於4萬和12萬IOPS、時延小於3ms的要求，產品成熟度得到了驗證。
以通信行業為例，2020年全國移動互聯網接入流量1656億GB，相當於中國14億人每人消耗118GB數據；其中春節期間，移動互聯網更是創下7天消耗36億GB數據流量的記錄，還「捎帶」打了548億分鍾電話、發送212億條簡訊……海量實時數據洪流，在網路雲資源池(NFV)支撐下收放自如，其中分布式存儲平台發揮了作用。如此樣板工程，其巨大示範及拉動作用不言而喻。
『肆』 高性能高並發網站架構，教你搭建Redis5緩存集群
一、Redis集群介紹
Redis真的是一個優秀的技術，它是一種key-value形式的NoSQL內存資料庫，由ANSI C編寫，遵守BSD協議、支持網路、可基於內存亦可持久化的日誌型、Key-Value資料庫，並提供多種語言的API。 Redis最大的特性是它會將所有數據都放在內存中，所以讀寫速度性能非常好。Redis是基於內存進行操作的，性能較高，可以很好的在一定程度上解決網站一瞬間的並發量，例如商品搶購秒殺等活動。
網站承受高並發訪問壓力的同時，還需要從海量數據中查詢出滿足條件的數據，需要快速響應，前端發送請求、後端和mysql資料庫交互，進行sql查詢操作，讀寫比較慢，這時候引入Redis ,把從mysql 的數據緩存到Redis 中，下次讀取時候性能就會提高；當然，它也支持將內存中的數據以快照和日誌的形式持久化到硬碟，這樣即使在斷電、機器故障等異常情況發生時數據也不會丟失，Redis能從硬碟中恢復快照數據到內存中。
Redis 發布了穩定版本的 5.0 版本，放棄 Ruby的集群方式，改用 C語言編寫的 redis-cli的方式，是集群的構建方式復雜度大大降低。Redis-Cluster集群採用無中心結構，每個節點保存數據和整個集群狀態，每個節點都和其他所有節點連接。
為了保證數據的高可用性，加入了主從模式，一個主節點對應一個或多個從節點，主節點提供數據存取，從節點則是從主節點拉取數據備份，當這個主節點掛掉後，就會有這個從節點選取一個來充當主節點，從而保證集群不會掛掉。
redis-cluster投票:容錯，投票過程是集群中所有master參與,如果半數以上master節點與master節點通信超過(cluster-node-timeout),認為當前master節點掛掉。
集群中至少應該有奇數個節點，所以至少有三個節點，每個節點至少有一個備份節點，所以下面使用6節點（主節點、備份節點由redis-cluster集群確定）。6個節點分布在一台機器上，採用三主三從的模式。實際應用中，最好用多台機器，比如說6個節點分布到3台機器上，redis在建立集群時為自動的將主從節點進行不同機器的分配。
二、單機redis模式
下載源碼redis5.0並解壓編譯
wget http://download.redis.io/releases/redis-5.0.0.tar.gz
tar xzf redis-5.0.0.tar.gz
cd redis-5.0.0
make
redis前端啟動需要改成後台啟動.
修改redis.conf文件,將daemonize no -> daemonize yes
vim redis.conf
啟動redis
/www/server/redis/src/redis-server /www/server/redis/redis.conf
查看redis是否在運行
ps aux|grep redis
現在是單機redis模式完成。
三、redis集群模式：
1.創建6個Redis配置文件
cd /usr/local/
mkdir redis_cluster //創建集群目錄
cd redis_cluster
mkdir 7000 7001 7002 7003 7004 7005//分別代表6個節點
其對應埠 7000 7001 7002 70037004 7005
2.復制配置文件到各個目錄
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7000/
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7001/
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7002/
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7003/
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7004/
cp /www/server/redis/redis.conf /usr/local/redis_cluster/7005/
3.分別修改配置文件
vim /usr/local/redis_cluster/7000/redis.conf
vim /usr/local/redis_cluster/7001/redis.conf
vim /usr/local/redis_cluster/7002/redis.conf
vim /usr/local/redis_cluster/7003/redis.conf
vim /usr/local/redis_cluster/7004/redis.conf
vim /usr/local/redis_cluster/7005/redis.conf
如下
port 7000 #埠
cluster-enabled yes #啟用集群模式
cluster-config-file nodes_7000.conf ＃集群的配置 配置文件首次啟動自動生成
cluster-node-timeout 5000 #超時時間 5秒
appendonly yes ＃aof日誌開啟 它會每次寫操作都記錄一條日誌
daemonize yes #後台運行
protected-mode no #非保護模式
pidfile /var/run/redis_7000.pid
//下面可以不寫
#若設置密碼，master和slave需同時配置下面兩個參數：
masterauth "jijiji" #連接master的密碼
requirepass "jijiji" #自己的密碼
cluster-config-file，port，pidfile對應數字
4.啟動節點
cd /www/server/redis/src/
./redis-server /usr/local/redis_cluster/7000/redis.conf
./redis-server /usr/local/redis_cluster/7001/redis.conf
./redis-server /usr/local/redis_cluster/7002/redis.conf
./redis-server /usr/local/redis_cluster/7003/redis.conf
./redis-server /usr/local/redis_cluster/7004/redis.conf
./redis-server /usr/local/redis_cluster/7005/redis.conf
查看redis運行
ps aux|grep redis
5.啟動集群
/www/server/redis/src/redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1
這里使用的命令是create，因為我們要創建一個新的集群。 該選項--cluster-replicas 1意味著我們希望每個創建的主伺服器都有一個從服。
輸入yes
至此，Reids5 集群搭建完成。
6.檢查Reids5集群狀態
可以執行redis-cli --cluster check host:port檢查集群狀態slots詳細分配。
redis-cli --cluster info 127.0.0.1:7000
7.停止Reids5集群
（1）.因為Redis可以妥善處理SIGTERM信號，所以直接kill -9也是可以的，可以同時kill多個,然後再依次啟動。
kill -9 PID PID PID
（2）.redis5 提供了關閉集群的工具，修改文件： /www/server/redis/utils/create-cluster/create-cluster
埠PROT設置為6999，NODES為6，工具會生成 7000-7005 六個節點 用於操作。
修改後，執行如下命令關閉集群：
/www/server/redis/utils/create-cluster/create-cluster stop
重新啟動集群：
/www/server/redis/utils/create-cluster/create-cluster start
8.幫助信息
執行redis-cli --cluster help,查看更多幫助信息
redis-cli --cluster help
吉海波
『伍』 雲存儲架構分哪些層次,各自實現了什麼功能
(1)存儲層
雲存儲系統對外提供多種不同的存儲服務，各種服務的數據統一存放在雲存儲系統中，形成一個海量數據池。從大多數網路服務後台數據組織方式來看，傳統基於單伺服器的數據組織難以滿足廣域網多用戶條件下的吞吐性能和存儲容量需求；基於P2P架構的數據組織需要龐大的節點數量和復雜編碼演算法保證數據可靠性。相比而言，基於多存儲伺服器的數據組織方法能夠更好滿足在線存儲服務的應用需求，在用戶規模較大時，構建分布式數據中心能夠為不同地理區域的用戶提供更好的服務質量。
雲存儲的存儲層將不同類型的存儲設備互連起來，實現海量數據的統一管理，同時實現對存儲設備的集中管理、狀態監控以及容量的動態擴展，實質是一種面向服務的分布式存儲系統。
(2)基礎管理層
雲存儲系統架構中的基礎管理層為上層提供不同服務間公共管理的統一視圖。通過設計統一的用戶管理、安全管理、副本管理及策略管理等公共數據管理功能，將底層存儲與上層應用無縫銜接起來，實現多存儲設備之間的協同工作，以更好的性能對外提供多種服務。
(3)應用介面層
應用介面層是雲存儲平台中可以靈活擴展的、直接面向用戶的部分。根據用戶需求，可以開發出不同的應用介面，提供相應的服務。比如數據存儲服務、空間租賃服務、公共資源服務、多用戶數據共享服務、數據備份服務等。
(4)訪問層
通過訪問層，任何一個授權用戶都可以在任何地方，使用一台聯網的終端設備，按照標準的公用應用介面來登錄雲存儲平台，享受雲存儲服務。
2雲存儲技術的優勢
作為新興的存儲技術，與傳統的購買存儲設備和部署存儲軟體相比，雲存儲方式存在以下優點：
(1)成本低、見效快
傳統的購買存儲設備或軟體定製方式下，企業根據信息化管理的需求，一次性投入大量資金購置硬體設備、搭建平台。軟體開發則經過漫長的可行性分析、需求調研、軟體設計、編碼、測試這一過程。往往在軟體開發完成以後，業務需求發生變化，不得不對軟體進行返工，不僅影響質量，提高成本，更是延誤了企業信息化進程，同時造成了企業之間的低水平重復投資以及企業內部周期性、高成本的技術升級。在雲存儲方式下，企業除了配置必要的終端設備接收存儲服務外，不需要投入額外的資金來搭建平台。企業只需按用戶數分期租用服務，規避了一次性投資的風險，降低了使用成本，而且對於選定的服務，可以立即投入使用，既方便又快捷。
(2)易於管理
傳統方式下，企業需要配備專業的IT人員進行系統的維護，由此帶來技術和資金成本。雲存儲模式下，維護工作以及系統的更新升級都由雲存儲服務提供商完成，企業能夠以最低的成本享受到最新最專業的服務。
(3)方式靈活
傳統的購買和定製模式下，一旦完成資金的一次性投入，系統無法在後續使用中動態調整。隨著設備的更新換代，落後的硬體平台難以處置；隨著業務需求的不斷變化，軟體需要不斷地更新升級甚至重構來與之相適應，導致維護成本高昂，很容易發展到不可控的程度。而雲存儲方式一般按照客戶數、使用時間、服務項目進行收費。企業可以根據業務需求變化、人員增減、資金承受能力，隨時調整其租用服務方式，真正做到「按需使用」。
3雲存儲技術趨勢
隨著寬頻網路的發展，集群技術、網格技術和分布式文件系統的拓展，CDN內容分發、P2P、數據壓縮技術的廣泛運用，以及存儲虛擬化技術的完善，雲存儲在技術上已經趨於成熟，以「用戶創造內容」和「分享」為精神的Web2.0推動了全網域用戶對在線服務的認知
『陸』 CPU的一些參數（如一級緩存、二級緩存）有何作用
分類: 無分類
解析:
一級緩存：
高速緩存分為一級緩存（即L1 Cache）和二級緩存（即L2Cache）。CPU在運行時首先從一級緩存讀取數據，然後從二級緩存讀取數據，然後從內存和虛擬內存讀取數據，因此高速緩存的容量和速度直接影響到CPU的工作性能。 一級緩存都內置在CPU內部並與CPU同速運行，可以有效的提高CPU的運行效率。一級緩存越大，CPU的運行效率越高，但受到CPU內部結構的限制，一級緩存的容量都很小。 二級緩存對CPU運行效率的影響也很大，現在的二級緩存一般都集成在中，但有分為晶元內部和外部兩種，集成在晶元內部的二級緩存與CPU同頻率二級緩存（即全速二級緩存），而集成在晶元外部的二級緩存的運行頻率 是CPU的運行頻率的一半（即半速二級緩存），因此運行效率較低。 但是一級緩存和二級緩存的大，它究竟有多少好處呢？你得告訴我們經銷商，實際上你得用最普通的話跟他講。所以我們給他們打個比方，說這個就好比你開汽車的時候，後備箱是整個的一級緩存，假如說扶手裡面有一個小箱子，那是你的二級緩存。二級緩存大好在哪裡呢？就是你隨時開車的時候，隨時在裡面都可以取東西了。假如你二級緩存小的話，你還得把車停下來，到後備箱里取東西。
首先我們來簡單了解一下一級緩存。目前所有主流處理器大都具有一級緩存和二級緩存，少數高端處理器還集成了三級緩存。其中，一級緩存可分為一級指令緩存和一級數據緩存。一級指令緩存用於暫時存儲並向CPU遞送各類運算指令；一級數據緩存用於暫時存儲並向CPU遞送運算所需數據，這就是一級緩存的作用（如果大家對上述文字理解困難的話，可參照下圖所示）。
那麼，二級緩存的作用又是什麼呢？簡單地說，二級緩存就是一級緩存的緩沖器：一級緩存製造成本很高因此它的容量有限，二級緩存的作用就是存儲那些CPU處理時需要用到、一級緩存又無法存儲的數據。同樣道理，三級緩存和內存可以看作是二級緩存的緩沖器，它們的容量遞增，但單位製造成本卻遞減。需要注意的是，無論是二級緩存、三級緩存還是內存都不能存儲處理器操作的原始指令，這些指令只能存儲在CPU的一級指令緩存中，而餘下的二級緩存、三級緩存和內存僅用於存儲CPU所需數據。
根據工作原理的不同，目前主流處理器所採用的一級數據緩存又可以分為實數據讀寫緩存和數據代碼指令追蹤緩存2種，它們分別被AMD和Intel所採用。不同的一級數據緩存設計對於二級緩存容量的需求也各不相同，下面讓我們簡單了解一下這兩種一級數據緩存設計的不同之處。
一、AMD一級數據緩存設計
AMD採用的一級緩存設計屬於傳統的「實數據讀寫緩存」設計。基於該架構的一級數據緩存主要用於存儲CPU最先讀取的數據；而更多的讀取數據則分別存儲在二級緩存和系統內存當中。做個簡單的假設，假如處理器需要讀取「AMD ATHLON 64 3000+ IS GOOD」這一串數據（不記空格），那麼首先要被讀取的「AMDATHL」將被存儲在一級數據緩存中，而餘下的「ON643000+ISGOOD」則被分別存儲在二級緩存和系統內存當中（如下圖所示）。
需要注意的是，以上假設只是對AMD處理器一級數據緩存的一個抽象描述，一級數據緩存和二級緩存所能存儲的數據長度完全由緩存容量的大小決定，而絕非以上假設中的幾個位元組。「實數據讀寫緩存」的優點是數據讀取直接快速，但這也需要一級數據緩存具有一定的容量，增加了處理器的製造難度（一級數據緩存的單位製造成本較二級緩存高）。
二、Intel一級數據緩存設計
自P4時代開始，Intel開始採用全新的「數據代碼指令追蹤緩存」設計。基於這種架構的一級數據緩存不再存儲實際的數據，而是存儲這些數據在二級緩存中的指令代碼（即數據在二級緩存中存儲的起始地址）。假設處理器需要讀取「INTEL P4 IS GOOD」這一串數據（不記空格），那麼所有數據將被存儲在二級緩存中，而一級數據代碼指令追蹤緩存需要存儲的僅僅是上述數據的起始地址（如下圖所示）。
由於一級數據緩存不再存儲實際數據，因此「數據代碼指令追蹤緩存」設計能夠極大地降CPU對一級數據緩存容量的要求，降低處理器的生產難度。但這種設計的弊端在於數據讀取效率較「實數據讀寫緩存設計」低，而且對二級緩存容量的依賴性非常大。
在了解了一級緩存、二級緩存的大致作用及其分類以後，下面我們來回答以下硬體一菜鳥網友提出的問題。
從理論上講，二級緩存越大處理器的性能越好，但這並不是說二級緩存容量加倍就能夠處理器帶來成倍的性能增長。目前CPU處理的絕大部分數據的大小都在0-256KB之間，小部分數據的大小在256KB-512KB之間，只有極少數數據的大小超過512KB。所以只要處理器可用的一級、二級緩存容量達到256KB以上，那就能夠應付正常的應用；512KB容量的二級緩存已經足夠滿足絕大多數應用的需求。
這其中，對於採用「實數據讀寫緩存」設計的AMD Athlon 64、Sempron處理器而言，由於它們已經具備了64KB一級指令緩存和64KB一級數據緩存，只要處理器的二級緩存容量大於等於128KB就能夠存儲足夠的數據和指令，因此它們對二級緩存的依賴性並不大。這就是為什麼主頻同為1.8GHz的Socket 754 Sempron 3000+（128KB二級緩存）、Sempron 3100+（256KB二級緩存）以及Athlon 64 2800+（512KB二級緩存）在大多數評測中性能非常接近的主要原因。所以對於普通用戶而言754 Sempron 2600+是值得考慮的。
反觀Intel目前主推的P4、賽揚系列處理器，它們都採用了「數據代碼指令追蹤緩存」架構，其中Prescott內核的一級緩存中只包含了12KB一級指令緩存和16KB一級數據緩存，而Northwood內核更是只有12KB一級指令緩存和8KB一級數據緩存。所以P4、賽揚系列處理器對二級緩存的依賴性是非常大的，賽揚D 320（256KB二級緩存）與賽揚 2.4GHz（128KB二級緩存）性能上的巨大差距就很好地證明了這一點；而賽揚D和P4 E處理器之間的性能差距同樣十分明顯。
最後，如果您是狂熱的游戲發燒友或者從事多媒體製作的專業用戶，那麼具有1MB二級緩存的P4處理器和具有512KB/1MB二級緩存的Athlon 64處理器才是您理想的選擇。因為在高負荷的運算下，CPU的一級緩存和二級緩存近乎「爆滿」，在這個時候大容量的二級緩存能夠為處理器帶來5%-10%左右的性能提升，這對於那些要求苛刻的用戶來說是完全有必要的。
二級緩存：
二級緩存又叫L2 CACHE，它是處理器內部的一些緩沖存儲器，其作用跟內存一樣。 它是怎麼出現的呢？ 要上溯到上個世紀80年代，由於處理器的運行速度越來越快，慢慢地，處理器需要從內存中讀取數據的速度需求就越來越高了。然而內存的速度提升速度卻很緩慢，而能高速讀寫數據的內存價格又非常高昂，不能大量採用。從性能價格比的角度出發，英特爾等處理器設計生產公司想到一個辦法，就是用少量的高速內存和大量的低速內存結合使用，共同為處理器提供數據。這樣就兼顧了性能和使用成本的最優。而那些高速的內存因為是處於CPU和內存之間的位置，又是臨時存放數據的地方，所以就叫做緩沖存儲器了，簡稱「緩存」。它的作用就像倉庫中臨時堆放貨物的地方一樣，貨物從運輸車輛上放下時臨時堆放在緩存區中，然後再搬到內部存儲區中長時間存放。貨物在這段區域中存放的時間很短，就是一個臨時貨場。最初緩存只有一級，後來處理器速度又提升了，一級緩存不夠用了，於是就添加了二級緩存。二級緩存是比一級緩存速度更慢，容量更大的內存，主要就是做一級緩存和內存之間數據臨時交換的地方用。現在，為了適應速度更快的處理器P4EE，已經出現了三級緩存了，它的容量更大，速度相對二級緩存也要慢一些，但是比內存可快多了。緩存的出現使得CPU處理器的運行效率得到了大幅度的提升，這個區域中存放的都是CPU頻繁要使用的數據，所以緩存越大處理器效率就越高，同時由於緩存的物理結構比內存復雜很多，所以其成本也很高。
大量使用二級緩存帶來的結果是處理器運行效率的提升和成本價格的大幅度不等比提升。舉個例子，伺服器上用的至強處理器和普通的P4處理器其內核基本上是一樣的，就是二級緩存不同。至強的二級緩存是2MB～16MB，P4的二級緩存是512KB，於是最便宜的至強也比最貴的P4貴，原因就在二級緩存不同。
二級緩存又叫L2 CACHE，它是處理器內部的一些緩沖存儲器，其作用跟內存一樣。 它是怎麼出現的呢？ 要上溯到上個世紀80年代，由於處理器的運行速度越來越快，慢慢地，處理器需要從內存中讀取數據的速度需求就越來越高了。然而內存的速度提升速度卻很緩慢，而能高速讀寫數據的內存價格又非常高昂，不能大量採用。從性能價格比的角度出發，英特爾等處理器設計生產公司想到一個辦法，就是用少量的高速內存和大量的低速內存結合使用，共同為處理器提供數據。這樣就兼顧了性能和使用成本的最優。而那些高速的內存因為是處於CPU和內存之間的位置，又是臨時存放數據的地方，所以就叫做緩沖存儲器了，簡稱「緩存」。它的作用就像倉庫中臨時堆放貨物的地方一樣，貨物從運輸車輛上放下時臨時堆放在緩存區中，然後再搬到內部存儲區中長時間存放。貨物在這段區域中存放的時間很短，就是一個臨時貨場。最初緩存只有一級，後來處理器速度又提升了，一級緩存不夠用了，於是就添加了二級緩存。二級緩存是比一級緩存速度更慢，容量更大的內存，主要就是做一級緩存和內存之間數據臨時交換的地方用。現在，為了適應速度更快的處理器P4EE，已經出現了三級緩存了，它的容量更大，速度相對二級緩存也要慢一些，但是比內存可快多了。緩存的出現使得CPU處理器的運行效率得到了大幅度的提升，這個區域中存放的都是CPU頻繁要使用的數據，所以緩存越大處理器效率就越高，同時由於緩存的物理結構比內存復雜很多，所以其成本也很高。
大量使用二級緩存帶來的結果是處理器運行效率的提升和成本價格的大幅度不等比提升。舉個例子，伺服器上用的至強處理器和普通的P4處理器其內核基本上是一樣的，就是二級緩存不同。至強的二級緩存是2MB～16MB，P4的二級緩存是512KB，於是最便宜的至強也比最貴的P4貴，原因就在二級緩存不同。
『柒』 京東活動系統--億級流量架構應對之術
京東活動系統 是一個可在線編輯、實時編輯更新和發布新活動，並對外提供頁面訪問服務的系統。其高時效性、靈活性等特徵，極受青睞，已發展成京東幾個重要流量入口之一。近幾次大促，系統所承載的pv已經達到數億級。隨著京東業務的高速發展，京東活動系統的壓力會越來越大。急需要一個更高效，穩定的系統架構，來支持業務的高速發展。本文主要對活動頁面瀏覽方面的性能，進行探討。
活動頁面瀏覽性能提升的難點：
1. 活動與活動之間差異很大，不像商品頁有固定的模式。每個頁面能抽取的公共部分有限，可復用性差。
2. 活動頁面內容多樣，業務繁多。依賴大量外部業務介面，數據很難做到閉環。外部介面的性能，以及穩定性，嚴重製約了活動頁的渲染速度、穩定性。
經過多年在該系統下的開發實踐，提出「頁面渲染、瀏覽非同步化」的思想，並以此為指導，對該系統進行架構升級改造。通過近幾個月的運行，各方面性能都有顯著提升。在分享"新架構"之前，先看看我們現有web系統的架構現狀。
以京東活動系統架構的演變為例，這里沒有畫出具體的業務邏輯，只是簡單的描述下架構：
2.第二步，一般是在消耗性能的地方加緩存，這里對部分查庫操作加redis緩存
3.對頁面進行整頁redis緩存：由於活動頁面內容繁多，渲染一次頁面的成本是很高。這里可以考慮把渲染好的活動內容整頁緩存起來，下次請求到來時，如果緩存中有值，直接獲取緩存返回。
以上是系統應用服務層面架構演進的，簡單示意。為了減少應用伺服器的壓力，可以在應用伺服器前面，加cdn和nginx的proxy_caxhe，降低回源率。
4.整體架構（老）
除了前3步講的「瀏覽服務」，老架構還做了其他兩個大的優化：「介面服務」、靜態服務
1.訪問請求，首先到達瀏覽服務，把整個頁面框架返回給瀏覽器（有cdn、nginx、redis等各級緩存）。
2.對於實時數據（如秒殺）、個性化數據（如登陸、個人坐標），採用前端實時介面調用，前端介面服務。
3.靜態服務：靜態資源分離，所有靜態js、css訪問靜態服務。
要點：瀏覽服務、介面服務分離。頁面固定不變部分走瀏覽服務，實時變化、個性化採用前端介面服務實現。
介面服務：分兩類，直接讀redis緩存、調用外部介面。這里可以對直接讀redis的介面採用nginx+lua進行優化（ openresty ），不做詳細講解。 本次分享主要對「瀏覽服務」架構
在講新架構之前先看看新老架構下的新能對比
擊穿cdn緩存、nginx緩存，回源到應用伺服器的流量大約為20%-40%之間，這里的性能對比，只針對回源到應用伺服器的部分。
2015雙十一， 瀏覽方法tp99如下：（物理機）
Tp99 1000ms左右，且抖動幅度很大，內存使用近70%，cpu 45%左右。
1000ms內沒有緩存，有阻塞甚至掛掉的風險。
2.新架構瀏覽服務新能
本次2016 618採用新架構支持，瀏覽tp99如下（分app端活動和pc端活動）：
移動活動瀏覽tp99穩定在8ms, pc活動瀏覽tp99 穩定在15ms左右。全天幾乎一條直線，沒有性能抖動。
新架構支持，伺服器（docker）cpu性能如下
cpu消耗一直平穩在1%，幾乎沒有抖動。
對比結果：新架構tp99從1000ms降低到 15ms，cpu消耗從45%降低到1%，新架構性能得到質的提升。
why!!!
下面我們就來揭開新架構的面紗。
1. 頁面瀏覽，頁面渲染 非同步化
再來看之前的瀏覽服務架構，20%-40%的頁面請求會重新渲染頁面，渲染需要重新計算、查詢、創建對象等導致 cpu、內存消耗增加，tp99性能下降。
如果能保證每次請求都能獲取到redis整頁緩存，這些性能問題就都不存在了。
即：頁面瀏覽，與頁面渲染 非同步。
理想情況下，如果頁面數據變動可以通過 手動觸發渲染（頁面發布新內容）、外部數據變化通過監聽mq 自動觸發渲染。
但是有些外部介面不支持mq、或者無法使用mq，比如活動頁面置入的某個商品，這個商品名稱變化。
為了解決這個問題，view工程每隔指定時間，向engine發起重新渲染請求-最新內容放入redis。下一次請求到來時即可獲取到新內容。由於活動很多，也不能確定哪些活動在被訪問，所以不建議使用timer。通過加一個緩存key來實現，處理邏輯如下：
好處就是，只對有訪問的活動定時重新發起渲染。
整理架構（不包含業務）：
view工程職責 ：
a.直接從緩存或者硬碟中獲取靜態html返回，如果沒有返回錯誤頁面。（文件系統的存取性能比較低，超過 100ms級別，這里沒有使用）
b.根據緩存key2是否過期，判斷是否向engine重新發起渲染。（如果，你的項目外面介面都支持mq，這個 功能就不需要了）
engine工程職責 ：渲染活動頁面，把結果放到 硬碟、redis。
publish工程、mq 職責 ：頁面發生變化，向engine重新發起渲染。 具體的頁面邏輯，這里不做講解
Engine工程的工作 就是當頁面內容發生變化時，重新渲染頁面，並將整頁內容放到redis，或者推送到硬碟。
View工程的工作，就是根據鏈接從redis中獲取頁面內容返回。
3.view 工程架構 ( 硬碟 版)
兩個版本對比
a.Redis版
優點：接入簡單、 性能好，尤其是在大量頁面情況下，沒有性能抖動 。單個docker tps達到 700。
缺點：嚴重依賴京東redis服務，如果redis服務出現問題，所有頁面都無法訪問。
b.硬碟版
優點：不依賴任何其他外部服務，只要應用服務不掛、網路正常 就可以對外穩定服務。
在頁面數量不大的情況下，性能優越。單個docker tps達到 2000。
缺點：在頁面數據量大的情況下（系統的所有活動頁有xx個G左右），磁碟io消耗增加（這里採用的java io，如果採用nginx+lua，io消耗應該會控制在10%以內）。
解決方案：
a. 對所有頁面訪問和存儲 採用url hash方式，所有頁面均勻分配到各個應用伺服器上。
b. 採用nginx+lua 利用nginx的非同步io，代替java io。
現在通過nginx+lua做應用服務，所具有的高並發處理能力、高性能、高穩定性已經越來越受青睞。通過上述講解，view工程沒有任何業務邏輯。可以很輕易的就可以用lua實現，從redis或者硬碟獲取頁面，實現更高效的web服務。如果想學習Java工程化、高性能及分布式、深入淺出。微服務、Spring，MyBatis，Netty源碼分析的朋友可以加我的Java進階qun：694549689，裡面有阿里大牛直播講解技術，以及Java大型互聯網技術的視頻免費分享給大家。
1.具有1-5工作經驗的，面對目前流行的技術不知從何下手，需要突破技術瓶頸的可以加。
2.在公司待久了，過得很安逸，但跳槽時面試碰壁。需要在短時間內進修、跳槽拿高薪的可以加。
3.如果沒有工作經驗，但基礎非常扎實，對java工作機制，常用設計思想，常用java開發框架掌握熟練的可以加。
通過測試對比，view工程讀本地硬碟的速度，比讀redis還要快（同一個頁面，讀redis是15ms，硬碟是8ms）。所以終極版架構我選擇用硬碟，redis做備份，硬碟讀不到時在讀redis。
這里前置機的url hash是自己實現的邏輯，engine工程採用同樣的規則推送到view伺服器硬碟即可，具體邏輯這里不細講。後面有時間再單獨做一次分享。
優點：具備硬碟版的全部優點，同時去掉tomcat，直接利用nginx高並發能力，以及io處理能力。各項性能、以及穩定性達到最優。
缺點：1、硬碟壞掉，影響訪問。2.方法監控，以及日誌列印，需使用lua腳本重寫。
無論是redis版、硬碟版、openresty+硬碟版，基礎都是頁面瀏覽與頁面渲染非同步化。
優勢：
1、所有業務邏輯都剝離到engine工程，新view工程理論上永遠無需上線。
2、災備多樣化（redis、硬碟、文件系統），且更加簡單，外部介面或者服務出現問題後，切斷engine工程渲染，不再更新redis和硬碟即可。
3、新view工程，與業務邏輯完全隔離，不依賴外部介面和服務，大促期間，即便外部介面出現新能問題，或者有外部服務掛掉，絲毫不影響view工程正常訪問。
4、性能提升上百倍，從1000ms提升到10ms左右。詳見前面的性能截圖。
5、穩定性：只要view伺服器的網路還正常，可以做到理論上用不掛機。
6、大幅度節省伺服器資源，按此架構，4+20+30=54個docker足以支持10億級pv。（4個nginx proxy_cache、20個view，30個engine）
從事開發已有近10載，一直就像寄生蟲一樣吸取著網路上的資源。前段時間受「張開濤」大神所託，對活動系統新架構做了一次簡單整理分享給大家，希望能給大家帶來一絲幫助。第一次在網上做分享，難免有些沒有考慮周全的地方，以後會慢慢的多分享一些自己的心得，大家一起成長。最後再來點心靈雞湯。。。
『捌』 華為技術架構師分享：高並發場景下緩存處理的一些思路
在實際的開發當中，我們經常需要進行磁碟數據的讀取和搜索，因此經常會有出現從資料庫讀取數據的場景出現。但是當數據訪問量次數增大的時候，過多的磁碟讀取可能會最終成為整個系統的性能瓶頸，甚至是壓垮整個資料庫，導致系統卡死等嚴重問題。
常規的應用系統中，我們通常會在需要的時候對資料庫進行查找，因此系統的大致結構如下所示：
1.緩存和資料庫之間數據一致性問題
常用於緩存處理的機制我總結為了以下幾種：
首先來簡單說說Cache aside的這種方式：
Cache Aside模式
這種模式處理緩存通常都是先從資料庫緩存查詢，如果緩存沒有命中則從資料庫中進行查找。
這裡面會發生的三種情況如下：
緩存命中：
當查詢的時候發現緩存存在，那麼直接從緩存中提取。
緩存失效：
當緩存沒有數據的時候，則從database裡面讀取源數據，再加入到cache裡面去。
緩存更新：
當有新的寫操作去修改database裡面的數據時，需要在寫操作完成之後，讓cache裡面對應的數據失效。
關於這種模式下依然會存在缺陷。比如，一個是讀操作，但是沒有命中緩存，然後就到資料庫中取數據，此時來了一個寫操作，寫完資料庫後，讓緩存失效，然後，之前的那個讀操作再把老的數據放進去，所以，會造成臟數據。
Facebook的大牛們也曾經就緩存處理這個問題發表過相關的論文，鏈接如下:
分布式環境中要想完全的保證數據一致性是一件極為困難的事情，我們只能夠盡可能的減低這種數據不一致性問題產生的情況。
Read Through模式
Read Through模式是指應用程序始終從緩存中請求數據。 如果緩存沒有數據，則它負責使用底層提供程序插件從資料庫中檢索數據。 檢索數據後，緩存會自行更新並將數據返回給調用應用程序。使用Read Through 有一個好處。
我們總是使用key從緩存中檢索數據, 調用的應用程序不知道資料庫， 由存儲方來負責自己的緩存處理，這使代碼更具可讀性， 代碼更清晰。但是這也有相應的缺陷，開發人員需要給編寫相關的程序插件，增加了開發的難度性。
Write Through模式
Write Through模式和Read Through模式類似，當數據發生更新的時候，先去Cache裡面進行更新，如果命中了，則先更新緩存再由Cache方來更新database。如果沒有命中的話，就直接更新Cache裡面的數據。
2.緩存穿透問題
在高並發的場景中，緩存穿透是一個經常都會遇到的問題。
什麼是緩存穿透？
大量的請求在緩存中沒有查詢到指定的數據，因此需要從資料庫中進行查詢，造成緩存穿透。
會造成什麼後果？
大量的請求短時間內湧入到database中進行查詢會增加database的壓力，最終導致database無法承載客戶單請求的壓力，出現宕機卡死等現象。
常用的解決方案通常有以下幾類：
1.空值緩存
在某些特定的業務場景中，對於數據的查詢可能會是空的，沒有實際的存在，並且這類數據信息在短時間進行多次的反復查詢也不會有變化，那麼整個過程中，多次的請求資料庫操作會顯得有些多餘。
不妨可以將這些空值（沒有查詢結果的數據）對應的key存儲在緩存中，那麼第二次查找的時候就不需要再次請求到database那麼麻煩，只需要通過內存查詢即可。這樣的做法能夠大大減少對於database的訪問壓力。
2.布隆過濾器
通常對於database裡面的數據的key值可以預先存儲在布隆過濾器裡面去，然後先在布隆過濾器裡面進行過濾，如果發現布隆過濾器中沒有的話，就再去redis裡面進行查詢，如果redis中也沒有數據的話，再去database查詢。這樣可以避免不存在的數據信息也去往存儲庫中進行查詢情況。
什麼是緩存雪崩？
當緩存伺服器重啟或者大量緩存集中在某一個時間段失效，這樣在失效的時候，也會給後端系統(比如DB)帶來很大壓力。
如何避免緩存雪崩問題？
1.使用加鎖隊列來應付這種問題。當有多個請求湧入的時候，當緩存失效的時候加入一把分布式鎖，只允許搶鎖成功的請求去庫裡面讀取數據然後將其存入緩存中，再釋放鎖，讓後續的讀請求從緩存中取數據。但是這種做法有一定的弊端，過多的讀請求線程堵塞，將機器內存占滿，依然沒有能夠從根本上解決問題。
2.在並發場景發生前，先手動觸發請求，將緩存都存儲起來，以減少後期請求對database的第一次查詢的壓力。數據過期時間設置盡量分散開來，不要讓數據出現同一時間段出現緩存過期的情況。
3.從緩存可用性的角度來思考，避免緩存出現單點故障的問題，可以結合使用 主從+哨兵的模式來搭建緩存架構，但是這種模式搭建的緩存架構有個弊端，就是無法進行緩存分片，存儲緩存的數據量有限制，因此可以升級為Redis Cluster架構來進行優化處理。（需要結合企業實際的經濟實力，畢竟Redis Cluster的搭建需要更多的機器）
4.Ehcache本地緩存 + Hystrix限流&降級,避免MySQL被打死。
使用 Ehcache本地緩存的目的也是考慮在 Redis Cluster 完全不可用的時候，Ehcache本地緩存還能夠支撐一陣。
使用 Hystrix進行限流 & 降級 ，比如一秒來了5000個請求，我們可以設置假設只能有一秒 2000個請求能通過這個組件，那麼其他剩餘的 3000 請求就會走限流邏輯。
然後去調用我們自己開發的降級組件（降級），比如設置的一些默認值呀之類的。以此來保護最後的 MySQL 不會被大量的請求給打死。
『玖』 天貓雙十一是怎麼保證高並發，分布式系統中，數據一致性的
VPLEX的技術核心是「分布式緩存一致性」，下圖則是「分布式緩存一致性」技術的工作機制示意：正是因為這項核心技術優勢，使得VPLEX方案和目前所有廠商的虛擬化方案截然不同，並能夠實現異地的數據中心整合。對跨數據中心的所有負載實現跨引擎的平攤或者實時遷移，來自任何一個主機的I/O請求可以通過任何一個引擎得到響應。
緩存一致性的記錄目錄使用少量的元數據，記錄下哪個數據塊屬於哪個引擎更新的，以及在何時更新過，並通過4K大小的數據塊告訴在集群中的所有其他的引擎。在整個過程中實際發生的溝通過程，遠遠比實際上正在更新數據塊少很多。
分布式緩存一致性數據流示意圖：上方是一個目錄，記錄下左側的主機讀取緩存A的操作，並分發給所有引擎，右側主機需要讀取該數據塊時，會先通過目錄查詢，確定該數據塊所屬的引擎位置，讀取請求會直接發送給引擎，並直接從數據塊所在的緩存上讀取。
當一個讀請求進入時，VPLEX會自動檢查目錄，查找該數據塊所屬的引擎，一旦確定該數據塊所屬的引擎位置，讀的請求會直接發送給該引擎。一旦一個寫入動作完成，並且目錄表被修改，這時另一個讀請求從另一個引擎過來，VPLEX會檢查目錄，並且直接從該引擎的緩存上讀取。如果該數據仍然在緩存上，則完全沒必要去磁碟上讀取。
如上圖，來自圖中左側主機的操作，由Cache A服務，會記錄一個更新狀態，並分發給所有所有引擎知道。如果讀取的需求來自最右側的伺服器，首先通過目錄查詢。通過這種技術可以實現所有引擎一致性工作，而且這個技術不僅可以跨引擎還可以跨VPLEX集群，而VPLEX集群可以跨區域，因此緩存一致性也可以跨區域部署。
分布式緩存一致性技術使VPLEX相比傳統的虛擬化方案擁有更高的性能和可靠性，並實現異地數據中心的虛擬化整合
對傳統的虛擬化架構來說，如果虛擬化的I/O集群中有一個節點壞了，那麼性能就會降低一半，而且實際情況降低不止一半。因為壞了一個節點，這個節點緩存一般會被寫進去。因為沒有緩存，操作會直接寫到硬碟里。如果圖中中心這個節點壞掉，那主機所有的可用性都沒有了。而VPLEX如果有一個引擎或者一個控制器壞掉了，那這個引擎的負載會均攤到其他活動引擎上。這樣總體來講用戶可以維持可預知性能，性能降低也不那麼明顯。
『拾』 五種大數據處理架構
五種大數據處理架構
大數據是收集、整理、處理大容量數據集，並從中獲得見解所需的非傳統戰略和技術的總稱。雖然處理數據所需的計算能力或存儲容量早已超過一台計算機的上限，但這種計算類型的普遍性、規模，以及價值在最近幾年才經歷了大規模擴展。
本文將介紹大數據系統一個最基本的組件：處理框架。處理框架負責對系統中的數據進行計算，例如處理從非易失存儲中讀取的數據，或處理剛剛攝入到系統中的數據。數據的計算則是指從大量單一數據點中提取信息和見解的過程。
下文將介紹這些框架：
· 僅批處理框架：
Apache Hadoop
· 僅流處理框架：
Apache Storm
Apache Samza
· 混合框架：
Apache Spark
Apache Flink
大數據處理框架是什麼？
處理框架和處理引擎負責對數據系統中的數據進行計算。雖然「引擎」和「框架」之間的區別沒有什麼權威的定義，但大部分時候可以將前者定義為實際負責處理數據操作的組件，後者則可定義為承擔類似作用的一系列組件。
例如Apache Hadoop可以看作一種以MapRece作為默認處理引擎的處理框架。引擎和框架通常可以相互替換或同時使用。例如另一個框架Apache Spark可以納入Hadoop並取代MapRece。組件之間的這種互操作性是大數據系統靈活性如此之高的原因之一。
雖然負責處理生命周期內這一階段數據的系統通常都很復雜，但從廣義層面來看它們的目標是非常一致的：通過對數據執行操作提高理解能力，揭示出數據蘊含的模式，並針對復雜互動獲得見解。
為了簡化這些組件的討論，我們會通過不同處理框架的設計意圖，按照所處理的數據狀態對其進行分類。一些系統可以用批處理方式處理數據，一些系統可以用流方式處理連續不斷流入系統的數據。此外還有一些系統可以同時處理這兩類數據。
在深入介紹不同實現的指標和結論之前，首先需要對不同處理類型的概念進行一個簡單的介紹。
批處理系統
批處理在大數據世界有著悠久的歷史。批處理主要操作大容量靜態數據集，並在計算過程完成後返回結果。
批處理模式中使用的數據集通常符合下列特徵…
· 有界：批處理數據集代表數據的有限集合
· 持久：數據通常始終存儲在某種類型的持久存儲位置中
· 大量：批處理操作通常是處理極為海量數據集的唯一方法
批處理非常適合需要訪問全套記錄才能完成的計算工作。例如在計算總數和平均數時，必須將數據集作為一個整體加以處理，而不能將其視作多條記錄的集合。這些操作要求在計算進行過程中數據維持自己的狀態。
需要處理大量數據的任務通常最適合用批處理操作進行處理。無論直接從持久存儲設備處理數據集，或首先將數據集載入內存，批處理系統在設計過程中就充分考慮了數據的量，可提供充足的處理資源。由於批處理在應對大量持久數據方面的表現極為出色，因此經常被用於對歷史數據進行分析。
大量數據的處理需要付出大量時間，因此批處理不適合對處理時間要求較高的場合。
Apache Hadoop
Apache Hadoop是一種專用於批處理的處理框架。Hadoop是首個在開源社區獲得極大關注的大數據框架。基於谷歌有關海量數據處理所發表的多篇論文與經驗的Hadoop重新實現了相關演算法和組件堆棧，讓大規模批處理技術變得更易用。
新版Hadoop包含多個組件，即多個層，通過配合使用可處理批數據：
· HDFS：HDFS是一種分布式文件系統層，可對集群節點間的存儲和復制進行協調。HDFS確保了無法避免的節點故障發生後數據依然可用，可將其用作數據來源，可用於存儲中間態的處理結果，並可存儲計算的最終結果。
· YARN：YARN是Yet Another Resource Negotiator（另一個資源管理器）的縮寫，可充當Hadoop堆棧的集群協調組件。該組件負責協調並管理底層資源和調度作業的運行。通過充當集群資源的介面，YARN使得用戶能在Hadoop集群中使用比以往的迭代方式運行更多類型的工作負載。
· MapRece：MapRece是Hadoop的原生批處理引擎。
批處理模式
Hadoop的處理功能來自MapRece引擎。MapRece的處理技術符合使用鍵值對的map、shuffle、rece演算法要求。基本處理過程包括：
· 從HDFS文件系統讀取數據集
· 將數據集拆分成小塊並分配給所有可用節點
· 針對每個節點上的數據子集進行計算（計算的中間態結果會重新寫入HDFS）
· 重新分配中間態結果並按照鍵進行分組
· 通過對每個節點計算的結果進行匯總和組合對每個鍵的值進行「Recing」
· 將計算而來的最終結果重新寫入 HDFS
優勢和局限
由於這種方法嚴重依賴持久存儲，每個任務需要多次執行讀取和寫入操作，因此速度相對較慢。但另一方面由於磁碟空間通常是伺服器上最豐富的資源，這意味著MapRece可以處理非常海量的數據集。同時也意味著相比其他類似技術，Hadoop的MapRece通常可以在廉價硬體上運行，因為該技術並不需要將一切都存儲在內存中。MapRece具備極高的縮放潛力，生產環境中曾經出現過包含數萬個節點的應用。
MapRece的學習曲線較為陡峭，雖然Hadoop生態系統的其他周邊技術可以大幅降低這一問題的影響，但通過Hadoop集群快速實現某些應用時依然需要注意這個問題。
圍繞Hadoop已經形成了遼闊的生態系統，Hadoop集群本身也經常被用作其他軟體的組成部件。很多其他處理框架和引擎通過與Hadoop集成也可以使用HDFS和YARN資源管理器。
總結
Apache Hadoop及其MapRece處理引擎提供了一套久經考驗的批處理模型，最適合處理對時間要求不高的非常大規模數據集。通過非常低成本的組件即可搭建完整功能的Hadoop集群，使得這一廉價且高效的處理技術可以靈活應用在很多案例中。與其他框架和引擎的兼容與集成能力使得Hadoop可以成為使用不同技術的多種工作負載處理平台的底層基礎。
流處理系統
流處理系統會對隨時進入系統的數據進行計算。相比批處理模式，這是一種截然不同的處理方式。流處理方式無需針對整個數據集執行操作，而是對通過系統傳輸的每個數據項執行操作。
· 流處理中的數據集是「無邊界」的，這就產生了幾個重要的影響：
· 完整數據集只能代表截至目前已經進入到系統中的數據總量。
· 工作數據集也許更相關，在特定時間只能代表某個單一數據項。
處理工作是基於事件的，除非明確停止否則沒有「盡頭」。處理結果立刻可用，並會隨著新數據的抵達繼續更新。
流處理系統可以處理幾乎無限量的數據，但同一時間只能處理一條（真正的流處理）或很少量（微批處理，Micro-batch Processing）數據，不同記錄間只維持最少量的狀態。雖然大部分系統提供了用於維持某些狀態的方法，但流處理主要針對副作用更少，更加功能性的處理（Functional processing）進行優化。
功能性操作主要側重於狀態或副作用有限的離散步驟。針對同一個數據執行同一個操作會或略其他因素產生相同的結果，此類處理非常適合流處理，因為不同項的狀態通常是某些困難、限制，以及某些情況下不需要的結果的結合體。因此雖然某些類型的狀態管理通常是可行的，但這些框架通常在不具備狀態管理機制時更簡單也更高效。
此類處理非常適合某些類型的工作負載。有近實時處理需求的任務很適合使用流處理模式。分析、伺服器或應用程序錯誤日誌，以及其他基於時間的衡量指標是最適合的類型，因為對這些領域的數據變化做出響應對於業務職能來說是極為關鍵的。流處理很適合用來處理必須對變動或峰值做出響應，並且關注一段時間內變化趨勢的數據。
Apache Storm
Apache Storm是一種側重於極低延遲的流處理框架，也許是要求近實時處理的工作負載的最佳選擇。該技術可處理非常大量的數據，通過比其他解決方案更低的延遲提供結果。
流處理模式
Storm的流處理可對框架中名為Topology（拓撲）的DAG（Directed Acyclic Graph，有向無環圖）進行編排。這些拓撲描述了當數據片段進入系統後，需要對每個傳入的片段執行的不同轉換或步驟。
拓撲包含：
· Stream：普通的數據流，這是一種會持續抵達系統的無邊界數據。
· Spout：位於拓撲邊緣的數據流來源，例如可以是API或查詢等，從這里可以產生待處理的數據。
· Bolt：Bolt代表需要消耗流數據，對其應用操作，並將結果以流的形式進行輸出的處理步驟。Bolt需要與每個Spout建立連接，隨後相互連接以組成所有必要的處理。在拓撲的尾部，可以使用最終的Bolt輸出作為相互連接的其他系統的輸入。
Storm背後的想法是使用上述組件定義大量小型的離散操作，隨後將多個組件組成所需拓撲。默認情況下Storm提供了「至少一次」的處理保證，這意味著可以確保每條消息至少可以被處理一次，但某些情況下如果遇到失敗可能會處理多次。Storm無法確保可以按照特定順序處理消息。
為了實現嚴格的一次處理，即有狀態處理，可以使用一種名為Trident的抽象。嚴格來說不使用Trident的Storm通常可稱之為Core Storm。Trident會對Storm的處理能力產生極大影響，會增加延遲，為處理提供狀態，使用微批模式代替逐項處理的純粹流處理模式。
為避免這些問題，通常建議Storm用戶盡可能使用Core Storm。然而也要注意，Trident對內容嚴格的一次處理保證在某些情況下也比較有用，例如系統無法智能地處理重復消息時。如果需要在項之間維持狀態，例如想要計算一個小時內有多少用戶點擊了某個鏈接，此時Trident將是你唯一的選擇。盡管不能充分發揮框架與生俱來的優勢，但Trident提高了Storm的靈活性。
Trident拓撲包含：
· 流批（Stream batch）：這是指流數據的微批，可通過分塊提供批處理語義。
· 操作（Operation）：是指可以對數據執行的批處理過程。
優勢和局限
目前來說Storm可能是近實時處理領域的最佳解決方案。該技術可以用極低延遲處理數據，可用於希望獲得最低延遲的工作負載。如果處理速度直接影響用戶體驗，例如需要將處理結果直接提供給訪客打開的網站頁面，此時Storm將會是一個很好的選擇。
Storm與Trident配合使得用戶可以用微批代替純粹的流處理。雖然藉此用戶可以獲得更大靈活性打造更符合要求的工具，但同時這種做法會削弱該技術相比其他解決方案最大的優勢。話雖如此，但多一種流處理方式總是好的。
Core Storm無法保證消息的處理順序。Core Storm為消息提供了「至少一次」的處理保證，這意味著可以保證每條消息都能被處理，但也可能發生重復。Trident提供了嚴格的一次處理保證，可以在不同批之間提供順序處理，但無法在一個批內部實現順序處理。
在互操作性方面，Storm可與Hadoop的YARN資源管理器進行集成，因此可以很方便地融入現有Hadoop部署。除了支持大部分處理框架，Storm還可支持多種語言，為用戶的拓撲定義提供了更多選擇。
總結
對於延遲需求很高的純粹的流處理工作負載，Storm可能是最適合的技術。該技術可以保證每條消息都被處理，可配合多種編程語言使用。由於Storm無法進行批處理，如果需要這些能力可能還需要使用其他軟體。如果對嚴格的一次處理保證有比較高的要求，此時可考慮使用Trident。不過這種情況下其他流處理框架也許更適合。
Apache Samza
Apache Samza是一種與Apache Kafka消息系統緊密綁定的流處理框架。雖然Kafka可用於很多流處理系統，但按照設計，Samza可以更好地發揮Kafka獨特的架構優勢和保障。該技術可通過Kafka提供容錯、緩沖，以及狀態存儲。
Samza可使用YARN作為資源管理器。這意味著默認情況下需要具備Hadoop集群（至少具備HDFS和YARN），但同時也意味著Samza可以直接使用YARN豐富的內建功能。
流處理模式
Samza依賴Kafka的語義定義流的處理方式。Kafka在處理數據時涉及下列概念：
· Topic（話題）：進入Kafka系統的每個數據流可稱之為一個話題。話題基本上是一種可供消耗方訂閱的，由相關信息組成的數據流。
· Partition（分區）：為了將一個話題分散至多個節點，Kafka會將傳入的消息劃分為多個分區。分區的劃分將基於鍵（Key）進行，這樣可以保證包含同一個鍵的每條消息可以劃分至同一個分區。分區的順序可獲得保證。
· Broker（代理）：組成Kafka集群的每個節點也叫做代理。
· Procer（生成方）：任何向Kafka話題寫入數據的組件可以叫做生成方。生成方可提供將話題劃分為分區所需的鍵。
· Consumer（消耗方）：任何從Kafka讀取話題的組件可叫做消耗方。消耗方需要負責維持有關自己分支的信息，這樣即可在失敗後知道哪些記錄已經被處理過了。
由於Kafka相當於永恆不變的日誌，Samza也需要處理永恆不變的數據流。這意味著任何轉換創建的新數據流都可被其他組件所使用，而不會對最初的數據流產生影響。
優勢和局限
乍看之下，Samza對Kafka類查詢系統的依賴似乎是一種限制，然而這也可以為系統提供一些獨特的保證和功能，這些內容也是其他流處理系統不具備的。
例如Kafka已經提供了可以通過低延遲方式訪問的數據存儲副本，此外還可以為每個數據分區提供非常易用且低成本的多訂閱者模型。所有輸出內容，包括中間態的結果都可寫入到Kafka，並可被下游步驟獨立使用。
這種對Kafka的緊密依賴在很多方面類似於MapRece引擎對HDFS的依賴。雖然在批處理的每個計算之間對HDFS的依賴導致了一些嚴重的性能問題，但也避免了流處理遇到的很多其他問題。
Samza與Kafka之間緊密的關系使得處理步驟本身可以非常鬆散地耦合在一起。無需事先協調，即可在輸出的任何步驟中增加任意數量的訂閱者，對於有多個團隊需要訪問類似數據的組織，這一特性非常有用。多個團隊可以全部訂閱進入系統的數據話題，或任意訂閱其他團隊對數據進行過某些處理後創建的話題。這一切並不會對資料庫等負載密集型基礎架構造成額外的壓力。
直接寫入Kafka還可避免回壓（Backpressure）問題。回壓是指當負載峰值導致數據流入速度超過組件實時處理能力的情況，這種情況可能導致處理工作停頓並可能丟失數據。按照設計，Kafka可以將數據保存很長時間，這意味著組件可以在方便的時候繼續進行處理，並可直接重啟動而無需擔心造成任何後果。
Samza可以使用以本地鍵值存儲方式實現的容錯檢查點系統存儲數據。這樣Samza即可獲得「至少一次」的交付保障，但面對由於數據可能多次交付造成的失敗，該技術無法對匯總後狀態（例如計數）提供精確恢復。
Samza提供的高級抽象使其在很多方面比Storm等系統提供的基元（Primitive）更易於配合使用。目前Samza只支持JVM語言，這意味著它在語言支持方面不如Storm靈活。
總結
對於已經具備或易於實現Hadoop和Kafka的環境，Apache Samza是流處理工作負載一個很好的選擇。Samza本身很適合有多個團隊需要使用（但相互之間並不一定緊密協調）不同處理階段的多個數據流的組織。Samza可大幅簡化很多流處理工作，可實現低延遲的性能。如果部署需求與當前系統不兼容，也許並不適合使用，但如果需要極低延遲的處理，或對嚴格的一次處理語義有較高需求，此時依然適合考慮。
混合處理系統：批處理和流處理
一些處理框架可同時處理批處理和流處理工作負載。這些框架可以用相同或相關的組件和API處理兩種類型的數據，藉此讓不同的處理需求得以簡化。
如你所見，這一特性主要是由Spark和Flink實現的，下文將介紹這兩種框架。實現這樣的功能重點在於兩種不同處理模式如何進行統一，以及要對固定和不固定數據集之間的關系進行何種假設。
雖然側重於某一種處理類型的項目會更好地滿足具體用例的要求，但混合框架意在提供一種數據處理的通用解決方案。這種框架不僅可以提供處理數據所需的方法，而且提供了自己的集成項、庫、工具，可勝任圖形分析、機器學習、互動式查詢等多種任務。
Apache Spark
Apache Spark是一種包含流處理能力的下一代批處理框架。與Hadoop的MapRece引擎基於各種相同原則開發而來的Spark主要側重於通過完善的內存計算和處理優化機制加快批處理工作負載的運行速度。
Spark可作為獨立集群部署（需要相應存儲層的配合），或可與Hadoop集成並取代MapRece引擎。
批處理模式
與MapRece不同，Spark的數據處理工作全部在內存中進行，只在一開始將數據讀入內存，以及將最終結果持久存儲時需要與存儲層交互。所有中間態的處理結果均存儲在內存中。
雖然內存中處理方式可大幅改善性能，Spark在處理與磁碟有關的任務時速度也有很大提升，因為通過提前對整個任務集進行分析可以實現更完善的整體式優化。為此Spark可創建代表所需執行的全部操作，需要操作的數據，以及操作和數據之間關系的Directed Acyclic Graph（有向無環圖），即DAG，藉此處理器可以對任務進行更智能的協調。
為了實現內存中批計算，Spark會使用一種名為Resilient Distributed Dataset（彈性分布式數據集），即RDD的模型來處理數據。這是一種代表數據集，只位於內存中，永恆不變的結構。針對RDD執行的操作可生成新的RDD。每個RDD可通過世系（Lineage）回溯至父級RDD，並最終回溯至磁碟上的數據。Spark可通過RDD在無需將每個操作的結果寫回磁碟的前提下實現容錯。
流處理模式
流處理能力是由Spark Streaming實現的。Spark本身在設計上主要面向批處理工作負載，為了彌補引擎設計和流處理工作負載特徵方面的差異，Spark實現了一種叫做微批（Micro-batch）*的概念。在具體策略方面該技術可以將數據流視作一系列非常小的「批」，藉此即可通過批處理引擎的原生語義進行處理。
Spark Streaming會以亞秒級增量對流進行緩沖，隨後這些緩沖會作為小規模的固定數據集進行批處理。這種方式的實際效果非常好，但相比真正的流處理框架在性能方面依然存在不足。
優勢和局限
使用Spark而非Hadoop MapRece的主要原因是速度。在內存計算策略和先進的DAG調度等機制的幫助下，Spark可以用更快速度處理相同的數據集。
Spark的另一個重要優勢在於多樣性。該產品可作為獨立集群部署，或與現有Hadoop集群集成。該產品可運行批處理和流處理，運行一個集群即可處理不同類型的任務。
除了引擎自身的能力外，圍繞Spark還建立了包含各種庫的生態系統，可為機器學習、互動式查詢等任務提供更好的支持。相比MapRece，Spark任務更是「眾所周知」地易於編寫，因此可大幅提高生產力。
為流處理系統採用批處理的方法，需要對進入系統的數據進行緩沖。緩沖機制使得該技術可以處理非常大量的傳入數據，提高整體吞吐率，但等待緩沖區清空也會導致延遲增高。這意味著Spark Streaming可能不適合處理對延遲有較高要求的工作負載。
由於內存通常比磁碟空間更貴，因此相比基於磁碟的系統，Spark成本更高。然而處理速度的提升意味著可以更快速完成任務，在需要按照小時數為資源付費的環境中，這一特性通常可以抵消增加的成本。
Spark內存計算這一設計的另一個後果是，如果部署在共享的集群中可能會遇到資源不足的問題。相比HadoopMapRece，Spark的資源消耗更大，可能會對需要在同一時間使用集群的其他任務產生影響。從本質來看，Spark更不適合與Hadoop堆棧的其他組件共存一處。
總結
Spark是多樣化工作負載處理任務的最佳選擇。Spark批處理能力以更高內存佔用為代價提供了無與倫比的速度優勢。對於重視吞吐率而非延遲的工作負載，則比較適合使用Spark Streaming作為流處理解決方案。
Apache Flink
Apache Flink是一種可以處理批處理任務的流處理框架。該技術可將批處理數據視作具備有限邊界的數據流，藉此將批處理任務作為流處理的子集加以處理。為所有處理任務採取流處理為先的方法會產生一系列有趣的副作用。
這種流處理為先的方法也叫做Kappa架構，與之相對的是更加被廣為人知的Lambda架構（該架構中使用批處理作為主要處理方法，使用流作為補充並提供早期未經提煉的結果）。Kappa架構中會對一切進行流處理，藉此對模型進行簡化，而這一切是在最近流處理引擎逐漸成熟後才可行的。
流處理模型
Flink的流處理模型在處理傳入數據時會將每一項視作真正的數據流。Flink提供的DataStream API可用於處理無盡的數據流。Flink可配合使用的基本組件包括：
· Stream（流）是指在系統中流轉的，永恆不變的無邊界數據集
· Operator（操作方）是指針對數據流執行操作以產生其他數據流的功能
· Source（源）是指數據流進入系統的入口點
· Sink（槽）是指數據流離開Flink系統後進入到的位置，槽可以是資料庫或到其他系統的連接器
為了在計算過程中遇到問題後能夠恢復，流處理任務會在預定時間點創建快照。為了實現狀態存儲，Flink可配合多種狀態後端系統使用，具體取決於所需實現的復雜度和持久性級別。
此外Flink的流處理能力還可以理解「事件時間」這一概念，這是指事件實際發生的時間，此外該功能還可以處理會話。這意味著可以通過某種有趣的方式確保執行順序和分組。
批處理模型
Flink的批處理模型在很大程度上僅僅是對流處理模型的擴展。此時模型不再從持續流中讀取數據，而是從持久存儲中以流的形式讀取有邊界的數據集。Flink會對這些處理模型使用完全相同的運行時。
Flink可以對批處理工作負載實現一定的優化。例如由於批處理操作可通過持久存儲加以支持，Flink可以不對批處理工作負載創建快照。數據依然可以恢復，但常規處理操作可以執行得更快。
另一個優化是對批處理任務進行分解，這樣即可在需要的時候調用不同階段和組件。藉此Flink可以與集群的其他用戶更好地共存。對任務提前進行分析使得Flink可以查看需要執行的所有操作、數據集的大小，以及下游需要執行的操作步驟，藉此實現進一步的優化。
優勢和局限
Flink目前是處理框架領域一個獨特的技術。雖然Spark也可以執行批處理和流處理，但Spark的流處理採取的微批架構使其無法適用於很多用例。Flink流處理為先的方法可提供低延遲，高吞吐率，近乎逐項處理的能力。
Flink的很多組件是自行管理的。雖然這種做法較為罕見，但出於性能方面的原因，該技術可自行管理內存，無需依賴原生的Java垃圾回收機制。與Spark不同，待處理數據的特徵發生變化後Flink無需手工優化和調整，並且該技術也可以自行處理數據分區和自動緩存等操作。
Flink會通過多種方式對工作進行分許進而優化任務。這種分析在部分程度上類似於SQL查詢規劃器對關系型資料庫所做的優化，可針對特定任務確定最高效的實現方法。該技術還支持多階段並行執行，同時可將受阻任務的數據集合在一起。對於迭代式任務，出於性能方面的考慮，Flink會嘗試在存儲數據的節點上執行相應的計算任務。此外還可進行「增量迭代」，或僅對數據中有改動的部分進行迭代。
在用戶工具方面，Flink提供了基於Web的調度視圖，藉此可輕松管理任務並查看系統狀態。用戶也可以查看已提交任務的優化方案，藉此了解任務最終是如何在集群中實現的。對於分析類任務，Flink提供了類似SQL的查詢，圖形化處理，以及機器學習庫，此外還支持內存計算。
Flink能很好地與其他組件配合使用。如果配合Hadoop 堆棧使用，該技術可以很好地融入整個環境，在任何時候都只佔用必要的資源。該技術可輕松地與YARN、HDFS和Kafka 集成。在兼容包的幫助下，Flink還可以運行為其他處理框架，例如Hadoop和Storm編寫的任務。
目前Flink最大的局限之一在於這依然是一個非常「年幼」的項目。現實環境中該項目的大規模部署尚不如其他處理框架那麼常見，對於Flink在縮放能力方面的局限目前也沒有較為深入的研究。隨著快速開發周期的推進和兼容包等功能的完善，當越來越多的組織開始嘗試時，可能會出現越來越多的Flink部署
總結
Flink提供了低延遲流處理，同時可支持傳統的批處理任務。Flink也許最適合有極高流處理需求，並有少量批處理任務的組織。該技術可兼容原生Storm和Hadoop程序，可在YARN管理的集群上運行，因此可以很方便地進行評估。快速進展的開發工作使其值得被大家關注。
結論
大數據系統可使用多種處理技術。
對於僅需要批處理的工作負載，如果對時間不敏感，比其他解決方案實現成本更低的Hadoop將會是一個好選擇。
對於僅需要流處理的工作負載，Storm可支持更廣泛的語言並實現極低延遲的處理，但默認配置可能產生重復結果並且無法保證順序。Samza與YARN和Kafka緊密集成可提供更大靈活性，更易用的多團隊使用，以及更簡單的復制和狀態管理。
對於混合型工作負載，Spark可提供高速批處理和微批處理模式的流處理。該技術的支持更完善，具備各種集成庫和工具，可實現靈活的集成。Flink提供了真正的流處理並具備批處理能力，通過深度優化可運行針對其他平台編寫的任務，提供低延遲的處理，但實際應用方面還為時過早。
最適合的解決方案主要取決於待處理數據的狀態，對處理所需時間的需求，以及希望得到的結果。具體是使用全功能解決方案或主要側重於某種項目的解決方案，這個問題需要慎重權衡。隨著逐漸成熟並被廣泛接受，在評估任何新出現的創新型解決方案時都需要考慮類似的問題。