當前位置:首頁 » 服務存儲 » 存儲io不搞為何緩存下不去
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

存儲io不搞為何緩存下不去

發布時間: 2022-04-08 04:53:39

A. 緩存寫入失敗,I/O錯誤

非常可能是硬碟有壞驅,可以找軟體把壞驅隔離掉。

B. Java IO中緩沖區問題

讀寫的緩沖區都是在內存中的,

緩沖當然就是一個中間層的作用,當你讀的時候,先把你的文件讀到緩沖區,然後再完成讀的操作

寫是一樣的,緩沖區的作用就是為了避免這種硬碟的直接IO操作,如果緩沖區還放在硬碟上也就失

去意義了。

C. 求教無緩沖 IO 與緩沖 IO 的區別~

fopen與open的區別- -

1.緩沖文件系統

緩沖文件系統的特點是:在內存開辟一個「緩沖區」,為程序中的每一個文件使用,當執行讀文件的操作時,從磁碟文件將數據先讀入內存「緩沖區」,裝滿後再從內存「緩沖區」依此讀入接收的變數。執行寫文件的操作時,先將數據寫入內存「緩沖區」,待內存「緩沖區」裝滿後再寫入文件。由此可以看出,內存「緩沖區」的大小,影響著實際操作外存的次數,內存「緩沖區」越大,則操作外存的次數就少,執行速度就快、效率高。一般來說,文件「緩沖區」的大小隨機器而定。

fopen, fclose, fread, fwrite, fgetc, fgets, fputc, fputs, freopen, fseek, ftell, rewind等

2.非緩沖文件系統

緩沖文件系統是藉助文件結構體指針來對文件進行管理,通過文件指針來對文件進行訪問,既可以讀寫字元、字元串、格式化數據,也可以讀寫二進制數據。非緩沖文件系統依賴於操作系統,通過操作系統的功能對文件進行讀寫,是系統級的輸入輸出,它不設文件結構體指針,但效率高、速度快,由於ANSI標准不再包括非緩沖文件系統,因此建議大家最好不要選擇它。

open, close, read, write, getc, getchar, putc, putchar 等

D. java的IO流中可以通過自定義一個數組來存儲數據,為什麼還要使用緩存區呢

IO流自定義位元組流的緩沖區:

思路:BufferedInputStream類中read()方法的工作原理
1)先一個一個從位元組流中讀取位元組,讀取一定量(自定義)之後,存儲在一個位元組數組(緩沖區)(FileInputStream.read(byte[] b)),並獲得存儲數量(read方法的返回值)。
2)一個一個位元組返回,返回一個,存儲數量減1,然後指針往後移一位,准備取下一個。
3)如果存儲數量為0 ,代表當前數組中所有數據已經全部取完,此時再來一次讀取(read(byte[] b)),再獲得此次存儲數量。
4)如果存儲數量(即read方法返回-1),代表讀到文件末尾,返回-1。
因此,需要用到以下幾個變數:
讀取的位元組數量,指向數組中准備取哪一個的指針,將要返回的位元組變數。

E. Javaio緩沖區為什麼不直接開辟大空間

Javaio緩沖區不直接開辟大空間原因:有效地管理系統資源,方便用戶使用的程序集合。(操作系統是加在裸機上的第一層軟體,是用戶與計算機的介面)。

當BufferedReader在讀取文本文件時,會先盡量從文件中讀入字元數據並置入緩沖區,如果緩沖區數據不足,才會再從文件中讀取。這里的緩沖區應該是在硬碟中。

使用BufferedWriter時,寫入的數據並不會先輸出到目的地,而是先存儲至緩沖區中。如果緩沖區中的數據滿了,才會一次對目的地進行寫出。這里的緩存區應該在內存中。

原理:

Java把這些不同來源和目標的數據都統一抽象為數據流。Java語言的輸入輸出功能是十分強大而靈活的,美中不足的是看上去輸入輸出的代碼並不是很簡潔,因為你往往需要包裝許多不同的對象。

在Java類庫中,IO部分的內容是很龐大的,因為它涉及的領域很廣泛:標准輸入輸出,文件的操作,網路上的數據流,字元串流,對象流,zip文件流。



F. IO的提高緩存

衡量性能的幾個指標的計算中我們可以看到一個15k轉速的磁碟在隨機讀寫訪問的情況下IOPS竟然只有140左右,但在實際應用中我們卻能看到很多標有5000IOPS甚至更高的存儲系統,有這么大IOPS的存儲系統怎麼來的呢?這就要歸結於各種存儲技術的使用了,在這些存儲技術中使用最廣的就是高速緩存(Cache)和磁碟冗餘陣列(RAID)了,本文就將探討緩存和磁碟陣列提高存儲IO性能的方法。 在當下的各種存儲產品中,按照速度從快到慢應該就是內存>快閃記憶體>磁碟>磁帶了,然而速度越快也就意味著價格越高,快閃記憶體雖然說是發展勢頭很好,磁碟的速度無疑是計算機系統中最大的瓶頸了,所以在必須使用磁碟而又想提高性能的情況下,人們想出了在磁碟中嵌入一塊高速的內存用來保存經常訪問的數據從而提高讀寫效率的方法來折中的解決,這塊嵌入的內存就被稱為高速緩存。
說到緩存,到操作系統層,再到磁碟控制器,還有CPU內部,單個磁碟的內部也都存在緩存,所有這些緩存存在的目的都是相同的,就是提高系統執行的效率。
當然在這里我們只提跟IO性能相關的緩存,與IO性能直接相關的幾個緩存分別是文件系統緩存(File SySTem Cache)、磁碟控制器緩存(Disk CONtroller Cache)和磁碟緩存(Disk Cache,也稱為Disk Buffer),不過當在計算一個磁碟系統性能的時候文件系統緩存也是不會考慮在內的,我們重點考察的就是磁碟控制器緩存和磁碟緩存。
不管是控制器緩存還是磁碟緩存,他們所起的作用主要是分為三部分:緩存數據、預讀(Read-ahead)和回寫(Write-back)。
緩存數據
首先是系統讀取過的數據會被緩存在高速緩存中,這樣下次再次需要讀取相同的數據的時候就不用在訪問磁碟,直接從緩存中取數據就可以了。當然使用過的數據也不可能在緩存中永久保留的,緩存的數據一般那是採取LRU演算法來進行管理,目的是將長時間不用的數據清除出緩存,那些經常被訪問的卻能一直保留在緩存中,直到緩存被清空。
預讀
預讀是指採用預讀演算法在沒有系統的IO請求的時候事先將數據從磁碟中讀入到緩存中,然後在系統發出讀IO請求的時候,就會實現去檢查看看緩存裡面是否存在要讀取的數據,如果存在(即命中)的話就直接將結果返回,這時候的磁碟不再需要定址、旋轉等待、讀取數據這一序列的操作了,這樣是能節省很多時間的;如果沒有命中則再發出真正的讀取磁碟的命令去取所需要的數據。
緩存的命中率跟緩存的大小有很大的關系,理論上是緩存越大的話,所能緩存的數據也就越多,這樣命中率也自然越高,當然緩存不可能太大,畢竟成本在那兒呢。如果一個容量很大的存儲系統配備了一個很小的讀緩存的話,這時候問題會比較大的,因為小緩存緩存的數據量非常小,相比整個存儲系統來說比例非常低,這樣隨機讀取(資料庫系統的大多數情況)的時候命中率也自然就很低,這樣的緩存不但不能提高效率(因為絕大部分讀IO都還要讀取磁碟),反而會因為每次去匹配緩存而浪費時間。
執行讀IO操作是讀取數據存在於緩存中的數量與全部要讀取數據的比值稱為緩存命中率(Read Cache Hit Radio),假設一個存儲系統在不使用緩存的情況下隨機小IO讀取能達到150IOPS,而它的緩存能提供10%的緩存命中率的話,那麼實際上它的IOPS可以達到150/(1-10%)=166。
回寫
要先說一下,用於回寫功能的那部分緩存被稱為寫緩存(Write Cache)。在一套寫緩存打開的存儲中,操作系統所發出的一系列寫IO命令並不會被挨個的執行,這些寫IO的命令會先寫入緩存中,然後再一次性的將緩存中的修改推到磁碟中,這就相當於將那些相同的多個IO合並成一個,多個連續操作的小IO合並成一個大的IO,還有就是將多個隨機的寫IO變成一組連續的寫IO,這樣就能減少磁碟定址等操作所消耗的時間,大大的提高磁碟寫入的效率。
讀緩存雖然對效率提高是很明顯的,但是它所帶來的問題也比較嚴重,因為緩存和普通內存一樣,掉電以後數據會全部丟失,當操作系統發出的寫IO命令寫入到緩存中後即被認為是寫入成功,而實際上數據是沒有被真正寫入磁碟的,此時如果掉電,緩存中的數據就會永遠的丟失了,這個對應用來說是災難性的,目前解決這個問題最好的方法就是給緩存配備電池了,保證存儲掉電之後緩存數據能如數保存下來。
和讀一樣,寫緩存也存在一個寫緩存命中率(Write Cache Hit Radio),不過和讀緩存命中情況不一樣的是,盡管緩存命中,也不能將實際的IO操作免掉,只是被合並了而已。
控制器緩存和磁碟緩存除了上面的作用之外還承當著其他的作用,比如磁碟緩存有保存IO命令隊列的功能,單個的磁碟一次只能處理一個IO命令,但卻能接收多個IO命令,這些進入到磁碟而未被處理的命令就保存在緩存中的IO隊列中。
RAID(Rendant ArrayOf Inexpensive Disks)
如果你是一位資料庫管理員或者經常接觸伺服器,那對RAID應該很熟悉了,作為最廉價的存儲解決方案,RAID早已在伺服器存儲中得到了普及。在RAID的各個級別中,應當以RAID10和RAID5(不過RAID5已經基本走到頭了,RAID6正在崛起中,看看這里了解下原因)應用最廣了。下面將就RAID0,RAID1,RAID5,RAID6,RAID10這幾種級別的RAID展開說一下磁碟陣列對於磁碟性能的影響,當然在閱讀下面的內容之前你必須對各個級別的RAID的結構和工作原理要熟悉才行,這樣才不至於滿頭霧水,推薦查看wikipedia上面的如下條目:RAID,Standard RAID levels,Nested RAID levels。 RAID0將數據條帶化(striping)將連續的數據分散在多個磁碟上進行存取,系統發出的IO命令(不管讀IO和寫IO都一樣)就可以在磁碟上被並行的執行,每個磁碟單獨執行自己的那一部分請求,這樣的並行的IO操作能大大的增強整個存儲系統的性能。假設一個RAID0陣列有n(n>=2)個磁碟組成,每個磁碟的隨機讀寫的IO能力都達到140的話,那麼整個磁碟陣列的IO能力將是140*n。同時如果在陣列匯流排的傳輸能力允許的話RAID0的吞吐率也將是單個磁碟的n倍。
其他RAID區域
· RAID1鏡像磁碟,使用2塊硬碟,一般做系統盤的鏡像,讀IO為一塊硬碟的IO,寫IO為2塊硬碟的IO。
RAID10既能增加IO的讀寫性能又能實現數據的冗餘,使用盤的數量為2的倍數且要大於等於4,且硬碟空間相同,這樣的缺點是要實現IO擴展就必須增加相應的硬碟數量,實現同樣的性能硬碟成本要成倍增長。允許不同硬碟數據的任何一塊丟失。
RAID3拿出單獨一塊盤做奇偶校驗盤,做到數據的冗餘
這種情況下允許一塊硬碟損壞。由於磁碟的任何數據發生改變都會重新對校驗盤進行改寫,所以過多的寫操作會成為整個系統的瓶頸,此種RAID級別只能用於對讀請求相對較高,寫請求不多的環境。RAID3已基本淘汰,一般用RAID5技術替代。

G. 無緩沖 IO 與緩沖 IO 的區別

壽命長短!

H. 智能機IO是什麼意思,我在用360優化大師性能評估時,顯示手機IO存儲空間不足,待測評,IO到底是什麼呀...

IO就是input和output的縮寫,意為輸入和輸出,這個一般和內存有關,出現你這樣的問題應該是緩存佔用過多,導致帶寬不足!

I. 對c語言中的i/o流,完全緩沖和不緩沖具體差別在哪裡,能舉個例子說明一下嗎

實際上就是I/O效率的問題,

不緩沖的話,數據直接送給 I/O 設備,由於I/O設備的速度相對CPU 內存來說慢很多,
所以經常使用I/O就會影響效率

所以在運算結果和I/O 間建立一個緩沖(一般為內存空間) 把運算結果 先放到這個緩沖里
當緩沖滿的時候才啟動I/O 傳送數據,當然缺陷是 如果緩沖未滿,這時程序終止運行
那麼這些在緩沖里的數據就會丟失

你可以做個寫文件的例題,
open
write 一些數據(不要超過緩沖長度)
最後不要調用 close 或者 flush
這個時候你會發現實際文件里沒有寫入任何數據

如果你write的數據超過緩沖,你會發現就會有一部分數據被寫入文件了

所以緩沖是一種用空間換時間 提高運行效率的解決方案
比如
硬碟 - 內存- CPU
內存 - cache- CPU
GPU - 顯存
這些都屬於使用緩沖的概念