A. 經常聽他們說「雲計算,雲查毒等等。。。」這裡面的「雲」大概是什麼意思從哪裡引進的叫法
雲端雲端軟體平台介紹 什麼是雲端? 雲端 是一個小軟體,但又是一個大平台。安裝雲端之後,再使用其他軟體不再需要安裝——一點、下載、直接使用;並且,通過虛擬化的運行環境,能夠保持系統長久的干凈、綠色,並保持軟體與系統的安全隔離——此方面類似沙盒(sandbox)。簡言之,雲端=應用軟體的免安裝/便攜化 安全環境。提醒:雲端軟體平台的「雲端」二字,並不是指目前正在熱炒的「雲計算」。雲端是基於應用虛擬化的技術的軟體,它與VMware ThinApp、Symantec SVS、Microsoft APP-V在技術上有共同之處,但這三者都是面向企業級市場提供服務,而雲端是面向普通用戶群體的免費軟體。 軟體相關信息 雲端軟體平台V0.9 beta3 更新日期:2009-10-12 軟體大小:1.84 MB 運行平台:Windows 2000/XP/2003/vista/2008/win7 特色 一、虛擬化環境,帶給系統輕便、干凈、穩定,減少重裝煩惱 1、全面綠色化 綠色軟體通過分析安裝過程、修改、刪減而有免安裝、方便卸載、移動便攜等優點。但仍舊是運行在真實環境,有些綠軟仍然要寫入注冊表。 雲端為軟體提供虛擬化的運行環境,在保證軟體完整性、無改動的情況下,囊括綠色軟體所有優點,並為軟體運行虛擬注冊表、文件io等等,讓軟體運行全程無污染,全面綠色化。 2、隱藏與激活 隱藏與激活是系統與軟體之間的閥門。隱藏的軟體會被撤出虛擬環境,該軟體各虛擬位置(如C:\Program Files下的安裝目錄、注冊表等)將從系統中消失,保持虛擬環境和系統的高效率工作,和系統環境的清潔。軟體激活時,將被裝載入虛擬環境,保持與系統良好的關聯。 當需要時,可從隱藏狀態直接運行軟體。 3、重裝系統不再煩惱 重裝系統的最大煩惱之一:所有軟體都要重新安裝。但如果安裝了雲端,重裝後只需在雲端指定原來的緩存目錄,所有軟體即刻恢復使用,幫你消除重裝煩惱,還你輕松與快捷。 使用此功能,要求緩存目錄必須設置到非系統盤。 4、操作系統保護 雲端提供的虛擬化環境,極大的避免了軟體安裝使用和軟體安裝過多帶來的操作系統出錯、系統運行緩慢等,有效去除了軟體卸載不幹凈而殘留的注冊表、dll文件等系統垃圾。降低了重裝系統的頻率,保護系統的干凈、穩定。各種軟體想裝就裝,不再怕系統被拖慢、污染。 二、一鍵化的操作,體驗速度與流暢 1、一鍵使用 所有雲端軟體平台的軟體資源,從下載到使用一鍵搞定,體驗流暢與快捷。 2、一鍵重置 運行異常、出錯的軟體,一鍵重置為初始完好狀態。解決了以往需要把軟體卸載後再重裝的麻煩。 3、一鍵刪除 不再有繁瑣的,要「下一步、下一步」點擊的卸載。在雲端,無用軟體一鍵刪除,快速無痕。 4、一鍵備份 本地軟體列表一鍵備份到網路伺服器,配合雲端資源平台,隨時隨地使用你熟悉、中意的軟體。 三、豐富、安全的軟體資源,便捷的軟體使用、獲取方式 1、豐富、安全的資源 雲端的軟體資源,注重質量,不斷豐富。所有軟體均經過虛擬化處理,無毒、無木馬、無捆綁插件、軟體,放心使用。 2、快速裝機 內置在雲端的「裝機必備」列表,涵蓋常用流行的軟體,幫你迅速裝機。迷你資源門戶,讓你快速搜索、下載所需軟體。 3、免安裝使用 雲端軟體平台的所有軟體都免安裝使用,省去每次安裝的繁瑣,節約你的時間。 四、方便實用的軟體管理,靈活軟體分享,移動便攜 1、軟體分類管理 軟體分類管理,直觀、清晰;軟體狀態圖標,狀態一目瞭然。讓你集中、方便的管理軟體。 2、軟體分享靈活方便 雲端提供多種軟體分享方式:將本地雲端緩存復制到另一台電腦上,即刻可用;將本地雲端軟體列表或下載鏈接導入另一台電腦,即可下載。 雲端的多點分發,在區域網內分享時,下載可達到區域網內傳輸的高速。 3、軟體輕松移植,移動便攜 雲端里的軟體可以輕松移植至別的電腦中,換了電腦,也可立即使用。 可將雲端緩存設置在移動存儲上,或將緩存復制到移動存儲中,實現軟體隨身攜帶,移動辦公。 [編輯本段]技術簡介 雲端採用的應用虛擬化技術,與目前較為人熟知的硬體虛擬化(machine Virtualization,如VMware、Virtual PC等)、操作系統虛擬化(OS Virtualization, 如Virtuozzo等)不同,雲端的應用虛擬化更輕量級,更適用於桌面和應用程序等的虛擬化,為PC領域帶來更好的桌面和軟體使用的體驗。 實現原理 未使用雲端的系統 下面以雲端的隱藏與激活的功能為例,簡要說明下雲端應用虛擬化的實現原理。 未使用雲端的系統 系統環境:系統中有本地安裝的軟體A和其它系統進程。 當系統沒有使用雲端時,用普通方法在本地安裝軟體A後,在注冊表系統中有軟體A的注冊表項集合,在文件系統中有軟體A文件集合。同時,注冊表系統和文件系統還有系統其它進程的注冊表項和文件集合。 軟體A和其它系統進程,一般都可對注冊表系統和文件系統的任何位置訪問,不管這個注冊表項和文件集合是自己的還是別的進程的。所有寫的操作的結果都會留在原始的物理位置上。 使用雲端的系統:軟體處於激活狀態 使用了雲端的PC:被虛擬化的軟體B,處於激活狀態 系統環境:系統中有被虛擬化的軟體B、本地安裝的軟體B和其它系統進程。 當軟體B被雲端虛擬化後,雲端將軟體B原本寫到注冊表系統的注冊表項和寫到文件系統的的文件分離出來,存儲在軟體B的注冊表緩存和文件緩存中,這些緩存數據存儲在雲端獨有的緩存里(cloudcache)。 當在雲端中激活軟體B時,雲端會將軟體B的注冊表緩存投影到真實系統的注冊表中,並不佔用該物理位置空間;文件系統也是如此,會將文件緩存投影至真實的文件系統中,並不佔物理空間。 此時,安裝在系統中的軟體A和其它進程都可以看到軟體B的注冊項和文件集合,並認為是真實的。他們對彼此的注冊表項和文件集合的互相訪問和使用都照常進行。 但對於軟體B的注冊表和文件的投影的寫操作和讀操作,其實都直接針對其緩存,而不是軟體A和其它進程所看到的位置。 使用了雲端:軟體處於隱藏狀態 使用了雲端的PC:處於隱藏狀態的軟體B 系統環境:系統中有處於隱藏狀態的軟體B,本地安裝的軟體A和其它系統進程。 當將軟體B被隱藏後,雲端將取消軟體B原來的注冊表和文件的投影,軟體A和其它系統進程也就看不到了。效果相當於軟體B在系統中被卸載了。 [編輯本段]雲端的新聞 電腦用戶軟體管理進入快時代 據中國互聯網路信息中心(CNNIC)《第22次中國互聯網路發展狀況統計報告》顯示,截至2008年6月30日,我國網民數量達到2.53億,網民規模躍居世界第一位,中國電腦用戶數量已經相當龐大。然而,盡管我國擁有海量電腦用戶群體,但是用戶在使用各種電腦軟體過程中,卻需要經過搜索、下載及安裝等環節,十分繁瑣,「耗時」問題嚴重。同時,許多軟體已被木馬插件惡意感染,不利於用戶使用。為此,許多電腦用戶呼籲能有如同「管家」的軟體系統,能讓各種軟體復雜的安裝使用變得快速便捷。 而記者在剛剛結束的「首屆中國優秀軟體創新大賽」上獲悉,由成都朗弘科技研發的「雲端軟體平台」則解決了目前普遍存在的軟體使用「耗時」現象。據了解,雲端軟體平台是以虛擬化技術為應用手段的一種創新軟體使用平台,在虛擬環境下,不僅成功的實現了軟體免安裝使用,而且在脫離網路的情況下同樣可以使用。 雲端所特有的網路備份功能,還具有U盤一樣攜帶使用的便捷作用。同時,在雲端使用的軟體,當系統重裝後只需安裝雲端,所有軟體立即恢復使用,無需再次下載,大大節省了電腦用戶軟體安裝管理的時間成本。此外,雲端為軟體提供虛擬化的運行環境,能夠保持系統長久的干凈、綠色,為軟體虛擬注冊表、文件IO等,避免了軟體安裝、使用、卸載帶來的系統污染。 提及虛擬化技術,從事虛擬機提供的美國VMware一直走在技術前沿,雲端軟體平台的問世,則為國內虛擬技術向世界的接軌起到了推動作用。雲端軟體平台的創始人楊小鋒在接受采訪時表示,虛擬化技術早已被列為未來三年內影響力最大的10大應用技術之一,目前市場上還沒有與雲端軟體模式相同的產品,僅僅有技術類似的研發項目。雲端軟體平台的問世,將成為電腦用戶名副其實的電腦軟體「管家」,輕松提升用戶的軟體使用與管理,節省更多時間,雲端軟體平台的公測版產品也已經發布。 而為驗證該軟體平台的實用性,記者也走訪了幾位試用的用戶,他們告訴記者,該產品對各種電腦軟體的管理確實方便快捷,能為用戶創造方便、快捷、安全、高效的使用體驗。同時他們表示,隨著該軟體平台的日臻完善,將會被更多的電腦用戶接受,並有可能像殺毒軟體一樣成為電腦用戶的必備軟體。 此外,該軟體也受到了金山軟體總裁求伯君、中國互聯網協會秘書長黃澄清、程序員雜志社社長、CSDN總裁蔣濤等業界知名人士的一致認可,並一舉奪得「首屆中國優秀軟體創新大賽」金獎。或許不久的將來,在雲端軟體的普及下,中國電腦用戶將迎來電腦軟體使用的快時代。
B. 計算機裡面的緩沖和緩存是什麼意思
緩沖器相當於一個寄存器,暫時保存數據。緩沖區是內存中存放數據的地方。在程序試圖將數據放到機器內存中的某一個位 置的時候,因為沒有足夠的空間就會發生緩沖區溢出。而人為的溢出則是有一定企圖的,攻擊者寫一個超過緩沖區長度的字元串,然後植入到緩沖區,而再向一個有 限空間的緩沖區中植入超長的字元串可能會出現兩個結果,一是過長的字元串覆蓋了相鄰的存儲單元,引起程序運行失敗,嚴重的可導致系統崩潰;另有一個結果就 是利用這種漏洞可以執行任意指令,甚至可以取得系統root特級許可權。大多造成緩沖區溢出的原因是程序中沒有仔細檢查用戶輸入參數而造成的。
緩沖區是程序運行的時候機器內存中的一個連續塊,它保存了給定類型的數據,隨著動態分配變數會出現問題。大多時為了不佔用太多的內存,一個有動態分配變數 的程序在程序運行時才決定給它們分配多少內存。這樣想下去的話,如果說要給程序在動態分配緩沖區放入超長的數據,它就會溢出了。一個緩沖區溢出程序使用這 個溢出的數據將匯編語言代碼放到機器的內存里,通常是產生root許可權的地方,這就不是什麼好現象了。僅僅就單個的緩沖區溢出惹眼,它並不是最大的問題根 本所在。但如果溢出送到能夠以root許可權運行命令的區域,一旦運行這些命令,那可就等於把機器拱手相讓了。
緩存:它事實上相當於一個臨時倉庫。每次打開一個網頁,IE會自動創建一份該網頁文字和圖像的緩存文件(一個臨時副本)。當再次打開該頁時,IE會檢查網 站伺服器上該頁的變化。如果頁面變化了,IE從網路上重新下載新的網頁。如果該頁面沒有變化,IE就從內存或硬碟上使用緩存中的臨時復本來顯示它。
IE會在緩存中保留網頁到硬碟,直到各自的緩存占滿空間;IE則根據網頁的時間和空間來向下取捨。這樣設計的目的是為了更快地裝載頁面。
緩存不僅可以用來加快網頁載入速度,而且當需要查看以前看過的網頁時,還可以無需驅動「小貓」,只需單擊IE上的「文件→離線工作」菜單命令,然後單擊工具欄上的「歷史」按鈕,即可方便地進行瀏覽。
既然IE緩存有這個妙處,那自然應該共享它了。除了直接復制緩存文件的方法外,還有大搬家—更改IE緩存的保存路徑法: 首先打開IE瀏覽器,單擊「工具→Internet選項」菜單命令,打開「Internet選項」對話框。在「常規」選項卡中單擊「Internet臨時 文件」部分的「設置」按鈕,打開「設置」對話框,單擊「移動文件夾」按鈕,在打開的「瀏覽文件夾」對話框里定位到另一個分區下的某個路徑,然後單擊「確定 」按鈕即可
C. 緩沖區和磁碟緩存,分別是啥含義我怎麼覺得差不多呢
一般編程所說的緩沖區指的是內存緩沖區,這是程序所設置的一塊內存區域,用來暫存從其他設備讀入的數據或即將寫入其他設備的數據。
而硬碟緩沖區有兩種:
一是上面說的內存緩沖區,只是它是專門為讀取或寫入硬碟而設置的,因此可以簡稱為硬碟緩沖區。這個的例子是很多下載軟體如迅雷中都有的磁碟緩存設置,即先將數據下載到內存中緩存起來,達到一定數量後再寫到硬碟里,從而減少了讀寫硬碟的次數,達到保護硬碟的目的。
另一種是硬碟本身攜帶的一塊隨機存儲器,大小通常為數MB到幾十MB,這個是固化在硬碟內部的。它的作用和前一種類似,也是為了增加讀寫效率和保護硬碟,只是它是系統中所有程序所共用的,並且除了驅動程序外,通常的程序無法控制它,因此很多程序還會從內存中再設置一塊緩存供自己使用。
D. 基於雲計算的分布式存儲怎麼實現的
拿神州雲科的DCN NCS DFS2000來說:
橫向擴展體系結構:真正的分布式、全對稱群集體系結構,將模塊化存儲節點與數據和存儲管理軟體相結合
內部高速互連:後端採用10GE或40GE Infiniband網路互聯
智能負載均衡:跨節點的客戶端連接負載均衡,自動平衡容量和性能,優化集群資源
按需擴展:3-144節點無縫擴展,容量、性能歲節點增加而線性增長,在 60 秒鍾內添加一個節點以擴展性能和容量;
全局命名空間:最大20.7PB的單一文件系統,完全日誌式、完全分布式全局連貫寫/讀緩存
E. 計算機的硬碟性能,緩存指的是什麼
什麼是硬碟緩存
緩存英文名為Cache,它也是內存的一種,其數據交換速度快且運算頻率高。 硬碟的緩存是硬碟與外部匯流排交換數據的場所。硬碟的讀數據的過程是將磁信號轉化為電信號後,通過緩存一次次地填充與清空,再填充,再清空,一步步按照PCI匯流排的周期送出,可見,緩存的作用是相當重要的。根據寫入方式的不同,有寫通式和回寫式兩種。寫通式在讀硬碟數據時,系統先檢查請求指令,看看所要的數據是否在緩存中,如果在的話就由緩存送出響應的數據,這個過程稱為命中。這樣系統就不必訪問硬碟中的數據,由於SDRAM的速度比磁介質快很多,因此也就加快了數據傳輸的速度。回寫式就是在寫入硬碟數據時也在緩存中找,如果找到就由緩存就數據寫入盤中,現在的多數硬碟都是採用的回寫式硬碟,這樣就大大提高了性能。
硬碟在控制器上的一塊內存晶元,其類型一般以SDRAM為主,具有極快的存取速度,它是硬碟內部存儲和外界介面之間的緩沖器。由於硬碟的內部數據傳輸速度和外界介面傳輸速度不同,緩存在其中起到一個緩沖的作用。緩存的大小與速度是直接關繫到硬碟的傳輸速度的重要因素,能夠大幅度地提高硬碟整體性能。當硬碟存取零碎數據時需要不斷地在硬碟與內存之間交換數據,如果有大緩存,則可以將那些零碎數據暫存在緩存中,減小外系統的負荷,也提高了數據的傳輸速度。在介面技術已經發展到一個相對成熟的階段的時候,緩存的大小與速度是直接關繫到硬碟的傳輸速度的重要因素。目前主流硬碟的緩存主要有8MB和16MB等幾種,最大的台式機緩存容量如已經提升到64M。
硬碟緩存的主要作用
硬碟的緩存主要起三種作用:
一是預讀取。當硬碟受到CPU指令控制開始讀取數據時,硬碟上的控制晶元會控制磁頭把正在讀取的簇的下一個或者幾個簇中的數據讀到緩存中(由於硬碟上數據存儲時是比較連續的,所以讀取命中率較高),當需要讀取下一個或者幾個簇中的數據的時候,硬碟則不需要再次讀取數據,直接把緩存中的數據傳輸到內存中就可以了,由於緩存的速度遠遠高於磁頭讀寫的速度,所以能夠達到明顯改善性能的目的。
二是對寫入動作進行緩存。當硬碟接到寫入數據的指令之後,並不會馬上將數據寫入到碟片上,而是先暫時存儲在緩存里,然後發送一個「數據已寫入」的信號給系統,這時系統就會認為數據已經寫入,並繼續執行下面的工作,而硬碟則在空閑(不進行讀取或寫入的時候)時再將緩存中的數據寫入到碟片上。雖然對於寫入數據的性能有一定提升,但也不可避免地帶來了安全隱患——如果數據還在緩存里的時候突然掉電,那麼這些數據就會丟失。對於這個問題,硬碟廠商們自然也有解決辦法:掉電時,磁頭會藉助慣性將緩存中的數據寫入零磁軌以外的暫存區域,等到下次啟動時再將這些數據寫入目的地。
三是臨時存儲最近訪問過的數據。有時候,某些數據是會經常需要訪問的,硬碟內部的緩存會將讀取比較頻繁的一些數據存儲在緩存中,再次讀取時就可以直接從緩存中直接傳輸。緩存就像是一台計算機的內存一樣,在硬碟讀寫數據時,負責數據的存儲、寄放等功能。這樣一來,不僅可以大大減少數據讀寫的時間以提高硬碟的使用效率。同時利用緩存還可以讓硬碟減少頻繁的讀寫,讓硬碟更加安靜,更加省電。更大的硬碟緩存,你將讀取游戲時更快,拷貝文件時候更快,在系統啟動中更為領先……
F. 雲計算 cdn idc 區別
1,雲存儲:是雲計算的存儲部分,強調存儲,不包含分發。資源放在服務商的雲存儲平台上,用戶從雲存儲平台上獲取資源。
2,CDN:包含兩部分一部分是緩存,一部分是分發,用戶訪問資源時是從就近的相同網路的緩存伺服器上獲取資源的。舉例說,雲帆DCDN,是動態CDN,將資源放在全國礦工挖礦客戶端上,用戶就近訪問獲取資源。
3,IDC:主要是主機託管和帶寬租賃。也就是說IDC是賣產品,而CDN是在IDC基礎上賣加速服務。
(6)讀寫緩存區雲計算擴展閱讀:
三者之間的關系:
1,雲計算、CDN都是建立在伺服器集群上,也就是說建立在IDC上。IDC是雲計算的硬體基礎,CDN依託於IDC構建,也可以依託於雲計算構建。雲能提供包括空間,存儲、資料庫、緩存、大數據等等。
2,CDN也是雲的一部分,對服務端而言提供緩存,減輕主伺服器壓力。對客戶端而言提供更快的瀏覽更好的體驗,比如看視頻或直播可以從雲的各節點的CDN里讀取視頻,不用從主伺服器讀取,對於大流量網站而言極大減少延時,而客戶體驗得到極大提高。
G. 什麼是雲存儲技術
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。
雲存儲的兩個層面
雲存儲的兩個層面是作為雲計算支撐的存儲計算,主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域,如圖8-30所示,這在第6章中已有所介紹。和雲安全技術一樣,雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術,才能取得最佳效果,例如,對應不同需求,有時應該使用資料庫技術但有時卻應該使用LDAP技術,有些性能要求高的系統不能使用SAN或NAS,需直接使用基於RPC或Socket技術的並發文件系統,有些應用使用SAN成本太高等,這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統,對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構
分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。
傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構,集中元數據和控制操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下:
緊耦合對稱(TCS)架構
構建TCS系統是為了解決單一文件性能所面臨的挑戰,這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品,很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構
LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處,允許進行新層次的擴展:
● 存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認信息。
● 節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。
● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。
● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要,如光纖通道或infiniband,從而進一步降低成本。
● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的數據可用性。
● 擁有集中元數據意味著,存儲節點可以旋轉地進行深層次應用程序歸檔,而且在控制節點上,元數據經常都是可用的。
H. 大數據、雲計算、人工智慧之間有什麼樣的關系
雲計算最初的目標是對資源的管理,管理的主要是計算資源,網路資源,存儲資源三個方面。想像你有一大堆的伺服器,交換機,存儲設備,放在你的機房裡面,你最想做的事情就是把這些東西統一的管理起來,最好能達到當別人向你請求分配資源的時候(例如1核1G內存,10G硬碟,1M帶寬的機器),能夠達到想什麼時候要就能什麼時候要,想要多少就有多少的狀態。
這就是所謂的彈性,俗話說就是靈活性。靈活性分兩個方面,想什麼時候要就什麼時候要,這叫做時間靈活性,想要多少就要多少,這叫做空間靈活性。
這個神經元有輸入,有輸出,輸入和輸出之間通過一個公式來表示,輸入根據重要程度不同(權重),影響著輸出。
於是將n個神經元通過像一張神經網路一樣連接在一起,n這個數字可以很大很大,所有的神經元可以分成很多列,每一列很多個排列起來,每個神經元的對於輸入的權重可以都不相同,從而每個神經元的公式也不相同。當人們從這張網路中輸入一個東西的時候,希望輸出一個對人類來講正確的結果。例如上面的例子,輸入一個寫著2的圖片,輸出的列表裡面第二個數字最大,其實從機器來講,它既不知道輸入的這個圖片寫的是2,也不知道輸出的這一系列數字的意義,沒關系,人知道意義就可以了。正如對於神經元來說,他們既不知道視網膜看到的是美女,也不知道瞳孔放大是為了看的清楚,反正看到美女,瞳孔放大了,就可以了。
對於任何一張神經網路,誰也不敢保證輸入是2,輸出一定是第二個數字最大,要保證這個結果,需要訓練和學習。畢竟看到美女而瞳孔放大也是人類很多年進化的結果。學習的過程就是,輸入大量的圖片,如果結果不是想要的結果,則進行調整。如何調整呢,就是每個神經元的每個權重都向目標進行微調,由於神經元和權重實在是太多了,所以整張網路產生的結果很難表現出非此即彼的結果,而是向著結果微微的進步,最終能夠達到目標結果。當然這些調整的策略還是非常有技巧的,需要演算法的高手來仔細的調整。正如人類見到美女,瞳孔一開始沒有放大到能看清楚,於是美女跟別人跑了,下次學習的結果是瞳孔放大一點點,而不是放大鼻孔。
聽起來也沒有那麼有道理,但是的確能做到,就是這么任性。
神經網路的普遍性定理是這樣說的,假設某個人給你某種復雜奇特的函數,f(x):
不管這個函數是什麼樣的,總會確保有個神經網路能夠對任何可能的輸入x,其值f(x)(或者某個能夠准確的近似)是神經網路的輸出。
如果在函數代表著規律,也意味著這個規律無論多麼奇妙,多麼不能理解,都是能通過大量的神經元,通過大量權重的調整,表示出來的。
這讓我想到了經濟學,於是比較容易理解了。
我們把每個神經元當成社會中從事經濟活動的個體。於是神經網路相當於整個經濟社會,每個神經元對於社會的輸入,都有權重的調整,做出相應的輸出,比如工資漲了,菜價也漲了,股票跌了,我應該怎麼辦,怎麼花自己的錢。這裡面沒有規律么?肯定有,但是具體什麼規律呢?卻很難說清楚。
基於專家系統的經濟屬於計劃經濟,整個經濟規律的表示不希望通過每個經濟個體的獨立決策表現出來,而是希望通過專家的高屋建瓴和遠見卓識總結出來。專家永遠不可能知道哪個城市的哪個街道缺少一個賣甜豆腐腦的。於是專家說應該產多少鋼鐵,產多少饅頭,往往距離人民生活的真正需求有較大的差距,就算整個計劃書寫個幾百頁,也無法表達隱藏在人民生活中的小規律。
基於統計的宏觀調控就靠譜的多了,每年統計局都會統計整個社會的就業率,通脹率,GDP等等指標,這些指標往往代表著很多的內在規律,雖然不能夠精確表達,但是相對靠譜。然而基於統計的規律總結表達相對比較粗糙,比如經濟學家看到這些統計數據可以總結出長期來看房價是漲還是跌,股票長期來看是漲還是跌,如果經濟總體上揚,房價和股票應該都是漲的。但是基於統計數據,無法總結出股票,物價的微小波動規律。
基於神經網路的微觀經濟學才是對整個經濟規律最最准確的表達,每個人對於從社會中的輸入,進行各自的調整,並且調整同樣會作為輸入反饋到社會中。想像一下股市行情細微的波動曲線,正是每個獨立的個體各自不斷交易的結果,沒有統一的規律可循。而每個人根據整個社會的輸入進行獨立決策,當某些因素經過多次訓練,也會形成宏觀上的統計性的規律,這也就是宏觀經濟學所能看到的。例如每次貨幣大量發行,最後房價都會上漲,多次訓練後,人們也就都學會了。
然而神經網路包含這么多的節點,每個節點包含非常多的參數,整個參數量實在是太大了,需要的計算量實在太大,但是沒有關系啊,我們有大數據平台,可以匯聚多台機器的力量一起來計算,才能在有限的時間內得到想要的結果。
於是工智能程序作為SaaS平台進入了雲計算。
網易將人工智慧這個強大的技術,應用於反垃圾工作中,從網易1997年推出郵箱產品開始,我們的反垃圾技術就在不停的進化升級,並且成功應用到各個億量級用戶的產品線中,包括影音娛樂,游戲,社交,電商等產品線。比如網易新聞、博客相冊、雲音樂、雲閱讀、有道、BOBO、考拉、游戲等產品。總的來說,反垃圾技術在網易已經積累了19年的實踐經驗,一直在背後默默的為網易產品保駕護航。現在作為雲平台的SaaS服務開放出來。
回顧網易反垃圾技術發展歷程,大致上我們可以把他分為三個關鍵階段,也基本對應著人工智慧發展的三個時期:
第一階段主要是依賴關鍵詞,黑白名單和各種過濾器技術,來做一些內容的偵測和攔截,這也是最基礎的階段,受限於當時計算能力瓶頸以及演算法理論的發展,第一階段的技術也能勉強滿足使用。
第二個階段時,基於計算機行業里有一些更新的演算法,比如說貝葉斯過濾(基於概率論的演算法),一些膚色的識別,紋理的識別等等,這些比較優秀成熟的論文出來,我們可以基於這些演算法做更好的特徵匹配和技術改造,達到更優的反垃圾效果。
最後,隨著人工智慧演算法的進步和計算機運算能力的突飛猛進,反垃圾技術進化到第三個階段:大數據和人工智慧的階段。我們會用海量大數據做用戶的行為分析,對用戶做畫像,評估用戶是一個垃圾用戶還是一個正常用戶,增加用戶體驗更好的人機識別手段,以及對語義文本進行理解。還有基於人工智慧的圖像識別技術,更准確識別是否是色情圖片,廣告圖片以及一些違禁品圖片等等。
I. 緩沖區(或緩存)是不是指內存啊
1,高速緩存(Cache),全稱「高速緩沖存儲器」。
2,例如:當CPU處理數據時,它會先到高速緩存中去尋找,如果數據因之前的操作已經讀取而被暫存其中,就不需要再從主內存中讀取數據——由於CPU的運行速度一般比主內存快,因此若要經常存取主內存的話,就必須等待數個CPU周期從而造成浪費。
3,提供「高速緩存」的目的是為了讓數據存取的速度適應CPU的處理速度,其基於的原理是內存中「程序執行與數據訪問的局域性行為」。
4,現在Cache的概念已經被擴充了:不僅在CPU和主內存之間有Cache,而且在內存和硬碟之間也有Cache(磁碟高速緩存),乃至在硬碟與網路之間也有某種意義上的「Cache」(Internet臨時文件夾)。
5,凡是位於速度相差較大的兩種硬體之間的,用於協調兩者數據傳輸速度差異的結構,均可稱之為Cache。
6,所以硬碟和內存之間的Cache就叫做磁碟高速緩存。它是在內存中開辟一塊位置,來臨時存取硬碟中的數據。這項技術可使計算機讀寫時的存儲系統平均數據傳輸率提高5-10倍,適應了當前激增的海量數據存儲需求。
7,在DOS時代,我們用:
smartdrv 內存容量
命令來載入硬碟高速緩存。自從有了Windows後,我們就不需要載入硬碟高速緩存了,因為Windows本身有自己的高速緩存管理單元,如果強行使用smartdrv命令載入,反而會影響Windows的性能。
8,我們在用硬碟安裝Win2000/XP時候,系統會提示載入高速緩存,這是因為在安裝的初期還是DOS操作,所以為了達到讀存的速度,安裝程序要求載入高速緩存。