A. 如何區別資料庫、數據中台、數據湖
數據湖、數據倉庫和數據中台，他們並沒有直接的關系，只是他們為業務產生價值的形式有不同的側重。
一、區別：
數據湖作為一個集中的存儲庫，可以在其中存儲任意規模的所有結構化和非結構化數據。在數據湖中，可以存儲數據不需要對其進行結構化，就可以運行不同類型的分析。
數據倉庫，也稱為企業數據倉庫，是一種數據存儲系統，它將來自不同來源的結構化數據聚合起來，用於業務智能領域的比較和分析，數據倉庫是包含多種數據的存儲庫，並且是高度建模的。
數據中台是一個承接技術，引領業務，構建規范定義的、全域可連接萃取的、智慧的數據處理平台，建設目標是為了高效滿足前台數據分析和應用的需求。數據中台距離業務更近，能更快速的相應業務和應用開發的需求，可追溯，更精準。
二、關系：
數據湖、數據倉庫更多地是面向不同對象的不同形態的數據資產。而數據中台更多強調的是服務於前台，實現邏輯、標簽、演算法、模型的復用沉澱。
數據中台像一個「數據工廠」，涵蓋了數據湖、數據倉庫等存儲組件，隨著數據中台的發展，未來很有可能數據湖和數據倉庫的概念會被弱化。
三、小結：
數據空間持續增長，為了更好地發揮數據價值，未來數據技術趨於融合，同時也在不斷創新。
B. 數據湖的歷史數據保存
詳細如下：
據倉庫作為一種技術出現，它將組織的關系資料庫集合集中在一個傘下，允許作為一個整體查詢和查看數據。
起初，數據倉庫通常運行在來自 Teradata 和 Vertica 等供應商的昂貴的、基於本地設備的硬體上，後來在雲中可用。從 90 年代末開始，數據倉庫成為大公司最主要的數據架構。
C. 什麼是數據湖泊
數據湖或hub的概念最初是由大數據廠商提出的，表面上看，數據都是承載在基於可向外擴展的HDFS廉價存儲硬體之上的。但數據量越大，越需要各種不同種類的存儲。最終，所有的企業數據都可以被認為是大數據，但並不是所有的企業數據都是適合存放在廉價的HDFS集群之上的。
數據湖或hub的概念最初是由大數據廠商提出的，表面上看，數據都是承載在基於可向外擴展的HDFS廉價存儲硬體之上的。但數據量越大，越需要各種不同種類的存儲。最終，所有的企業數據都可以被認為是大數據，但並不是所有的企業數據都是適合存放在廉價的HDFS集群之上的。
D. 數據湖是什麼東東 數據湖的四個最佳實踐
數據湖聽起來很簡單：
把數據或信息匯集到一個結合處理速度和存儲空間的大數據系統――Hadoop集群或內存解決方案，那樣業務部門就能訪問數據，獲取新的洞察力。
不過，與IT行業的許多技術一樣，現實比夢想困難得多。
E. 用預處理後的數據訓練的模型測試新數據的時候怎麼辦
1）數據立方體聚集：聚集操作用於數據立方體結構中的數據。數據立方體存儲多維聚集信息。
2）屬性子集選擇，參見文本分類概述中特徵選擇演算法
3）維度歸約：使用數據編碼或變換，以便得到原數據的歸約或「壓縮」表示。歸約分為無損的和有損的。有效的有損維歸約方法為：小波變換和主成分分析
4）數值歸約：通過選擇替代的、『較小的』數據表示形式來減少數據量
5）離散化和概念分層產生
F. 傳統大數據存儲的架構有哪些各有什麼特點
數據源：所有大數據架構都從源代碼開始。這可以包含來源於資料庫的數據、來自實時源(如物聯網設備)的數據，及其從應用程序(如Windows日誌)生成的靜態文件。
實時消息接收：假如有實時源，則需要在架構中構建一種機制來攝入數據。
數據存儲：公司需要存儲將通過大數據架構處理的數據。一般而言，數據將存儲在數據湖中，這是一個可以輕松擴展的大型非結構化資料庫。
批處理和實時處理的組合：公司需要同時處理實時數據和靜態數據，因而應在大數據架構中內置批量和實時處理的組合。這是由於能夠應用批處理有效地處理大批量數據，而實時數據需要立刻處理才能夠帶來價值。批處理涉及到長期運轉的作業，用於篩選、聚合和准備數據開展分析。
分析數據存儲：准備好要分析的數據後，需要將它們放到一個位置，便於對整個數據集開展分析。分析數據儲存的必要性在於，公司的全部數據都聚集在一個位置，因而其分析將是全面的，而且針對分析而非事務進行了優化。
這可能採用基於雲計算的數據倉庫或關系資料庫的形式，具體取決於公司的需求。
分析或報告工具：在攝入和處理各類數據源之後，公司需要包含一個分析數據的工具。一般而言，公司將使用BI(商業智能)工具來完成這項工作，而且或者需要數據科學家來探索數據。
「大數據」 通常指的是那些數量巨大、難於收集、處理、分析的數據集，亦指那些在傳統基礎設施中長期保存的數據。大數據存儲是將這些數據集持久化到計算機中。
G. 預處理與存儲過程的含義,二者什麼區別程序中預處理只在insert時用嗎存儲過程一般什麼時候用
許多成熟的資料庫都支持預處理語句（Prepared Statements)的概念。它們是什麼東西？
你可以把它們想成是一種編譯過的要執行的sql語句模板，
可以使用不同的變數參數定製它。預處理語句具有兩個主要的優點：
查詢只需要被解析（或准備）一次，但可以使用相同或不同的參數執行多次。當查詢准備好（Prepared）之後，資料庫就會分析，編譯並優化它要執行查詢的計劃。對於復雜查詢來說，如果你要重復執行許多次有不同參數的但結構相同的查詢，這個過程會佔用大量的時間，使得你的應用變慢。通過使用一個預處理語句你就可以避免重復分析、編譯、優化的環節。簡單來說，預處理語句使用更少的資源，執行速度也就更快。
存儲過程
（stored procere）是一組為了完成特定功能的sql 語句集，經編譯後存儲在資料庫。中用戶通過指定存儲過程的名字並給出參數（如果該存儲過程帶有參數）來執行它
預處理不止是在插入數據時候用的 在改變、刪除的時候都可以用到
這兩個方法什麼時候都可以用 但是本人認為預處理比較好 因為不是每個高級資料庫都有很好的存儲過程 oracle 、mysql 、ms sql、DB2等每個資料庫軟體的存儲過程都不相同 其運行效率也不盡相同
具體喜好 因人而異
H. 數據湖和數據倉庫的區別是什麼
數據湖和數據倉庫的區別：
一個數據湖專門用於存儲任何形式的數據，即結構化或非結構化。它還使我們能夠以其本機格式保存大量原始數據，直到需要它為止。該術語主要與面向Hadoop的對象存儲相關。在這種情況下，首先將組織的數據載入到Hadoop平台，然後再載入到業務分析。進一步，將數據挖掘工具添加到該數據中，該數據挖掘工具通常位於商用計算機的Hadoop群集節點中。
數據倉庫
而數據倉庫收集來自多個源（內部或外部），該數據被進一步用於商業目的優化的數據。以這種形式，數據大部分是結構化的，並來自關系資料庫。但是，也可以收集非結構化數據，但是大多數情況是要收集結構化數據。
數據湖與數據倉庫：兩者都使用兩種不同的策略來存儲數據。
兩者之間的主要區別之一是，在數據湖中沒有特定的預定架構，它可以輕松容納結構化或非結構化數據。數據湖的概念僅在2000年才開始興起，國內數據湖的概念也是在2020年才由阿里在雲棲大會上提出並展露鋒芒，數據湖展示了如何存儲數據以及如何同時節省成本。
但數據倉庫卻不是這種情況，數據倉庫通常由確定的架構組成並處理主數據。
數據湖和數據倉庫在處理非結構化數據方面足夠有效，但是隨著生成的數據量的增加，存儲所有數據可能會變得昂貴。除此之外，這很耗時並且需要相當長的時間來進行分析和存儲。數據湖之所以走到最前沿的眾多原因之一。它可以最有效，最經濟地處理非結構化數據。
作為數據分析專業人士，您需要了解以下兩個術語之間的區別：
1.數據湖中使用的像大數據這樣的技術是一個新概念，但是，像數據倉庫這樣的概念已經使用了數十年。
2.在數據湖中，無論其結構如何，都可以存儲數據，並以原始形式保存數據，直到需要使用為止。但是在數據倉庫中，提取的數據組成了定量指標，其中對數據進行了清理和轉換。
3.數據湖具有存儲所有數據的能力，可以存儲當前數據和將來需要使用的數據。在數據倉庫中，需要花費大量時間專門用於分析多個源。
4.數據湖可以收集所有類型的數據，包括結構化和非結構化。但是，在數據倉庫中，它會收集結構化數據並將其按照專門為數據倉庫設計的架構進行排列。
5.數據湖包含所有類型的數據，並促使用戶在處理和清除數據之前訪問數據。數據倉庫提供對預定義數據類型的預定義問題的見解。
隨著非結構化數據的不斷增長，數據湖的興起將變得越來越流行。但是，仍然需要數據倉庫。因此，根據您的項目，您可能需要選擇最佳的存儲解決方案。
I. 物聯網解決方案中的大數據處
作者 | 網路大數據
來源 | raincent_com
隨著物聯網的演變和發展，所有可以想像到的東西(或事物)和產業都將變得更加智能：智能家居和智慧城市、智能製造機械、智能汽車、智能健康等等。無數被授權收集和交換數據的東西正在形成一個全新的網路——物聯網——一個可以在雲中收集數據、傳輸數據和完成用戶任務的物理對象網路。
物聯網和大數據正在走向勝利之路。不過，要想從這一創新中獲益，還需要解決一些挑戰和問題。在本文中，我們很高興與大家分享多年來在物聯網咨詢領域積累的知識。
物聯網大數據如何應用
首先，有多種方法可以從物聯網大數據中獲益：在某些情況下，通過快速分析就足夠了，而一些有價值的見解只有在經過深入的數據處理之後才能獲得。
實時監測。通過連網設備收集的數據可以用於實時操作：測量家中或辦公室的溫度、跟蹤身體活動(計算步數、監測運動)等;實時監測在醫療保健中被廣泛應用(例如，獲取心率、測量血壓、糖分等);它還成功地應用於製造業(用於控制生產設備)、農業(用於監測牛和作物)和其他行業。
數據分析。在處理物聯網生成的大數據時，我們有機會超越監測，並從這些數據中獲得有價值的見解：識別趨勢，揭示看不見的模式並找到隱藏的信息和相關性。
流程式控制制和優化。來自感測器的數據提供了額外的上下文情境信息，以揭示影響性能和優化流程的重要問題。
▲交通管理：跟蹤不同日期和時間的交通負荷，以制定出針對交通優化的建議，例如，在特定時間段增加公共汽車的數量，看看是否有改觀，以及建議引入新的交通信號燈方案和修建新的道路，以減少街道的交通擁堵狀況。
▲零售：跟蹤超市貨架中商品的銷售情況，並在商品快賣完之前及時通知工作人員補貨。
▲農業：根據感測器的數據，在必要時給作物澆水。
預測性維護。通過連網設備收集的數據可以成為預測風險、主動識別潛在危險狀況的可靠來源，例如：
▲醫療保健：監測患者健康狀態並識別風險(例如，哪些患者有糖尿病、心臟病發作的風險)，以便及時採取措施。
▲製造業：預測設備故障，以便在故障發生之前及時解決。
還應注意的是，並非所有的物聯網解決方案都需要大數據(例如，如果智能家居擁有者要藉助智能手機來關燈，則可以在沒有大數據的情況下執行此操作)。重要的是要考慮減少處理動態數據的工作量，並避免存儲將來沒有用處的大量數據。
物聯網中的大數據挑戰
除非處理大量數據以獲取有價值的見解，否則這些數據完全沒用。此外，在數據收集、處理和存儲方面還有各種挑戰。
▲數據可靠性。雖然大數據永遠不會100%准確，但在分析數據之前，請務必確保感測器工作正常，並且用於分析的數據質量可靠，且不會因各種因素(例如，機器運行的不利環境、感測器故障)而損壞。
▲要存儲哪些數據。連網設備會產生萬億位元組的數據，選擇存儲哪些數據和刪除哪些數據是一項艱巨的任務。更重要的是，一些數據的價值還遠遠沒有顯現出來，但將來您可能需要這些數據。如果您決定為將來存儲數據，那麼面臨的挑戰就是以最小的成本做到這一點。
▲分析深度。一旦並非所有大數據都很重要，就會出現另一個挑戰：什麼時候快速分析就足夠了，什麼時候需要進行更深入的分析以帶來更多價值。
▲安全。毫無疑問，各個領域的連網事物可以讓我們的生活變得更加美好，但與此同時，數據安全也成一個非常重要的問題。網路罪犯可以侵入數據中心和設備，連接到交通系統、發電廠、工廠，並從電信運營商那裡竊取個人數據。物聯網大數據對於安全專家來說還是一個相對較新的現象，相關經驗的缺失會增加安全風險。
物聯網解決方案中的大數據處理
在物聯網系統中，物聯網體系架構的數據處理組件因輸入數據的特性、預期結果等而不同。我們已經制定了一些方法來處理物聯網解決方案中的大數據。
數據來自與事物相連的感測器。「事物」可以是任何物體：烤箱、汽車、飛機、建築、工業機器、康復設備等。數據可以是周期性的，也可以是流式的。後者對於實時數據處理和迅速管理事物至關重要。
事物將數據發送到網關，以進行初始數據過濾和預處理，從而減少了傳輸到下一個物聯網系統中的數據量。
邊緣分析。在進行深入數據分析之前，有必要進行數據過濾和預處理，以選擇某些任務所需的最相關數據。此外，此階段還可以確保實時分析，以快速識別之前在雲中通過深度分析所發現的有用模式。
對於基本協議轉換和不同數據協議之間的通信，雲網關是必需的。它還支持現場網關和中央物聯網伺服器之間的數據壓縮和安全數據傳輸。
連網設備生成的數據以其自然格式存儲在數據湖中。原始數據通過「流」進入數據湖。數據保存在數據湖中，直到可以用於業務目的。清理過的結構化數據存儲在數據倉庫中。
機器學習模塊根據之前積累的歷史數據生成模型。這些模型定期(例如，一個月一次)用新數據流更新。輸入的數據被累積並應用於訓練和創建新模型。當這些模型經過專家的測試和批准後，控制應用程序就可以使用它們，以響應新的感測器數據發送命令或警報。
總結
物聯網產生大量數據，可用於實時監控、分析、流程優化和預測性維護等。然而，應該記住，從各種格式的海量數據中獲得有價值的見解並不是一件容易事情：您需要確保感測器工作正常，數據得到安全傳輸和有效處理。此外，始終存在一個問題：哪些數據值得存儲和處理。
盡管存在一些挑戰和問題，但應記住，物聯網的發展勢頭強勁，並可以幫助多個行業的企業開辟新的數字機遇。