數據湖，數據倉庫和大數據：有什么區(qū)別？_昆山滿座網
介紹
許多負責領先數據項目的高管在通用數據方面面臨困惑。大數據，數據湖，數據倉庫和數據集市之間有什么區(qū)別？大數據何時“足夠大”？為什么這么重要？
相關推薦：探索將雙語運輸IT服務外包的收益和風險
在本文中，我們將分解不同術語之間的區(qū)別，以便您可以在任何與數據相關的會議，項目簡介或員工倡議中聽起來更加聰明。
首先，什么是數據？
本質上，數據是定量和定性信息的存儲。在您的企業(yè)中，這可能是有關以下信息：
您的內部員工
您的客戶
您的內部流程
您的財務數據
服務臺票號
更重要的是，不可能在一個文檔中列出所有維度和指標。您的數據分布在組織內外的許多系統(tǒng)，數據庫和組中。
您的數據也處于相關性，準確性，及時性和可訪問性的各種狀態(tài)。其中一些與其他數據保持一致，而另一些則沒有。
如果您的組織像超過95％的公司一樣，那么您將面臨許多非結構化和骯臟的數據。這種狀態(tài)通常被我們稱為“數據湖”。
什么是數據湖？
數據湖是收集數據并處于自然狀態(tài)的地方。這可能意味著數據是非結構化的，不清楚的或無法在管道中使用。數據湖始終存儲您擁有的所有數據，包括數十年的歷史數據。
存儲數據湖通常很便宜，而且大多不受管理。
數據什么時候成為“大數據”？
經常使用的另一個術語是大數據，這是有充分理由的。由于數據存儲的可用性，存儲的可承受性以及每天生成數據的系統(tǒng)和設備的數量，大數據正在成為一種日益增長的現象。
大數據按照通用定義是“包含更多種類的數據，它們以越來越大的數量和越來越快的速度到達。”
您的數據是您最大的資產，也是您最大的風險……但是，只有當您真正理解它時，它才有用。
這就是為什么數據集市如此有用。
什么是數據集市？
數據集市是數據倉庫中以主題為中心的部分，可以回答特定問題，通常是有關特定業(yè)務領域或關鍵業(yè)務問題的問題。更好的是，數據中心被設計為能夠按需回答問題并使數據值得信賴，這與數據湖不同，后者可能是骯臟且沒有結構的。
數據倉庫通常是許多不同數據市場的組合。
什么是數據倉庫？
根據Wikipedia所述，數據倉庫是“……來自一個或多個不同來源的集成數據的中央存儲庫。它們存儲當前和歷史數據，并用于為高級管理人員報告創(chuàng)建趨勢報告，例如年度和季度比較?！?/span>
與數據湖不同，數據倉庫是結構化數據的有意來源。此外，它是一個由多個來源組成的單一存儲庫，其中許多本身就是數據湖。
我們的儀表板服務建立在開發(fā)健壯的數據倉庫和管道的基礎上，因此您的團隊可以輕松地查看，分析和可視化您的數據。
如何確定下一步
在大多數情況下，從數據湖到數據倉庫或數據中心的遷移涉及許多數據工程活動，例如數據清理，ETL流程和數據管道。
在決定雇用某人進行下一個數據項目之前，了解您現在的位置非常重要。
以下是一些要問您的團隊的問題：
我們的數據有多孤立？
我們的數據有多干凈？
我們是否有足夠大的數據集可用于該計劃？
我們有明確的用例嗎？
我們的內部團隊現在可以處理項目的哪些部分？
我們正在尋找什么樣的投資回報率？
我們是否比其他地方更急切需要知道哪個領域？
在嘗試ML之前，我們真的只需要可視化嗎？
如果您希望專家?guī)椭_定從哪里開始以及在數據，勞動力，工具和預算方面需要什么，我們可以為您提供幫助。我們的許多項目都涉及與數據相關的計劃，
