資料團隊開始從資料倉儲開始

mdshamolahmed03

這很快就變成了一場競賽，將公司的所有數據放入一個位置，並至少使其「做好分析準備」。他們認為，這樣可以更輕鬆地存取數據和共享報告。最終，他們未能取得進展。大多數 BI 解決方案只是簡單地轉向連接到 Snowflake 等資料倉儲，而沒有實際轉向更好的視覺化或資料理解。 目前的現代資料堆疊 轉向資料倉儲概念是邁向現代資料堆疊的第一步。自下而上地分層建置解決方案。此舉旨在解決企業面臨的關鍵問題，並以邏輯順序進行。像 FiveTran 這樣的連接層作為連接到資料倉儲中儲存的資料的一種方式而變得流行。

然而，團隊很快就意識到，這不僅僅是將大量數據放入一個位置。他們需要解決一個更嚴重的問題——實現數據的單一事實來源。 部落格數據 現代資料堆疊和一些供應商 在過去的 4 年裡，資料團隊已將重點轉移到清理和驗證資料上，使其對於應用程式和業務用戶一致且 阿曼 電話號碼 值得信賴。輸入 dbt（資料建置工具）。資料分析師和工程師使用 dbt 在資料倉儲之上對資料進行轉換和建模，dbt 使準備和清理資料變得更加容易，從而提高了一致性。它提供了一個用於資料轉換的程式設計環境，允許編寫程式碼，然後編譯成 SQL，並針對資料倉儲運行。



包含的模板可以更輕鬆地在程式碼中建立巨集、聯合、連接、過濾器、循環和其他函數以幫助建模。逆向ETL工具（例如 Hightouch）也成為了這個難題的一部分。這些工具將乾淨的數據推送回使用它的應用程式（例如 CRM、產品分析解決方案和財務工具）。 以指標為中心的商業智能 雖然數據團隊已經成功地使用這些技術創建了乾淨的數據集，但整個企業的數據消費者通常會根據相同的數據得出不同的分析、見解和結果。這個適得其反且令人沮喪的問題促使我們找到了過去五年來一直在開發的解決方案。