
結果光是 2019 年第一年,就省下了數百萬美元的成本。Uber 也繼續在 2020 年訂定了大數據省錢發展藍圖,經過 2 年努力,在 2021 年 8 月時,就達到大數據支出節省 25% 的成果,新的目標是要在未來2 ~3 年要將大數據支出減半。
• Uber 大數據供應端省錢術
1. 全面改用便宜的超大容量硬碟
2. 主動預測HDFS區塊的資料熱度
3 讀取時間和寫入時間的負載平衡
4. 善用HDFS節點上的閒置CPU和記憶體
5. 善用線上服務主機上的閒置資源
• Uber大數據需求端省錢術
1. 劃分所有權,找出大數據平臺資源使用者
2. 自建資料族譜追蹤工具,將資料轉為知識
3. 建立資料方塊工具,掌握資源用量
4. 主動分析詮釋資料,找出無用資料集
5. 制定計價機制,使用者付費
• Uber大數據平臺效益優化術
1. 大數據檔案瘦身
2. HDFS抹除碼降低重複性資料
3. 改善YARN排程,提高叢集使用率
4. 用叢集聯邦提高擴充效能
5. 通用負載平衡,強化整體使用率
6. 查詢引擎優化,提高查詢效能
7. 每日更新增量變化,降低運算量需求
8. 靠後臺分擔前臺工作,減少前臺CPU需求