Uber 大數據省錢術 (下) - 飛虎行空 - udn部落格
飛虎行空
作家:飛虎行空
文章分類
    Top
    Uber 大數據省錢術 (下)
    2022/02/23 14:46:14
    瀏覽:783
    迴響:1
    推薦:4
    引用0
    Uber 大數據省錢戰略分別從供應端戰略(用來執行大數據儲存和運算工作量的硬體資源如何優化)和需求端戰略(各式各樣的工作量需求如何優化)以及媒合大數據供應和需求之間的平臺效益戰略,從這三大戰略來提高成本效益,這是遵循 CAP 公式,就要同時考慮成本效益(Cost-Efficiency),準確度(Accuracy)和效能(Performance)三者的拿捏,這三者的相乘是一個常數。

    結果光是 2019 年第一年,就省下了數百萬美元的成本。Uber 也繼續在 2020 年訂定了大數據省錢發展藍圖,經過 2 年努力,在 2021 年 8 月時,就達到大數據支出節省 25% 的成果,新的目標是要在未來2 ~3 年要將大數據支出減半。

    • Uber 大數據供應端省錢術

    1. 全面改用便宜的超大容量硬碟

    2. 主動預測HDFS區塊的資料熱度

    3 讀取時間和寫入時間的負載平衡

    4. 善用HDFS節點上的閒置CPU和記憶體

    5. 善用線上服務主機上的閒置資源

    • Uber大數據需求端省錢術

    1. 劃分所有權,找出大數據平臺資源使用者

    2. 自建資料族譜追蹤工具,將資料轉為知識

    3. 建立資料方塊工具,掌握資源用量

    4. 主動分析詮釋資料,找出無用資料集

    5. 制定計價機制,使用者付費

    • Uber大數據平臺效益優化術

    1. 大數據檔案瘦身

    2. HDFS抹除碼降低重複性資料

    3. 改善YARN排程,提高叢集使用率

    4. 用叢集聯邦提高擴充效能

    5. 通用負載平衡,強化整體使用率

    6. 查詢引擎優化,提高查詢效能

    7. 每日更新增量變化,降低運算量需求

    8. 靠後臺分擔前臺工作,減少前臺CPU需求

    回應
    全站分類:創作| 散文
    自訂分類:科技散文
    上一則: AlphaCode 成為中級程式設計師
    下一則: Uber 大數據省錢術 (上)
    迴響(1) :
    1樓. 省錢派對優惠碼好康平台網站
    2023/05/09 02:09
    省錢派對優惠碼好康平台網站,收集國內外最新優惠活動、折價券、折扣碼和特價情報
    發表迴響

    會員登入