19-02-09(19-02-15補)web
簡介:客戶案例——當前數據——數據增加算法
單機架構(存儲空間的壓力、計算資源的壓力)->分佈式文件系統(遭遇IO瓶頸、RBD塊設備被無端卸載)apache
->NFS架構(緩衝文件致使刪除不完全、性能、內網帶寬、橫向擴展)編程
->分佈式架構性能優化
19-02-10(19-02-16補)網絡
移動視頻大時代架構
傳輸的挑戰:內容生產與消費閉環;短視頻;直播app
一些嘗試async
KTP Kuaishou Transmission Protocol分佈式
KTP架構,KTP的特性
優化實踐:短視頻上傳、直播推流、實時連麥
KTP優化,視頻質量預測,強化學習決策;拉流優化,智能調度
19-02-11(19-02-16補)
同構開發的挑戰,產品的定位:WebPage->WebApp。須要:組件化能力,響應式編程能力
Vue Server Side Render的踩坑之旅:Cookie穿透、Dom Only API、內存泄漏
從新定義數據層,問題:接口數據的生命,資源的轉換。繞不開的asyncData
從新定義Model
Observable
快手遊戲直播
19-02-12(19-02-17補)
快手背後的技術挑戰:解決十億級「長尾」視頻的高效分發
快手服務架構簡化示意,服務化面臨的挑戰,服務治理基本需求
方案選型:基於開源方案二次開發、自研方案
常見服務治理方案
痛點:服務治理平臺自身的可用性,多地多數據中心拓撲、配置分發高可用設計、服務發現高可用設計;跨數據中心的路由管理;有狀態服務管理,狀態遷移:擴縮容及失效備援;複雜服務網絡的監控
RPC Monitor核心功能,快速故障定位
應用現狀
19-02-13(19-02-17補)
快手OLAP平臺發展歷程
業務背景
OLAP平臺技術選型
Druid系統架構,Druid數據預聚合,Druid Bitmap索引,Druid I/O,
集羣穩定性設計:資源隔離部署方案
性能優化:物化視圖;性能優化:元數據交互加速
資源利用率改進:Indexing service調度優化
易用性提高:集羣管理系統,數據源管理系統、Druid探針系統、數據可視化工具(Superset)
快手對Superset的主要改進點
將來OLAP工做計劃
19-02-14(19-02-18補)
Noah監控平臺
需求->業務模型
高級異常檢測的困境,高級異常監測的需求
解決方案:策略運行平臺
報警通告系統,精準生成異常事件
防止核心告警遺漏,逐級通告例子
報警發送、報警渲染、報警合併,合併流程
可用性建設,漏報警的緣由,TRACE系統
19-02-15(19-02-18補)
The challenges
Enhanced Capacity Scheduler
Load Balance-Node Scores
Load Balance-Reschedule
Resource Oversubscription
Hybrid Cluster