極客時間每日一課(三)

19-02-09(19-02-15補)web

Topic——解密碼雲:全球第二大代碼託管平臺的核心架構_周凱

簡介:客戶案例——當前數據——數據增加算法

單機架構(存儲空間的壓力、計算資源的壓力)->分佈式文件系統(遭遇IO瓶頸、RBD塊設備被無端卸載)apache

->NFS架構(緩衝文件致使刪除不完全、性能、內網帶寬、橫向擴展)編程

->分佈式架構性能優化

19-02-10(19-02-16補)網絡

快手多媒體傳播算法優化時間_周超

移動視頻大時代架構

傳輸的挑戰:內容生產與消費閉環;短視頻;直播app

一些嘗試async

KTP Kuaishou Transmission Protocol分佈式

KTP架構,KTP的特性

優化實踐:短視頻上傳、直播推流、實時連麥

KTP優化,視頻質量預測,強化學習決策;拉流優化,智能調度

19-02-11(19-02-16補)

當GraphQL遇到Observable——同構Web App的另外一種探索_於天翔

同構開發的挑戰,產品的定位:WebPage->WebApp。須要:組件化能力,響應式編程能力

Vue Server Side Render的踩坑之旅:Cookie穿透、Dom Only API、內存泄漏

從新定義數據層,問題:接口數據的生命,資源的轉換。繞不開的asyncData

從新定義Model

Observable

快手遊戲直播

19-02-12(19-02-17補)

快手服務治理平臺KESS的設計理念和實戰_曹福祥

快手背後的技術挑戰:解決十億級「長尾」視頻的高效分發

快手服務架構簡化示意,服務化面臨的挑戰,服務治理基本需求

方案選型:基於開源方案二次開發、自研方案

常見服務治理方案

痛點:服務治理平臺自身的可用性,多地多數據中心拓撲、配置分發高可用設計、服務發現高可用設計;跨數據中心的路由管理;有狀態服務管理,狀態遷移:擴縮容及失效備援;複雜服務網絡的監控

RPC Monitor核心功能,快速故障定位

應用現狀

19-02-13(19-02-17補)

快手萬億級實時OLAP平臺的建設與實踐_李遠策

快手OLAP平臺發展歷程

業務背景

OLAP平臺技術選型

Druid系統架構,Druid數據預聚合,Druid Bitmap索引,Druid I/O,

集羣穩定性設計:資源隔離部署方案

性能優化:物化視圖;性能優化:元數據交互加速

資源利用率改進:Indexing service調度優化

易用性提高:集羣管理系統,數據源管理系統、Druid探針系統、數據可視化工具(Superset)

快手對Superset的主要改進點

將來OLAP工做計劃

19-02-14(19-02-18補)

百度雲報警通告系統的下一幕_周偉

Noah監控平臺

需求->業務模型

高級異常檢測的困境,高級異常監測的需求

解決方案:策略運行平臺

報警通告系統,精準生成異常事件

防止核心告警遺漏,逐級通告例子

報警發送、報警渲染、報警合併,合併流程

可用性建設,漏報警的緣由,TRACE系統

19-02-15(19-02-18補)

Apache Hadoop YARN:state of the Union In Alibaba_任春德

The challenges

Enhanced Capacity Scheduler

Load Balance-Node Scores

Load Balance-Reschedule

Resource Oversubscription

Hybrid Cluster

相關文章
相關標籤/搜索