大數據技術與架構，2019半年文章精選

時間飛逝，到今天爲止，2019年就過半了。

你們還記得年初的時候定下的目標嗎？

《大數據技術與架構》創立4個月，都是業餘時間原創或者篩選優質文章。回想起來，無數次的深夜整理文稿，週末大部分時間也用在了整理和輸出高質量文章上。除了大促值班，歷來沒有感受到這麼累過...

在此對《大數據技術與架構》過去半年裏發表過的文章作一個精選分類，方便你們閱讀。點擊原文，能夠跳轉到對應的鏈接。

Flink從入門到放棄之源碼解析系列

• 《Flink組件和邏輯計劃》

• 《Flink執行計劃生成》

• 《JobManager中的基本組件(1)》

• 《JobManager中的基本組件(2)》

• 《JobManager中的基本組件(3)》

• 《TaskManager》

• 《算子》

• 《網絡》

• 《水印WaterMark》
  

• 《CheckPoint》

• 《任務調度及負載均衡》

• 《異常處理》

大數據成神之路-基礎篇

• 《HashSet》

• 《HashMap》

• 《LinkedList》

• 《ArrayList/Vector》

• 《ConcurrentSkipListMap》

• 《ConcurrentHashMap1.7》

• 《ConcurrentHashMap1.8 Part1》

• 《ConcurrentHashMap1.8 Part2》

• 《CopyOnWriteArrayList》
  

• 《CopyOnWriteArraySet》

• 《ConcurrentLinkedQueue》

• 《LinkedBlockingDeque》
  

• 《LinkedBlockingQueue》
  

• 《ArrayBlockingQueue》

• 《ConcurrentSkipListSet》

大數據成神之路-進階篇

• 《JVM&NIO基礎入門》

• 《分佈式理論基礎和原理》

• 《分佈式中的常見問題解決方案(分佈式鎖/事務/ID)》

• 《Zookeeper》

• 《RPC》

• 《Netty入門篇》

• 《Netty源碼篇》

• 《Linux基礎》
  

Flink入門系列

• 《Flink入門》

• 《Flink DataSet&DataSteam API》

• 《Flink集羣部署》

• 《Flink重啓策略》

• 《Flink分佈式緩存》

• 《Flink廣播變量》

• 《Flink中的Time》

• 《Flink中的窗口》

• 《時間戳和水印》

• 《Broadcast廣播變量》

• 《Flink-Kafka-Connector》

• 《Flink之Table-&-SQL》

• 《Flink實戰項目之實時熱銷排行》

• 《Flink-Redis-Sink》

• 《Flink消費Kafka寫入Mysql》

Flink高級進階

• 《FaultTolerance》
  

• 《流表對偶(duality)性》

• 《持續查詢(ContinuousQueries)》

• 《DataStream-Connectors之Kafka》

• 《SQL概覽》

• 《JOIN 算子》

• 《TableAPI》

• 《JOIN-LATERAL》

• 《JOIN-LATERAL-Time Interval(Time-windowed)》

• 《Temporal-Table-JOIN》

• 《State》

• 《FlinkSQL中的回退更新-Retraction》

• 《Apache Flink結合Apache Kafka實現端到端的一致性語義》

• 《Flink1.8.0發佈！新功能搶先看》

• 《Flink1.8.0重大更新-Flink中State的自動清除詳解》

• 《Flink在滴滴出行的應用與實踐》

• 《批流統一計算引擎的動力源泉—Flink Shuffle機制的重構與優化》

• 《HBase分享 | Flink+HBase場景化解決方案》

• 《騰訊基於Flink的實時流計算平臺演進之路》

• 《Flink進階-Flink CEP(復瑣事件處理)》

• 《Flink基於EventTime和WaterMark處理亂序事件和晚到的數據》

• 《Flink 最鋒利的武器：Flink SQL 入門和實戰》

• 《Flink Back Pressure》

• 《使用Flink讀取Kafka中的消息》

• 《Flink on YARN部署快速入門指南》

• 《Apache Flink狀態管理和容錯機制介紹》

  
  

Hadoop生態圈系列

• 《Hadoop極簡入門》
  

• 《MapReduce編程模型和計算框架架構原理》

• 《分佈式文件系統-HDFS》
  

• 《YARN》
  

• 《Hadoop機架感知》
  

• 《HDFS的一個重要知識點-HDFS的數據流》

• 《Hadoop分佈式緩存(DistributedCache)》

• 《如何從根源上解決 HDFS 小文件問題》（https://dwz.cn/FqDPpRUc）
  

• 《Hadoop解決小文件存儲思路》（https://dwz.cn/2oCdmCkw）
  

• 《Hadoop所支持的幾種壓縮格式》

• 《MapReduce Join》
  

• 《YARN Capacity Scheduler（容量調度器）》

• 《hadoop上搭建hive》
  

• 《基於Hadoop的數據倉庫Hive基礎知識》

• 《Hive使用必知必會系列》
  

• 《一個小知識點-Hive行轉列實現Pivot》
  

• 《面試必備技能-HiveSQL優化》
  

• 《HBase和Hive的區別和各自適用的場景》
  

• 《一篇文章入門Hbase》

• 《敲黑板：HBase的RowKey設計》

• 《HBase讀寫優化》
  

• 《HBase在滴滴出行的應用場景和最佳實踐》

• 《Phoenix=HBase+SQL,讓HBase插上了翅膀》
  

• 《一個知識點將你拒之門外之Hbase的二級索引》（https://dwz.cn/umfBOZ5l）
  

• 《Phoenix重磅 | Phoenix核心功能原理及應用場景介紹》

• 《DB、DW、DM、ODS、OLAP、OLTP和BI的概念理解》

• 《Hive/HiveSQL經常使用優化方法全面總結》

實時計算系列(spark、kafka等)

• 《Spark Streaming消費Kafka數據的兩種方案》
  

• 《Apache Kafka簡單入門》
  

• 《你不得不知道的知識-零拷貝》

• 《Kafka在字節跳動的實踐和災備方案》
  

• 《萬字長文乾貨 | Kafka 事務性之冪等性實現》
  

• 《Kafka最佳實踐》

• 《Kafka Exactly-Once 之事務性實現》

• 《Kafka鏈接器深度解讀之錯誤處理和死信隊列》

• 《Spark之數據傾斜調優》

• 《Structured Streaming 實現思路與實現概述》
  

• 《Spark內存調優》
  

• 《廣告點擊數實時統計：Spark StructuredStreaming + Redis Streams》

• 《Spark Shuffle在網易的優化》
  

• 《SparkSQL極簡入門》
  

• 《下一代分佈式消息隊列Apache Pulsar》
  

• 《Pulsar與Kafka消費模型對比》

• 《Spark SQL重點知識總結》

• 《Structured Streaming 之狀態存儲解析》

• 《週期性清除Spark Streaming流狀態的方法》

• 《Spark Structured Streaming特性介紹》

• 《Spark Streaming 反壓（Back Pressure）機制介紹》
  

• 《Spark 從 Kafka 讀數設置子併發度問題》
  

規範和系統設計

• 《阿里雲10 PB+／天的日誌系統設計和實現》
  

• 《阿里雲Redis開發規範》

• 《Java中多個ifelse語句的替代設計》

• 《面試系列：十個海量數據處理方法大總結》

雜談

• 《做爲面試官的一點點感悟，談談技術人的成長之路》
  

• 《成年人的世界沒有容易二字》

• 《我最近在關注的事》

• 《真香》

• 《簡單說說學習這件事》

• 《20多歲作什麼，未來纔不會後悔》

• 《2019-05-12最近的總結》

• 《我軍新聞聯播氣勢+9999》

• 《週末分享 | 高手的戰略》

• 《週末分享 | 快速定位本身的缺點》

• 《週末分享 | 我見過最高級的聰明是靠譜》

不少朋友會在微信私信我問題，由於我的時間着實有限，我會盡力回答你們。可是仍是有不少人的提問淹沒在了無數條的消息裏。對此說聲抱歉。

下半年計劃，成體系輸出更多高質量文章，爲粉絲爭取更多福利。

感謝各位讀者陪伴，你的每一次點贊和轉發都是對做者最大的支持！