Hadoop MapReduce Spark 配置項

適用範圍

本文涉及到的配置項主要針對 Hadoop 2.x，Spark 2.x。

MapReduce

官方文檔

https://hadoop.apache.org/doc...
左下角: mapred-default.xml

配置項舉例

name	value	description
mapreduce.job.reduce.slowstart.completedmaps	0.05	當 Map Task 完成的比例達到該值後纔會爲 Reduce Task 申請資源
mapreduce.output.fileoutputformat.compress	false	MapReduce Job 的結果輸出須要使用壓縮

Spark

官方文檔

https://spark.apache.org/docs...
最後有提到想要直接配置 Hadoop 項，在 Hadoop 配置項前加 spark.hadoop 便可。
Custom Hadoop/Hive Configuration

配置項示例

Property Name	Default	Meaning
spark.dynamicAllocation.enabled	false	是否動態分配內存（Spark 原生配置項）
spark.hadoop.mapreduce.output.fileoutputformat.compress	false	Job 的結果輸出是否使用壓縮（Hadoop MR 配置項）

本文出自: walker snapshot