CDH5.4.0 でのMRジョブの圧縮設定

MapReduceGateway設定

  mapred.output.compress
  mapred.output.compression.codec
  mapred.compress.map.output
  mapred.map.output.compression.codec

HiveのGateway設定

  hive-site.xml の安全バルブに以下を追記

  <property>
    <name>hive.exec.compress.output</name>
    <value>true</value>
  </property>

以上を設定すると、コマンドラインでの実行には反映される。

更に、HueからのHiveクエリ実行で圧縮を使うには、HiveのHiveServer2設定の hive-site.xml の安全バルブへの hive.exec.compress.output=true の追記が必要。