CDH4のMapred関係の設定

結論から

とりあえず、

を設定しておけばよさそう。

もし oozie の hive action を使うのなら、Hive/Gateway の hive-site.xml をHDFSのどこかにコピーし、それを hive action のプロパティとして参照するようにする。

何が何を参照するのか？

コマンドライン

設定変更を反映させるには、「クライアント設定の展開」を実行する必要あり。これをやれば /etc 配下に各種設定ファイルが作成・更新される。

→ mapreduce/Gateway の設定を見る。

→ Hive/Gateway

Hue

設定変更を反映させるには、Hueサービスを再起動する必要あり。

  • Hue/Pig Editor、Job Designer

→ mapreduce/Gateway

  • Hue/Beesewax

→ Hue/Beesewax の hive-site.xml 安全バルブを見る。Hive/Gateway が Hue Server の実行ディレクトリにコピーされているようだが、何故かそれはジョブ実行には反映されてない。

oozie

→ mapreduce/Gateway 。たぶん、Hueサービスを再起動しないと設定変更が反映されない。

  • oozie/hive action

→ どこかの設定を自動で見てくれるということはないので、action定義の中で明示的に指定する必要あり。