oozie

oozie pig action でのjar利用

oozie の pig action でjarファイルを利用しようと思い、[system.libpath]/pig/ 配下にjarを置いたら使えた。しかもregisterしてないのに使えた・・・関数をフルパッケージ名で指定しているからregisterしなくても大丈夫なのか?つまりこゆこと A = load 'ho…

oozie job control を javascriptでやろうとしたらハマった件

oozieのジョブ管理を Rest API で実行する JS を書いてみた。まず、oozieとJSが載ってる管理ページが別ドメインと判定されてしまうようで(oozieと管理ページで使ってるポートが違うので)、CORS扱いになる。 CORSは、ヘッダの設定をいろいろかまさないとリ…

CDH4 の oozie で自作Driverによる map/reduce

CDH3までだと、java action で RunJar クラスを指定し、 job-xml 要素に mapred-site.xml を指定しておけばそれが mapreduce の設定に反映されていたはずなんだが、どうもCDH4ではダメ。 なので、いつの間にか追加されている shell action というのを使って…

CDH4でoozie使う:共有ライブラリ

インストールしただけでは共有ライブラリはインストールされない。 /usr/lib/oozie/oozie-sharelib.tar.gz を解凍し、自分で適当な場所に置き、oozieの設定で oozie.service.WorkflowAppService.system.libpath を入れなければならない・・・

CDH4 oozieのバグ?

CDH4.1.2oozieでいくつかworkflowを作ってから「アプリケーションのセットアップ」をすると、自作workflowの「所有者」がなぜか「sample」になってしまい、workflowを保存する時にエラーがでるようになった・・・workflowをコピーして作りなおしたら出なくな…

CDH4でoozie使う:自作mapred jar

自作mapred jar をHueから実行する方法。 java action を使うわけだが、Hueだと「jar name」という見慣れない項目がある。 ここに動かしたいクラスの入ったjarを指定しておけば、それを [workflow]/lib にコピーしてくれるようなのだが、ここに自作jarを指定…

mapred-site.xml

oozieでmap/reduce や hive 等の各アクションを実行する際、mapred-site.xml は読み込んでくれないので注意。 HDFSに mapred-site.xml を置き、そのパスを workflow.xmlの中で タグで指定する必要がある。 /user/[userName]/share/lib に入れるだけではダメ…