hiveのloadコマンドに謎の制約

hive

LOAD DATA LOCAL INPATH '/dir/_hoge' ...
みたく、ファイル名が “_” 始まりのファイルをLOADしようとしたら、何故か「そんなファイルはねえ！」と怒られエラーになった。

回避策としては、頭にワイルドカード入れる。以下なら正常終了。
LOAD DATA LOCAL INPATH '/dir/*hoge' ...

Hive 1.2.1000.2.5.0.0-1245 (HDP 2.5.0.0-1245) にて確認。

2017-07-20

process substitution は bash とかでないと使えないぽい。

bash

shebang に #!/bin/sh と書いてたり、 sh hoge.sh とかで実行した際、ときどきbash以外のshellが起動されるのか、process substitution のコードがエラーになることがある。
#!/bin/bash とか bash hoge.sh とかすると動いた。

2017-06-12

Mapper/ReducerではrunというメソッドもOverrideできる

hadoop

ということを今更知った。 runのデフォルトの実装の中で、setup, map/reduce, cleanup を呼び出している。

Mapper (Apache Hadoop Main 2.7.3 API)

Reducer (Apache Hadoop Main 2.7.3 API)

参考：in-mapper combining（MapReduceデザインパターン） | mwSoft

2017-06-09

自作クラスでHadoopのGeneric Optionsを使えるようにする。

hadoop

最近、Hadoop忘れてきたのでメモ…

自作クラスにToolを実装させればHadoopのGeneric Optionsを解釈してくれるようになる。

Generic Options

つまり、-confオプションでHadoopの設定を上書きしたりできるようになる。

2017-06-06

attrbuteに対する||=でハマる。

ruby

class some_class
  attr_accessor :hoge

  def some_method
    hoge ||= "value"
  end

この５行目で、hogeのアクセサが呼ばれるのではなく、hogeという新しい変数が定義されてしまう…

@hoge ||= "value"

とするしかない。

2017-04-22

bashの関数はwhichコマンドしても出処が分からない