2011-09-15から1日間の記事一覧

map/reduce で”GC overhead limit exceeded”

map/reduce Jobが、"GC overhead limit exceeded" (GCに時間がかかり過ぎてタイムアウト)の例外が出て止まった。 どうやら、mapred.job.reuse.jvm.num.tasks を -1(無制限に再利用)にしていたためのようだ。 これを適切な数値にしたら正常終了した。適切な数…