2013-01-31から1日間の記事一覧

hadoop mapreduceのソートについて

hadoop の map->reduce 間のソートに関する概念の整理。 用語は私が適当に作った。(象本は参考にしたが)■パーティション 同じReducerノードにmap出力を割り当てる単位。 通常はmap出力のキー部分で振り分け。 Job#setPartitionerClass で指定したクラスの …