Hadoop - cкрипт компиляции и запуска - Hadoop - скрипт компиляции стандартного примера wordcount

ВНИМАНИЕ: для корректной работы сделать ЭТО !.

Об установке читайте здесь

Для запуска такие команды:

hadoop fs -rm -R /home/training/output
cd /home/training/training_materials/developer/exercises/wordcount/tryword
javac -classpath /usr/lib/hadoop/hadoop-common.jar:/usr/lib/hadoop-0.20-mapreduce/hadoop-core.jar:. -d 123 WordCount.java
jar cvf mywordcount.jar -C 123/ .
hadoop jar mywordcount.jar hadoop.mytest.WordCount input22/input /home/training/output
hadoop fs -copyToLocal /home/training/output /home/training/out

HADOOP 2.2.0

В 2.2.0 можно так:
cd /home/hduser/javacode/wordcount

Удаление выходной директории, очередная компиляция, запуск и получение данных на локальную машину:

hadoop fs -rm -R /home/hduser/output
javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar -d wordcount_classes WordCount.java
jar cvf mywordcount.jar -C wordcount_classes/ .
hadoop jar mywordcount.jar   hadoop.mytest.WordCount myinput/input   /home/hduser/output
hadoop fs -copyToLocal /home/hduser/output  /home/hduser/javacode/wordcount/out

Удаляем в случае изменения кода перед компиляцией:

rm -r out/output
rm -r wordcount_classes/org
rm mywordcount.jar

Копирование файлов на локальную машину из HDFS можно выполнить так:

hadoop fs -copyFromLocal /home/hduser/javacode/wordcount/input  myinput