Hadoop - cкрипт компиляции и запуска - Hadoop - скрипт компиляции стандартного примера wordcount
Primary tabs
Forums:
ВНИМАНИЕ: для корректной работы сделать ЭТО !.
Для запуска такие команды:
hadoop fs -rm -R /home/training/output
cd /home/training/training_materials/developer/exercises/wordcount/tryword
javac -classpath /usr/lib/hadoop/hadoop-common.jar:/usr/lib/hadoop-0.20-mapreduce/hadoop-core.jar:. -d 123 WordCount.java
jar cvf mywordcount.jar -C 123/ .
hadoop jar mywordcount.jar hadoop.mytest.WordCount input22/input /home/training/output
hadoop fs -copyToLocal /home/training/output /home/training/out
HADOOP 2.2.0
В 2.2.0 можно так:
cd /home/hduser/javacode/wordcount
Удаление выходной директории, очередная компиляция, запуск и получение данных на локальную машину:
hadoop fs -rm -R /home/hduser/output javac -classpath $HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar -d wordcount_classes WordCount.java jar cvf mywordcount.jar -C wordcount_classes/ . hadoop jar mywordcount.jar hadoop.mytest.WordCount myinput/input /home/hduser/output hadoop fs -copyToLocal /home/hduser/output /home/hduser/javacode/wordcount/out
Удаляем в случае изменения кода перед компиляцией:
rm -r out/output rm -r wordcount_classes/org rm mywordcount.jar
Копирование файлов на локальную машину из HDFS можно выполнить так:
hadoop fs -copyFromLocal /home/hduser/javacode/wordcount/input myinput
- Log in to post comments
- 2949 reads