сайт о программировании

Скопировать данные из файловой системы хадупа на компьютер (в локальную директорию) можно например так:

hadoop fs -copyToLocal /home/training/output /home/training/out

• где /home/training/out - адрес локальной диретории
• /home/training/output - адрес в системе хадупа

Пока что мы не будет рассматривать вопрос установки чуда природы.
Предположим, что кластер разработчика (на одну машину) у вас уже установлен.
Наша цель - запустить имеющийся уже готовый пример кода подсчёта слов.

создадим директорию с именем input22 :

hadoop fs -mkdir input22

причём эта папка будет создана в "домашней" диретории файловой системе хадупа ,а не в корне

здесь вот имеется хорошее описание:

wiki.apache.org/hadoop/WordCount

Рекурсивно (древовидно) вывести содержимое домашнего каталога

  hadoop fs -ls -R

Опции команды:

ВНИМАНИЕ: ниже просто приведена команда ,прежде же надо скомпилировать код, а потом уже запустить его (подробнее о запуске).

запуск стандартного примера:

hadoop job -list-active-trackers
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it

Данная команда к выполнению не рекомендуется.

возможно, пригодятся такие linux-подсказки, а также могут помочь такие подсказки по Java

ПРИМЕЧАНИЕ: начинайте отсюда (Привет Мир!)

Скопировать данные можно такой командой:

hadoop fs -copyFromLocal /home/training/input  /home/training/input

Или (другой путь - закидываем в подпапку папки home - именем input22):

hadoop-examples.jar wordcount /home/training/input /home/training/output
WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
INFO input.FileInputFormat: Total input paths to process : 0