Выгрузить файлы - Hadoop - Скопировать данный из файловой системы хадупа на компьютер (в локальную директорию)

Скопировать данные из файловой системы хадупа на компьютер (в локальную директорию) можно например так:

hadoop fs -copyToLocal /home/training/output /home/training/out

Hadoop - hellow world (привет мир) - пример

Пока что мы не будет рассматривать вопрос установки чуда природы.
Предположим, что кластер разработчика (на одну машину) у вас уже установлен.
Наша цель - запустить имеющийся уже готовый пример кода подсчёта слов.

Hadoop создать директорию папку в файловой системе хадуп

создадим директорию с именем input22 :

hadoop fs -mkdir input22

причём эта папка будет создана в "домашней" диретории файловой системе хадупа ,а не в корне

WordCount Example - пример запуск - описание

здесь вот имеется хорошее описание:

wiki.apache.org/hadoop/WordCount

Команда hadoop fs -файловая система - опции

Рекурсивно (древовидно) вывести содержимое домашнего каталога

  hadoop fs -ls -R

Опции команды:

Ошибка hadoop job -list-active-trackers DEPRECATED: Use of this script

hadoop job -list-active-trackers
DEPRECATED: Use of this script to execute mapred command is deprecated.
Instead use the mapred command for it

Данная команда к выполнению не рекомендуется.

Загрузить файлы -Hadoop - скопировать данные (файлы) из локальной директории (на компьютере) в собственную файловую систему

Скопировать данные можно такой командой:

hadoop fs -copyFromLocal /home/training/input  /home/training/input

Или (другой путь - закидываем в подпапку папки home - именем input22):

Не работает - hadoop-examples.jar Total input paths to process : 0

hadoop-examples.jar wordcount /home/training/input /home/training/output
WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
INFO input.FileInputFormat: Total input paths to process : 0

Pages

Subscribe to fkn+antitotal RSS