Hadoop - hellow world (привет мир) - пример

Пока что мы не будет рассматривать вопрос установки чуда природы.
Предположим, что кластер разработчика (на одну машину) у вас уже установлен.
Наша цель - запустить имеющийся уже готовый пример кода подсчёта слов.

Прежде всего

Прежде всего - запустите терминал и убедитесь что команда hadoop "работает" (она выведет опции).
Потом - (особенно если вы не сами устанавливали hadoop, а используете например виртуалку) - определите откуда - в какой папке лежит файл hadoop-examples (это может быть ярлык) -и доберитесь до неё с помощью cd .

Ещё потом =)

Что там нужно сделать:

  1. 1) создать в файловой системе хадупа входную директорию, где потом будут файлы число слов в которых мы будем подсчитывать
  2. 2) скопировать в эту директорию файлы из "реальной компьютерной директории"
  3. 3) запустить стандартный пример

О некоторых проблемах, которые могут "возникнуть по ходу" - читайте здесь.

Забираем данные

Чтобы увидеть результат (если всё пройдёт гладко) -надо будет скопировать выходную папку на локальный компьютер - список слов будет лежать в файле именем вроде part-r-00000

Источники

wiki.apache.org/hadoop/WordCount