Hadoop - hellow world (привет мир) - пример
Primary tabs
Forums:
Пока что мы не будет рассматривать вопрос установки чуда природы.
Предположим, что кластер разработчика (на одну машину) у вас уже установлен.
Наша цель - запустить имеющийся уже готовый пример кода подсчёта слов.
Прежде всего
Прежде всего - запустите терминал и убедитесь что команда hadoop "работает" (она выведет опции).
Потом - (особенно если вы не сами устанавливали hadoop, а используете например виртуалку) - определите откуда - в какой папке лежит файл hadoop-examples (это может быть ярлык) -и доберитесь до неё с помощью cd .
Ещё потом =)
Что там нужно сделать:
- 1) создать в файловой системе хадупа входную директорию, где потом будут файлы число слов в которых мы будем подсчитывать
- 2) скопировать в эту директорию файлы из "реальной компьютерной директории"
- 3) запустить стандартный пример
О некоторых проблемах, которые могут "возникнуть по ходу" - читайте здесь.
Забираем данные
Чтобы увидеть результат (если всё пройдёт гладко) -надо будет скопировать выходную папку на локальный компьютер - список слов будет лежать в файле именем вроде part-r-00000
Источники
wiki.apache.org/hadoop/WordCount
- Log in to post comments
- 3716 reads