Hadoop - установка на Windows - Virtualbox Ubuntu

Hadoop - установка на Windows - Virtualbox Ubuntu

ПРИМЕЧАНИЕ: если вы ищите инструкцию по установке системы в паралельном режиме (два и более компьютеров в кластере) , то вам сюда.

Дабы "не терять общности" будем использовать виртуальную машину с платформой виртуализации VirtualBox (VirtualBox 4.2.20 = virtualbox.org/wiki/Download_Old_Builds_4_2), доступной на Windows, со следующими компонентами:

1. Операционная система: ubuntu 12 (ubuntu.com/download/desktop) - установите её "на виртуалбокс", и создайте общаю папку (так жителю винды будет проще и привычнее качать файлы)
2. Java 1.7 - установите её в убунту
3. Hadoop 2.2 - (например файл hadoop-2.2.0.tar.gz отсюда - apache-mirror.rbc.ru/pub/apache/hadoop/common/hadoop-2.2.0/)

Процесс установки приведу чуть позже (можно также использовать материал по ссылкам нам источники) - ну и конечно - тот текст, что появляется ниже по мере "разбирательства":

Марафет

Чтобы наша дальнейшая работа с виртуалочкой происходила легко и приятно следует установить дополнения гостевой ОС

Создание новых пользователя и группы

Итак, запускаем терминал (командную строку ubuntu) и делаем так и создаём нового пользователя в группе hadoop (её тоже придётся создать, что мы и делаем первой командой):

$ sudo addgroup hadoop
$ sudo adduser --ingroup hadoop hduser

Настройки SSH

Для связи с узлами хадуп использует SSH - а потому нам следует настроить эту службу.
Сгенерируем SSH ключ, для созданого нами на предыдущем шаге пользователя hduser - для этого выполним две такие команды -
сменим пользователя:

su - hduser

и запустим генерацию ключика:

 ssh-keygen -t rsa -P ""

попросит ввести имя для файла - введи - и запомните путь куда сохранится

Далее разрешим доступ к нашей машине с только что созданным ключом:

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Здесь папку .ssh/ и файл authorized_key в ней придётся (в папке home user-а hduser) придётся создать - а вот имя файла то - которое вы задали ранее. например я использовал такую команду:

cat $HOME/hduser-key.pub >> $HOME/.ssh/authorized_key 

Ну и пробуем подключиться:

ssh localhost

,может не получиться - тогда можно попробовать узнать подробности:

ssh localhost

- проверить установлен ли сервер, если нет - то установить - и опять же пробовать подключиться ( если не работает - проверьте параметры /etc/ssh/sshd_config)

Выключаем IPv6

Также перед установкой рекомендуется выключить IPv6

Установка Hadoop

Перейдём в папку:

cd /usr/local/

Запускаем команду распаковки и установки hadoop:

sudo tar xzf hadoop-2.2.0.tar.gz

Переместим в папку в с более изящным названием, чем то. где указана версия и сделаем владельцем её специально созданного ранее пользователя:

sudo mv hadoop-2.2.0 hadoop
sudo chown -R hduser:hadoop hadoop

Ну вот теперь хадуп установлен в папку

/usr/local/hadoop

Далее поправим файл опций терминала для нашего спец. пользователя.
Зайдите под пользователем для которого редактировали этот скрипт и просто выполните команду:

hadoop

Она должна показать опции выполнения - это значит, что HADOOP почти заработал! =))

Движемся дальше

После установки мы можем смело приступать к изучению hadoop.

Источники:
http://www.michael-noll.com/tutorials/ru...