сайт о программировании

hadoop cleanup method -метод

 protected  void 	cleanup(org.apache.hadoop.mapreduce.Mapper.Context context)
          Called once at the end of the task.

вызывается в конце выполнения задания -
-имеется как в как в распределителе (мэппере) так и в сумматоре (редьюсэре)

Его вполне можно переопределить - дабы задать какие-то свои действия при выходе из задания:

java @override описание

@Override 

— это аннотация к коду на яве - она проверяет, переопределен ли метод. Вызывает предупреждение компиляции, если метод не найден в родительском классе (то есть в том, от которого наследуется данный).

ЦОД - особенности построение - Ряполов Михаил - IFF - доклад - сообщество программистов

ПРИМЕЧАНИЕ: это конспект доклада для IFF : http://fkn.ktu10.com/?q=node/4191

Итак сегодня мы будем говорить о проблеме построения сервака - точнее о помещении для размещении фермы серверов

Ну например - может просто не хватать разеток -
или же в здании что-то не очень с проводкой

Также сервера сильно греются и шумят.
Если это зима- то это нормально, но летом когда 40-50 градусов - а столько и будет в помещении -всё становится совсем плохо.

linux сменить пароль пользователю

Выполните команду:

passwd username

Введите старый пароль
После чего:

  1. введите новый пароль
  2. нажмите ВВОД
  3. Ещё раз введите новый пароль (подтверждение)
  4. Нажмите ВВОД

Путь к файлам исходного кода примера в Haddop 2.2.0 - где лежат файлы

вроде так:

hadoop-2.2.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.2.0-sources.jar

При этом в корне хадупа указанной версии только 7 папок:

bin
etc
include
lib
libexec
sbin
share

Так что не паникуйте =)) разбирайтесь)

Hadoop - ответ форматирования hdfs

ответ на выполнение команды:

/usr/local/hadoop/bin/hadoop namenode -format

Выглядит следующим образом:

Hadoop запуск первого примера

Немного обсуждений:

cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_1_--_Running_Wordcount_%28rev_2%29

Hadoop -bash файл установка - конфигурация

Откройте .bashrc файл ,который лежит к домашней папке созданного нами пользователя (он может быть скрыт - и его придётся показать) и добавьте в конец файла следующее (внимательно посмотрите пути к яве и хадупу):

Ubuntu - выключить IPv6

Добавьте в файл

/etc/sysctl.conf

такие строки:

# disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Сохраните его и перезагрузите систему. Проверить выключен ли ipv6 можно так.

Pages

Subscribe to RSS - сайт о программировании