сайт студента

Путь к файлам исходного кода примера в Haddop 2.2.0 - где лежат файлы

вроде так:

hadoop-2.2.0/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.2.0-sources.jar

При этом в корне хадупа указанной версии только 7 папок:

bin
etc
include
lib
libexec
sbin
share

Так что не паникуйте =)) разбирайтесь)

Hadoop - ответ форматирования hdfs

ответ на выполнение команды:

/usr/local/hadoop/bin/hadoop namenode -format

Выглядит следующим образом:

Hadoop запуск первого примера

Немного обсуждений:

cs.smith.edu/dftwiki/index.php/Hadoop_Tutorial_1_--_Running_Wordcount_%28rev_2%29

Hadoop -bash файл установка - конфигурация

Откройте .bashrc файл ,который лежит к домашней папке созданного нами пользователя (он может быть скрыт - и его придётся показать) и добавьте в конец файла следующее (внимательно посмотрите пути к яве и хадупу):

Ubuntu - выключить IPv6

Добавьте в файл

/etc/sysctl.conf

такие строки:

# disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Сохраните его и перезагрузите систему. Проверить выключен ли ipv6 можно так.

убунту - проверить включен ли IPv6

выполните команду:

cat /proc/sys/net/ipv6/conf/all/disable_ipv6

если возвращается ноль - значит поддержка включена

JDK JRE Разница

JDK - это java development kit - то есть инструментарий для разработчика, а JRE - java runtime envirement - то есть среда для запуска java-программ.

JDK уже содержик JRE

ubuntu add folder to path

ОШИБКА: sudo: must be setuid root

ПРЕДУПРЕЖДЕНИЕ: никогда не меняйте права на системные папки из под рута

иначе всё заморочно

Просмотр очень большого файла - конец, хвост - Hadoop

Просмотр последнего килобайта файла делается так:

hadoop fs  -tail input22/input/hadoop-file-2.txt 

Pages

Subscribe to RSS - сайт студента