Hadoop hosts файл (на master-машине) - datanode namenode нет подключения

Системный файл линуксе /etc/hosts выглядел так:

127.0.0.1       master
127.0.1.1       qwe-VirtualBox
192.168.0.1    master
192.168.0.2    slave

при таких настройках "мастерский" порт HDFS оказывался привязанным к адресу (127.0.0.1) ,который относится не является публичным адресу и служит для обращения интерфейса к самому себе (потому datanode рядовой машины не мог подключиться к управляющей машине) - потому надо было поправить ,на такое:

порт CLOSE_WAIT

состояние CLOSE_WAIT говорит, что противоположная сторона закрыла соединение, а TIME_WAIT - то что наша сторона закрыла его.

Ubuntu Список занятых портов

вывести список занятых портов и ip можно командой:

netstat -anp --ip

Все прослушиваемые tcp порты:

netstat -lt

Литература

Семинар "Современные методы топологии и геометрии" Математический Факультет ВГУ. (координатор - Кунаковская О. В.)

[ Главная страница о семинаре здесь ]

ПРИМЕЧАНИЕ: (обновлено 27.02.2014)

назначено время проведения семинара - два дня в неделю:
  1. среда: 16-55
  2. суббота: 13-25

Сбор у деканата математического факультета ВГУ

Семинар "Современные методы топологии и геометрии"

Координатор: Кунаковская Ольга Вениаминовна (Математический факультет ВГУ)

Функциональный анализ - что это =)

Приведём цитаты из разных книг и учебников:

Функциональный анализ возник в результате взаимодействия и последующего обобщения на бесконечномерный случай
идей и методов математического анализа, геометрии и линейной алгебры. Современная математика немыслима без функцио-
нального анализа.

- Треногин А. В. "Функциональный анализ"

Ошибка (РЕШЕНИЕ) SSH connect to address port 22: Connection refused

ВНИМАНИЕ: в данном примере мы разрешаем доступ со всех хостов - а то угроза безопасности (если есть внешнее соединение)

debug1: Connecting to slave [192.168.0.2] port 22.
debug1: connect to address 192.168.0.2 port 22: Connection refused

Захожим в файл, который указывает с каких хостов подключаться можно а с каких нет (открываем его) командой:

sudo nano /etc/hosts.allow

По-умолчанию он выглядит как-то так:

Telnet к Порту

Пытаемся подключить к хосту с именем master на порт 54310 такой командой:

 telnet master 54310

может появиться ошибка:

Trying 192.168.0.1...
telnet: Unable to connect to remote host: Connection refused

По-идее такая ошибка может означать, что на сервере данный порт никаким другим приложением не "слушается" , проверить список используемых портов можно так.

hadoop log

2014-01-31 05:09:48,525 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG: host = master/127.0.0.1
STARTUP_MSG: args = []
STARTUP_MSG: version = 2.2.0

linux Запуск скрипта программы от имени другого пользователя -- пример команды терминала

Итак, выполняем скрипт или команду под именем другого пользователя, общий формат таков:

sudo -H -u  имяпользователя  команда

Например:

sudo -H -u root  whoami

В качестве аргемента (команды) передавать и скрипт в кавычках:

sudo -H -u redis  bash -c 'echo "I am $USER, with uid $UID"'

Pages

Subscribe to fkn+antitotal RSS