Число узлов - Datanodes available: 1 (1 total, 0 dead) - get number of hadoop nodes
Primary tabs
Forums:
Datanodes available: 1 (1 total, 0 dead)
Это часть ответа на попытку узнать число действующих узлов кластера
hduser@slave:~$ hadoop fs -ls -R
ls: Call From slave/127.0.0.1 to master:54310 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/Connection...org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master/192.168.0.1:54310
В одном из вариантов советуется удалить хранимые в HDFS данные на обоих машинах (предварительно остановив кластер), а затем отформатировать систему на главной машине , после чего перезагрузить кластер
Но мне это не помогло.
Смотрим логи (журнал) на подчинённой машине и замечаем там что-то вроде:
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.0.1:54310. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
То есть получается, что младшая машина не может подключить к управляющей на данный порт - проверим - работает ли telnet и исправим если не работает.
Call From slave/127.0.0.1 to master:54310 failed on connection exception ConnectionRefused
РЕШЕНИЕ: В моём случае оказалось, что неправильно составлен файл hosts.
Почитать ещё:
comments.gmane.org/gmane.comp.jakarta.lucene.hadoop.user/25656
manning-sandbox.com/thread.jspa?messageID=126741
stackoverflow.com/questions/8872807/hadoop-datanodes-cannot-find-namenode
- Log in to post comments
- 5359 reads