матфак ВГУ

Hadoop - web-интерфейс кластера - веб интерфейс

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 18:51

Forums:

По-идее должен веб интерфейс должен располагать по адресу:

master:8088/cluster/apps/

Hadoop - подключение resource manager co slave

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 18:43

Forums:

yarn-site,xml на управляемом (подчинённом - slave) компьютере должен содержать как минимум:

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>

</configuration>

запуск ни пойми сколько машин

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 15:31 
File System Counters
		FILE: Number of bytes read=27821
		FILE: Number of bytes written=771696
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=499
		HDFS: Number of bytes written=420
		HDFS: Number of read operations=37
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=6
	Map-Reduce Framework
		Map input records=9
		Map output records=37
		Map output bytes=296
		Map output materialized bytes=630
		Input split bytes=348
		Combine input records=37

Hadoop - Настройка кластера из Нескольких машин (два компьютера)

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 12:27

Forums:

Друзья. ранее мы рассматривали (переводили) процесс настройки кластера в режиме одной машины (псевдопараллельный режим).

Здесь предполагается заметка на русском по поводу того как быстро настроить хадуп на двух машинах

[пока читайте источники] =)

Настроим файлы конфигурации:

Hadoop datanode и namenode не взаимодействуют на компьютерах кластера

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 12:18

Forums:

Проверить число узлов в кластере можно так - если получается, что центральная машина видит не всё (как например здесь) - в
том случае следует попытаться найти проблему.

Проверяем:

Hadoop hosts файл (на master-машине) - datanode namenode нет подключения

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 12:05

Forums:

Системный файл линуксе /etc/hosts выглядел так:

127.0.0.1       master
127.0.1.1       qwe-VirtualBox
192.168.0.1    master
192.168.0.2    slave

при таких настройках "мастерский" порт HDFS оказывался привязанным к адресу (127.0.0.1) ,который относится не является публичным адресу и служит для обращения интерфейса к самому себе (потому datanode рядовой машины не мог подключиться к управляющей машине) - потому надо было поправить ,на такое:

порт CLOSE_WAIT

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 11:29

Forums:

состояние CLOSE_WAIT говорит, что противоположная сторона закрыла соединение, а TIME_WAIT - то что наша сторона закрыла его.

Современные методы топологии и геометрии в ВГУ

vedro-compota's picture
Submitted by vedro-compota on Tue, 02/04/2014 - 08:07

Друзья, в ближайшее время в ВГУ продолжит свою деятельность семинар "Современные методы топологии и геометрии".

В отличии от ряда других мероприятий данный семинар позволяет начинающим "не захлебнуться" в очень сложных понятих - не пугайтесь тем программы - если будет неоходимо,организаторы проведут ряд встреч в рамках тематики базовых понятий.

Pages

Subscribe to RSS - матфак ВГУ