блог студента программиста

wordcount - модифицированный пример - изменение кода - hadoop

/**
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*

core-site.xml - настройки - пример -2.0

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

core-site.xml - "старые" настройки - пример

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>

yarn-site.xml - содержимое пример для hadoop 2.0

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>

mapred-site.xml - содержимое для hadoop 2.0

содержимое должно быть таким:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

запуск ни пойми сколько машин

File System Counters
		FILE: Number of bytes read=27821
		FILE: Number of bytes written=771696
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=499
		HDFS: Number of bytes written=420
		HDFS: Number of read operations=37
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=6
	Map-Reduce Framework
		Map input records=9
		Map output records=37
		Map output bytes=296
		Map output materialized bytes=630
		Input split bytes=348
		Combine input records=37

Современные методы топологии и геометрии в ВГУ

Друзья, в ближайшее время в ВГУ продолжит свою деятельность семинар "Современные методы топологии и геометрии".

В отличии от ряда других мероприятий данный семинар позволяет начинающим "не захлебнуться" в очень сложных понятих - не пугайтесь тем программы - если будет неоходимо,организаторы проведут ряд встреч в рамках тематики базовых понятий.

C++ как добавить кнопку

это тоже было бы полезно - кнопка оказывается на форме перетаскиванием мышью как и многие другие элементы)
знать какие именно следует подключать библиотеки в коде - это неплохо, хотя принцип тот же - ведь когда ты что-то "перетащил" - всё записывается в исходном коде проекта.

Pages

Subscribe to RSS - блог студента программиста