блог студента программиста

Combiner - комбинер - пример Hadoop

public static class IntSumCombiner
extends Reducer<Text,IntWritable,Text,IntWritable> {
int max_sum = 0;
Text max_occured_key = new Text();

вывод программы подсчёта слов

узнаем когда запускаются подзадачи - комбинаторов и финального редуктора:

reduser start 	0
reduser start 	0
Freedom	1
Life	1
are.	1
is	2
life.	1
of	1
part	1
reduser start 	0
!	2
!!	2
%%	1
&	1
&&	1
)	1
+	1
++	2
.	1
888	1
=)	1
Freedom	2
Linux	1
good	1
is	2
of	1
part	1
----maximum=====  	0
!	2
-------------- 	0
we	1
where	1
----maximum=====  	0
is	2
-------------- 	0
----maximum=====  	0
is	2
-------------- 	0

Немного вопросов о Hadoop? - hadoop ВОПРОСЫ

  1. Тасовка - это процесс пересылки данных от разных мэпперов разным редукторам?
  2. Один мэппре работает с одним входным разбиением (InputSplit) -но может ли быть так что InputSplit настолько большой,что не умещается на одном узле (или их память столь мала) -сколько мэпперов запустится тогда?

так задача или её конфигураци:

.addInputPath http://fkn.ktu10.com/?q=node/5739

?????

WordCount hadoop исходный код

/**
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the NOTICE file
* distributed with this work for additional information
* regarding copyright ownership. The ASF licenses this file
* to you under the Apache License, Version 2.0 (the
* "License"); you may not use this file except in compliance
* with the License. You may obtain a copy of the License at
*
*
*
* Unless required by applicable law or agreed to in writing, software

has no installation candidate

qwe@qwe-VirtualBox:~$ sudo apt-get install sun-java6-jdk
Reading package lists... Done
Building dependency tree
Reading state information... Done
Package sun-java6-jdk is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'sun-java6-jdk' has no installation candidate

Ошибка: java: command not found

укажите путь до папки с бинарниками, которая содержится в директории установки явы

PPA Linux - что это

PPA - репозиторий, который позволяет легко получать код пользователю. а разработчику легко поддеоживать его в актуальном состоянии.

PPA Linux - что это

PPA - репозиторий, который позволяет легко получать код пользователю. а разработчику легко поддеоживать его в актуальном состоянии.

Pages

Subscribe to RSS - блог студента программиста