Число запускаемых редукторов - Hadoop
Primary tabs
Forums:
Через (по-идее) число редукторов определяется:
job.setNumReduceTasks(2);
тут мы пожелали использовать два редуктора - в контексте:
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println("Usage: wordcount <in> <out>");
System.exit(2);
}
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setNumReduceTasks(2); // установили
Командная строка
Можно также указать число редукторов в опциях командной строки - делается это так.
Источники:
github.com/paulhoule/infovore/wiki/Choosing-the-number-of-reducers
- Log in to post comments
- 5474 reads