Число запускаемых редукторов - Hadoop
Primary tabs
Forums:
Через (по-идее) число редукторов определяется:
job.setNumReduceTasks(2);
тут мы пожелали использовать два редуктора - в контексте:
Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setNumReduceTasks(2); // установили
Командная строка
Можно также указать число редукторов в опциях командной строки - делается это так.
Источники:
github.com/paulhoule/infovore/wiki/Choosing-the-number-of-reducers
- Log in to post comments
- 5079 reads