Мэппер и Редуктор с итераторами и генераторами - Hadoop Python

Давайте немного усовершенствуем код мэппера и редуктора отсюда:

1) mapper.py

#!/usr/bin/env python
"""Более сложный  Mapper, использующий Итераторы и генераторы Питона"""

import sys

# эта функция вернёт своебразный "массив массивов"
def read_input(file):
    for line in file:
        # разбивает строку на слова
        yield line.split() # возвращает генератор

"""Точка входа в мэппер с разделителем в виде таба в качестве разделителя по-умолчанию."""
def main(separator='\t'):
    # Передаём в качестве "файла" стандартный поток ввода
    data = read_input(sys.stdin)
    for words in data:
        # Пишем результаты в стандартный поток вывода
        # what we output here will be the input for the Выход мэппера будет входом редуктора
        # Reduce step, i.e. the input for reducer.py
        #
        # отделяем слово  табом от формального
# ("формального" так как сумма ещё не подсчитана - это будет сделано в редукторе)
# числа вхождений равного 1 
        for word in words:
            print '%s%s%d' % (word, separator, 1)

if __name__ == "__main__":
    main()

2) reducer.py

#!/usr/bin/env python

from itertools import groupby
from operator import itemgetter
import sys

# читаем выход мэппера
# и разбиваем каждую пару на ключ-значение
# по знаку табуляции
def read_mapper_output(file, separator='\t'):
    for line in file:
        yield line.rstrip().split(separator, 1)

def main(separator='\t'):
    # будем читать из стандартного потока ввода
    data = read_mapper_output(sys.stdin, separator=separator)
    # groupby groups multiple word-count pairs by word,
    # and creates an iterator that returns consecutive keys and their group:
    #   current_word - string containing a word (the key)
    #   group - iterator yielding all ["<current_word>", "<count>"] items
    # с помощью  groupby группирует пары "слово-число вхождений" 
# по значению слова и создаёт итератор
#
#
#
    for current_word, group in groupby(data, itemgetter(0)):
        try:
            total_count = sum(int(count) for current_word, count in group)
            print "%s%s%d" % (current_word, separator, total_count)
        except ValueError:
            # count was not a number, so silently discard this item
            pass

if __name__ == "__main__":
    main()