Hadoop (хадуп, хэдуп) - СПРАВОЧНИК - примеры кода и ошибки. (java & python inside =)

возможно, пригодятся такие linux-подсказки, а также могут помочь такие подсказки по Java

ПРИМЕЧАНИЕ: начинайте отсюда (Привет Мир!)

Hadoop & Java

  1. Hadoop - установка на Windows - Virtualbox Ubuntu
  2. Hadoop - Как Начать
  3. Hadoop - скопировать данные (файлы) из локальной директории (на компьютере) в собственную файловую систему - добавить файлы
  4. Удалить директорию папку
  5. Команда запуска стандартного примера
  6. Команда hadoop fs -файловая система - опции
  7. Hadoop создать директорию папку в файловой системе хадуп
  8. Скопировать данный из файловой системы хадупа на компьютер (в локальную директорию)
  9. проверить содержимое папки (директории) -вывести список файлов из папки
  10. Подсчёт слов - компиляция стандартного пример Hadoop - WordCount.java
  11. Запуск стандартного примера WordCount после компиляции
  12. hadoop fs - файловая система - смена директории
  13. Дуг Каттинг - интервью
  14. Основные службы - Hadoop
  15. Hadoop - скрипт компиляции и запуска - командный файл
  16. Hadoop - вывести содержимое файла на экран (консоль)
  17. Просмотр очень большого файла - конец, хвост - Hadoop
  18. Hadoop запуск первого примера
  19. Путь к файлам исходного кода примера в Haddop 2.2.0 - где лежат файлы
  20. Запуск кластера команда Hadoop (включение, выключение - включить выключить)
  21. Создание домашнего каталога для пользователя в HDFS - Hadoop
  22. Изменение стандартного примера WordCount - модификация
  23. WordCount Hadoop - ничего не изменяется при изменении - модификации, редактировании исходного кода программы
  24. WordCount hadoop исходный код
  25. hadoop cleanup method -метод
  26. Hadoop - Принцип Работы
  27. InputFormat - хадуп
  28. InputSplit - Описание
  29. Hadoop - фунция map - описание
  30. Mapper (мэппер) - хадуп - Interface Mapper
  31. Хадуп - FileInputFormat - Class FileInputFormat K,V
  32. Hadoop Job Class - описание
  33. Class JobConf класс -Hadoop
  34. HADOOP - Статьи
  35. Job класс Hadoop - пример создания объекта
  36. Задача отражения-редуцирования (Hadoop Job)
  37. addInputPath метод FileInputFormat
  38. Job и JobConf в Hadoop
  39. Hadoop - пример входных файлов для обработки (текстовые файлы)
  40. Подзадача (task) -Hadoop
  41. WordCount - найдём слово которое встречается максимальное число раз
  42. Partitioner Hadoop - хадуп - Class Partitioner
  43. Logging (Log - лог) - хадуп вывод журнала, событий в консоль - отладка
  44. Форматировать файловую систему - Hadoop
  45. hadoop 2.2.0 start-mapred.sh - нет файла - start-yarn.sh
  46. Ошибка: INFO hdfs.DFSClient: Could not complete ._COPYING_ retrying... - Hadoop
  47. Число запускаемых редукторов - Hadoop
  48. Узнать число машин (компьютеров) в кластере - Hadoop
  49. Число узлов - Datanodes available: 1 (1 total, 0 dead) - get number of hadoop nodes
  50. Hadoop hosts файл (на master-машине) - datanode namenode нет подключения
  51. Настройка кластера из нескольких (двух) машин
  52. Ubuntu список занятых портов
  53. nodemanager - не работает - ошибка подключения на slave-машине ResourceManager 8031
  54. Hadoop - web-интерфейс кластера - веб интерфейс
  55. Полезные команды скрипты для запуска wordcount пример - хадуп
  56. Использование Python в Hadoop (питон в хадуп)
  57. Hadoop - выключить редуктор - без редуктора
  58. Hadoop datanode и namenode не взаимодействуют на компьютерах кластера не подключаются - нет связи соединения
  59. ОШИБКА: Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
  60. ОШИБКА: java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text INFO mapred
  61. ОШИБКА: wrong value class: class org.apache.hadoop.io.DoubleWritable is not class org.apache.hadoop.io.IntWritable
  62. Удалить директорию (папку) из HDFS программно (JAVA)
  63. ОШИБКА: java.io.IOException: incorrect header check - Hadoop
  64. Пример конфигурации (настройки) Job с несколькими разными входными путями и несколькими специальными мэпперами
  65. Hadoop запускается другой мэппер - не тот что указан - мэппер по умолчанию - как исправить
  66. ОШИБКА: java.lang.ClassCastException: org.apache.hadoop.io.NullWritable cannot be cast to org.apache.hadoop.io.Text

Hadoop & Python

  1. Python & Hadoop - пример (начинайте отсюда)
  2. Мэппер и Редуктор с итераторами и генераторами - Hadoop Python