MapReduce

MapReduce - это модель программирования и соответствующая реализация, предназначенные для параллельной обработки больших объёмов данных. Пользователи описывают функции map (обработка единицы входных данных с генерацией промежуточного результата) и reduce (агрегация промежуточных результатов в окончательный). Данная модель позволяет решать довольно широкий спектр задач. Программы, написанные с использованием модели MapReduce, автоматически распараллеливаются и выполняются на больших кластерах, состоящих из стандартного оборудования. При этом, распараллеливающий механизм заботится об автоматическом распределении работы между рабочими узлами, обеспечивает надёжность вычислений при сбоях отдельных рабочих узлов и обеспечивает необходимые коммуникации между узлами системы. Данный подход позволяет абстрагировать программиста от деталей реалиации распараллеливания, предоставив ему простой интерфейс в виде двух функций. Модель MapReduce, например, довольно интенсивно использвется компанией Google. Поставщики СУБД для хранилищ данных также её используют.

« Go Back