Building the Data Warehouse, 4th Edition

W. H. Inmon

Building the Data WarehouseНовое издание классического бестселлера, который послужил началом отрасли хранилищ данных.
Книга описывает новые подходы и технологии, во многих из которых пионером выступил сам Билл Инмон (Inmon). В дополнение к объяснению основ хранилищ данных (DWH), книга овещает новые темы, такие как методы обработки неструктурированных данных (unstructured data) и хранение данных в хранилище данных на нескольких типах носителей (multi-temperature data warehousing).

Книга обсуждает достоинства и недостатки реляционного и многомерного подходов к проектированию, а также то, как измерять возврат на инвестиции (ROI) при планировании проектов по построению хранилищ данных.
Читать дальше »

Опубликовано 04.03.2009 | Автор сообщения Константин Лисянский | Категории: DWH, Inmon, Bill, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Ведущий тестировщик, Для начинающих, Для продвинутых, Для экспертов, Книги, Менеджер метаданных, На английском, Проектирование нормализованных моделей, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Сравнение подходов проектирования, Стюард данных, Технический архитектор

Архитектуры систем поддержки принятия решений

Автор: Константин Лисянский

Эта небольшая статья была написано достаточно давно и предназначается для людей, которые только приступают к изучению предмета хранилищ данных (DWH).

На сегодняшний день (и, видимо, ещё надолго вперёд) можно выделить четыре наиболее популярных типа архитектур систем поддержки принятия решений (DSS):

  1. Функциональная СППР.
  2. Независимые витрины данных (independent DM).
  3. Двухуровневое хранилище данных (EDW - корпоративное хранилище данных).
  4. Трёхуровневое хранилище данных (hub-and-spoke architecture).

Читать дальше »

Опубликовано 25.02.2009 | Автор сообщения Константин Лисянский | Категории: DWH, Администратор БД, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Бизнес-аналитик, Бизнес-спонсор, Ведущий тестировщик, Для начинающих, Лисянский, Константин, Менеджер метаданных, Менеджер по безопасности, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Специалист data mining, Специалист по обучению, Специалист по технической поддержке, Стюард данных, Технический архитектор

Business Intelligence Certification Guide

Учебник для подготовки к сдаче экзамена по теме Business Intelligence от компании IBM. Описывает основные концепции хранилищ данных и приложений на их основе. Рассматриваются различные варианты архитектуры хранилищ данных. Описываются основные компоненты хранилища данны, а также этапы проекта по построению хранилища данных. Рекомендуется начинающим строителям хранилищ данных.

Читать…

Опубликовано 05.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, IBM, ODS, OLAP, Администратор БД, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Бизнес-аналитик, Бизнес-спонсор, Ведущий тестировщик, Для начинающих, Менеджер метаданных, Менеджер по безопасности, На английском, Проектирование многомерных моделей, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Специалист data mining, Специалист по обучению, Специалист по технической поддержке, Стюард данных, Технический архитектор, Управление метаданными

Использование инструментов качества данных для определения основных данных

Автор: David Loshin
Дата публикации оригинала: 2006-11-23
Источник: Сайт B-EyE-Network

Эта статья предлагает несколько подходов, которые могут использоваться для сбора информации о потенциальных наборах основных данных предприятия.

Что делает данные «основными данными»? В недавней статье я определил основные данные как «объекты данных, которые являются основными бизнес-объектами, используемыми в организации в различных приложениях, наряду с соответствующими метаданными, атрибутами, определениями, ролями и систематикой». Объекты основных данных – такие «вещи», о которых мы беспокоимся, вещи, которые входят в наши оперативные системы, которые измеряются, о которых сообщается в наших системах отчётности и которые анализируются в наших аналитических системах. Это, например, клиент, поставщик, продукт, политика и так далее.

Так как мы интуитивно понимаем, что объекты основных данных находятся на предприятии, то при рассмотрении возможностей реализации планов управления основными данными существует две тенденции. Одной из них является их обнаружение – какие объекты в наших организациях определяются как основные данные? Второй является оценка – как мы можем отследить и стандартизировать модель и содержимое набора основных данных? Это может казаться относительно лёгкой задачей, но когда каждая сфера деятельности вашей организации имеет свой набор таблиц и приложений, возможность выделить основные данные начинает казаться сложной задачей.
Читать дальше »

Опубликовано 17.09.2008 | Автор сообщения Константин Лисянский | Категории: CDI, Data Quality, Loshin, David, MDM, RDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Бизнес-аналитик, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Управление метаданными

Достоверность данных

Автор: Bill Inmon
Дата публикации оригинала: 2006-09-21
Источник: сайт B-Eye-Network

Достоверность данных - очень важный фактор в достижении успеха, но она не является автоматической. Как вы ее достигаете?

Существует много аспектов данных, которые важны, но нет ничего более важного, чем достоверность данных. Если данные полностью достоверны, можно предпринимать хорошие, взвешенные решения. При этом фактор догадок минимален, и существует меньше конфликтующих вариантов, основанных на связанных, но несколько отличающихся данных. Вся организация получает возможность концентрироваться и пребывать в гармонии. Без достоверных данных у организации возникают трудности с информированностью и принятием правильных решений.

Одним словом, иметь данные – это хорошо, но если они достоверные – ещё лучше.
Читать дальше »

Опубликовано 11.09.2008 | Автор сообщения Константин Лисянский | Категории: Data Quality, Inmon, Bill, MDM, RDM, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Стюард данных, Технический архитектор 1 комментарий

Нормализация справочных данных

Автор: Malcolm Chisholm
Дата публикации оригинала: 2008-07-09
Источник: сайт B-Eye-Network

Многие базы данных создаются в третьей или выше нормальной форме только для того, чтобы наполняться справочными данными, которые являются хаотичными и нестандартными. Это может иметь негативное влияние, перекрывающее основное преимущество построения нормализованных баз данных.

Следует сказать, что значение нормализации построения баз данных хорошо понимают специалисты по управлению данными – по меньшей мере, в третьей нормальной форме. Уже многие базы данных создаются в третьей или выше нормальной форме только для того, чтобы наполняться справочными данными, которые являются хаотичными и нестандартными. Это может иметь негативное влияние, перекрывающее основное преимущество построения нормализованных баз данных, которое состоит в том, что дизайн базы данных должен меняться только в том случае, если бизнес-сфера поддерживает такие изменения. Необходимо обратить внимание, что наборы значений справочных данных должны «нормализоваться» таким образом, который является подходящим для справочных данных, чтобы база данных приносила максимальный возврат на инвестиции.

«Нормализация» в общем, означает стандартизацию и обычно заключается в соответствии одному или нескольким правилам для достижения стандартизации.
Читать дальше »

Опубликовано 09.09.2008 | Автор сообщения Константин Лисянский | Категории: Chisholm, Malcolm, RDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Разработчик моделей данных, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными

Что такое основные данные?

Автор Malcolm Chisholm
Дата публикации оригинала 2008-02-06
Перевод: Олег Усольцев
Источник: сайт B-Eye Network

Статья описывает подход к классификации данных, который позволяет дать точное определение такому понятию, как основные данные (master data). На практике этот подход может быть использован для разрешения различных задач, связанных с организацией управления данными.

Огромный интерес, проявленный за последние несколько лет к проблеме управления основными данными (master data management), пока не позволяет говорить о наличии какого-либо прогресса в формировании методологических основ управления данными. Некоторые изменения в этом направлении происходят благодаря работе консультантов, поставщиков готовых решений и специалистов в сфере управления данными. Однако, основная проблема, связанная с отсутствием четкого понимания и соглашения о том, что такое основные данные, до сих пор остается нерешенной. Сейчас под основными данными принято понимать материальные и нематериальные сущности, например: клиент, продукт, счет, т.е. в определении основных данных сейчас доминирует принцип: я это знаю, если я это вижу. Другими словами, для определения основных данных сейчас обычно используются обобщения, как например, это разделяемые данные, или это данные, используемые транзакционными приложениями, но не создаваемые ими.
Читать дальше »

Опубликовано 01.09.2008 | Автор сообщения Константин Лисянский | Категории: Chisholm, Malcolm, MDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными

Master Metadata Management

Автор: David Loshin
Дата публикации оригинала – 2008-02-21
Перевод: Константин Лисянский
Источник: сайт B-Eye-Network

Есть ценность в том, чтобы посмотреть на концептуальное представление мастер-метаданных, которое начинается с основных блоков и растёт с тем, чтобы поддерживать сложные представления информации, используемой для поддержки достижения целей бизнеса.

Говоря чисто техническим языком, существует значительная потребность в координации, требующейся для слежения и направления в нужное русло аспектов управления информацией таких инициатив предприятия, как master data management (MDM). Политические и организационные аспекты этой координации учитываются как часть программы управления (governance program), которая должна сопровождать программу MDM. Однако все аспекты определения потребности, планирования, стратегии миграции и будущего состояния требуют ясного представления информации о данных, которые используются в организации, то есть, о метаданных организации.
Читать дальше »

Опубликовано 13.08.2008 | Автор сообщения Константин Лисянский | Категории: Loshin, David, MDM, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Разработчик BI-портала, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Стюард данных, Технический архитектор, Управление метаданными 1 комментарий

Стратегия проверки качества данных и тестирования процессов в хранилище данных

Дата публикации оригинала - 2008-06-07

Стратегия проверки качества данных и тестирования процессов обработки данных в хранилище данных включает достижение следующих целей:

  1. Обеспечение качества загружаемых данных;
  2. Обеспечение качества загрузки, обработки и преобразования данных;
  3. Обеспечение качества расчета метрических величин и агрегации данных.

Как вариант, эти цели могут быть достигнуты выполнением следующих задач.
Читать дальше »

Опубликовано 17.06.2008 | Автор сообщения Константин Лисянский | Категории: Data Quality, ETL, Аналитик качества данных, Архитектор ETL, Ведущий тестировщик, Для начинающих, На русском, Разработчик ETL, Усольцев, Олег

Что необходимо учитывать при определении KPI персонала

Дата публикации оригинала - 2007-12-22

Основная проблема определения нефинансовых ключевых показателей эффективности заключается в их субъективности. Например, если определить ключевой показатель эффективности, как среднее время, которое каждый сотрудник команды тратит на выполнение задания или на разрешение проблемы, заявленной клиентом, то он будет зависеть от многих факторов:
Читать дальше »

Опубликовано 29.05.2008 | Автор сообщения Константин Лисянский | Категории: CPM, Аналитик качества данных, Бизнес-аналитик, Для начинающих, Менеджер метаданных, На русском, Разработчик приложений BI, Стюард данных, Усольцев, Олег