Business Intelligence Certification Guide

Учебник для подготовки к сдаче экзамена по теме Business Intelligence от компании IBM. Описывает основные концепции хранилищ данных и приложений на их основе. Рассматриваются различные варианты архитектуры хранилищ данных. Описываются основные компоненты хранилища данны, а также этапы проекта по построению хранилища данных. Рекомендуется начинающим строителям хранилищ данных.

Читать…

Опубликовано 05.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, IBM, ODS, OLAP, Администратор БД, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Бизнес-аналитик, Бизнес-спонсор, Ведущий тестировщик, Для начинающих, Менеджер метаданных, Менеджер по безопасности, На английском, Проектирование многомерных моделей, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Специалист data mining, Специалист по обучению, Специалист по технической поддержке, Стюард данных, Технический архитектор, Управление метаданными

Горы данных предприятия, Часть 3

Основные данные и бизнес-аналитика

Автор: Colin White
Дата публикации оригинала: 2006-11-27
Источник: Сайт BeyeNETWORK

В среде бизнес-аналитики, основные данные отражают то, как бизнес-информация изменилась со временем; указанные исторические основные данные могут объединяться с другими историческими данными бизнес-транзакций для подготовки аналитических отчетов.

В части 1 данной серии статей, я обсуждал различные способы хранения и управления данными, связанные с пятью основными типами бизнес-процессов, которые существуют в организации. В части 2 я продолжил это обсуждение, детально рассмотрев обработку основных данных, уделяя особое внимание отношениям между основными данными и операционными процессами бизнес-транзакций. В этой третьей и последней части я хочу обсудить отношение между основными данными и аналитической обработкой бизнес-аналитики (BI).
Читать дальше »

Опубликовано 22.01.2009 | Автор сообщения Константин Лисянский | Категории: DWH, MDM, White, Colin, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными

Горы данных предприятия, Часть 2

Хранение и управление основными данными

Автор: Colin White
Дата публикации оригинала: 2006-10-23
Источник: Сайт BeyeNETWORK

У большей части организаций нет среды управления основными данными на предприятии. Вместо этого есть много систем ввода для определенного типа основных данных, что вызывает сложности с поддержанием качества данных и их системности.

В части 1 данной статьи я рассматривал интеграцию данных с точки зрения пяти основных типов бизнес-процессов, которые существуют в организациях, а также различные способы, с помощью которых может осуществляться хранение и управление данными, относящимися к этим процессам. В этой статье я хочу продолжить данное обсуждение, детально рассмотрев вопрос хранения и управления данными, относящимися к процессам управления основными данными.
Читать дальше »

Опубликовано 18.01.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, Data Quality, MDM, ODS, White, Colin, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Руководитель подразделения BI/DWH, Технический архитектор, Управление метаданными

Сервисные метаданные для управления основными данными

Автор: David Loshin
Дата публикации оригинала: 2008-03-20
Источник: сайт B-EyE-Network

В данной статье освещаются метаданные, относящиеся к сервисам. Консолидация основных сервисов является сильным стимулирующим фактором для управления основными данными, её ценность иногда даже превосходит ценность самих консолидированных данных.

В февральской статье мы обратили внимание на высокий уровень использования метаданных в качестве контрольного механизма для управления основными данными (MDM) и предположили, что существует семь уровней, относящихся к множеству метаданных, которые поддерживают переход к среде основных данных. В этой статье освещается один уровень в этой абстракции метаданных - метаданные, относящиеся к сервисам. Мы подразумеваем под «сервисными метаданными» абстрактную функциональность, встраиваемую в бизнес-приложения и используемую ими, а также степень, в которой данные функции могут быть описаны в качестве независимых сервисов, равно как и преобразование из сервиса в клиентские приложения.
Читать дальше »

Опубликовано 01.11.2008 | Автор сообщения Константин Лисянский | Категории: Loshin, David, MDM, Архитектор BI, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Руководитель подразделения BI/DWH, Технический архитектор, Управление метаданными

Metadata Solutions: Using Metamodels, Repositories, XML, and Enterprise Portals to Generate Information on Demand

Adrienne Tannenbaum

Metadata Solutions: Using Metamodels, Repositories, XML, and Enterprise Portals to Generate Information on DemandОбзор от редакции
Практический текст, предлагающий инструкции по внедрению и поддержке решений в области управления метаданными. Содержит примеры реальных внедрений для демонстрации применения систем управления метаданными, включая распространённые ошибки. Также предоставляет информацию о защите метаданных от несанкционированного доступа.
Читать дальше »

Опубликовано 28.09.2008 | Автор сообщения Константин Лисянский | Категории: Архитектор BI, Для продвинутых, Для экспертов, Книги, Менеджер метаданных, На английском, Разработчик моделей данных, Руководитель подразделения BI/DWH, Управление метаданными

Структурированные и неструктурированные данные

Преодоление разрыва

Автор: Билл Инмон
Дата публикации оригинала: 2007-06-21
Источник: сайт B-EyE-Network

Если между двумя мирами структурированных и неструктурированных данных может быть построен мост, то можно будет строить абсолютно новые виды систем.

В большинстве своём информационные системы возникли вокруг структурированных данных и систем. Структурированная среда состоит из данных, у которых есть поля, столбцы, таблицы, строки и индексы. Она сосредотачивается вокруг транзакций, в ней есть отчеты, аудит и определения слов. Со структурированной средой ассоциируется высокий уровень прогнозируемости и порядка.

Неструктурированная среда очень отличается от структурированной. В неструктурированной среде не существует специального порядка. Она состоит из текста, содержащегося в медицинских отчетах, гарантиях, контрактах, электронной почте и электронных таблицах. Для текста не существует правил, управляющих его созданием или использованием. Текст не имеет ключей, индексов, столбцов или атрибутов. Данный текст представлен в свободной форме и является неорганизованным. Тогда как структурированные данные являются организованными.
Читать дальше »

Опубликовано 24.09.2008 | Автор сообщения Константин Лисянский | Категории: Inmon, Bill, Архитектор BI, Бизнес-аналитик, Для начинающих, Для продвинутых, На русском, Разработчик моделей данных, Руководитель подразделения BI/DWH, Руководитель проекта от бизнеса, Специалист data mining, Управление метаданными 1 комментарий

Использование инструментов качества данных для определения основных данных

Автор: David Loshin
Дата публикации оригинала: 2006-11-23
Источник: Сайт B-EyE-Network

Эта статья предлагает несколько подходов, которые могут использоваться для сбора информации о потенциальных наборах основных данных предприятия.

Что делает данные «основными данными»? В недавней статье я определил основные данные как «объекты данных, которые являются основными бизнес-объектами, используемыми в организации в различных приложениях, наряду с соответствующими метаданными, атрибутами, определениями, ролями и систематикой». Объекты основных данных – такие «вещи», о которых мы беспокоимся, вещи, которые входят в наши оперативные системы, которые измеряются, о которых сообщается в наших системах отчётности и которые анализируются в наших аналитических системах. Это, например, клиент, поставщик, продукт, политика и так далее.

Так как мы интуитивно понимаем, что объекты основных данных находятся на предприятии, то при рассмотрении возможностей реализации планов управления основными данными существует две тенденции. Одной из них является их обнаружение – какие объекты в наших организациях определяются как основные данные? Второй является оценка – как мы можем отследить и стандартизировать модель и содержимое набора основных данных? Это может казаться относительно лёгкой задачей, но когда каждая сфера деятельности вашей организации имеет свой набор таблиц и приложений, возможность выделить основные данные начинает казаться сложной задачей.
Читать дальше »

Опубликовано 17.09.2008 | Автор сообщения Константин Лисянский | Категории: CDI, Data Quality, Loshin, David, MDM, RDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Бизнес-аналитик, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Управление метаданными

Нормализация справочных данных

Автор: Malcolm Chisholm
Дата публикации оригинала: 2008-07-09
Источник: сайт B-Eye-Network

Многие базы данных создаются в третьей или выше нормальной форме только для того, чтобы наполняться справочными данными, которые являются хаотичными и нестандартными. Это может иметь негативное влияние, перекрывающее основное преимущество построения нормализованных баз данных.

Следует сказать, что значение нормализации построения баз данных хорошо понимают специалисты по управлению данными – по меньшей мере, в третьей нормальной форме. Уже многие базы данных создаются в третьей или выше нормальной форме только для того, чтобы наполняться справочными данными, которые являются хаотичными и нестандартными. Это может иметь негативное влияние, перекрывающее основное преимущество построения нормализованных баз данных, которое состоит в том, что дизайн базы данных должен меняться только в том случае, если бизнес-сфера поддерживает такие изменения. Необходимо обратить внимание, что наборы значений справочных данных должны «нормализоваться» таким образом, который является подходящим для справочных данных, чтобы база данных приносила максимальный возврат на инвестиции.

«Нормализация» в общем, означает стандартизацию и обычно заключается в соответствии одному или нескольким правилам для достижения стандартизации.
Читать дальше »

Опубликовано 09.09.2008 | Автор сообщения Константин Лисянский | Категории: Chisholm, Malcolm, RDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На русском, Разработчик моделей данных, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными

Выбор инструмента для моделирования хранилищ и витрин данных

Для создания и поддержки успешных моделей хранилищ и витрин данных необходимы соответствующие средства моделирования. В настоящее время на рынке присутствует достаточно большое количество поставщиков программных продуктов данного класса. При выборе инструмента для проекта необходимо принимать в учёт ряд требований, которым должны удовлетворять инструменты. Список требований достаточно обширен, поэтому он разбит на несколько категорий.

Поддержка методологий проектирования моделей

  • Поддержка традиционного ER-моделирования (для моделирования хранилищ данных) и многомерного моделирования (для моделирования витрин данных).
  • Поддержка различных методологий проектирования и нотаций (IDEF1X, IE, нотации Баркера, Чена, Мартина, ORM, UML, DFD и т.д.).
  • Корректное преобразование моделей из одной нотации в другую.

Читать дальше »

Опубликовано 05.09.2008 | Автор сообщения Константин Лисянский | Категории: DWH, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Концептуальное моделирование, Лисянский, Константин, Менеджер метаданных, На русском, Проектирование многомерных моделей, Проектирование нормализованных моделей, Разработчик моделей данных, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными

Что такое основные данные?

Автор Malcolm Chisholm
Дата публикации оригинала 2008-02-06
Перевод: Олег Усольцев
Источник: сайт B-Eye Network

Статья описывает подход к классификации данных, который позволяет дать точное определение такому понятию, как основные данные (master data). На практике этот подход может быть использован для разрешения различных задач, связанных с организацией управления данными.

Огромный интерес, проявленный за последние несколько лет к проблеме управления основными данными (master data management), пока не позволяет говорить о наличии какого-либо прогресса в формировании методологических основ управления данными. Некоторые изменения в этом направлении происходят благодаря работе консультантов, поставщиков готовых решений и специалистов в сфере управления данными. Однако, основная проблема, связанная с отсутствием четкого понимания и соглашения о том, что такое основные данные, до сих пор остается нерешенной. Сейчас под основными данными принято понимать материальные и нематериальные сущности, например: клиент, продукт, счет, т.е. в определении основных данных сейчас доминирует принцип: я это знаю, если я это вижу. Другими словами, для определения основных данных сейчас обычно используются обобщения, как например, это разделяемые данные, или это данные, используемые транзакционными приложениями, но не создаваемые ими.
Читать дальше »

Опубликовано 01.09.2008 | Автор сообщения Константин Лисянский | Категории: Chisholm, Malcolm, MDM, Аналитик качества данных, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Руководитель подразделения BI/DWH, Стюард данных, Управление метаданными