Modeling Data Warehouse Transformation and Extraction Logic

Автор обсуждает достоинства диаграмм DFD, позволяющие использовать их для проектирования процессов извлечения данных из оперативных систем и их загрузки в хранилище данных. Автор показывает, что несмотря на то, что данной технологии уже более двадцати лет, ее с успехом можно использовать при построении хранилищ данных.
Читать дальше »

Опубликовано 18.11.2008 | Автор сообщения Константин Лисянский | Категории: ETL, Архитектор ETL, Для начинающих, Для продвинутых, На английском, Разработчик ETL, Руководитель подразделения BI/DWH

Три подхода к распараллеливанию процесса преобразования данных

Автор: Curt Monash
Дата публикации оригинала: 2008-08-26
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Многие поставщики систем хранилищ данных с массивно-параллельной архитектурой уверяли меня, что их продукты используются для осуществления процесса ELT (Extract - Извлечение/Load - Загрузка/Transform - Преобразование), а не для ETL (Extract - Извлечение/Transform – Преобразование/Load - Загрузка). Т.е. необходимые преобразования данных выполняются на массивно-параллельной системе, а не на той системе, вероятно имеющей SMP-архитектуру, откуда берутся данные*. Если преобразование данных выполняется построчно, то оно автоматически полностью распараллеливается. Даже если преобразования являются более сложными, все равно обработка может в значительной степени носить параллельный характер.
Читать дальше »

Опубликовано 30.09.2008 | Автор сообщения Олег Кузьменко | Категории: Aster Data, DWH, ETL, MPP, MapReduce, Monash, Curt, Pervasive Software, itblogs, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, На русском, Разработчик ETL, Руководитель подразделения BI/DWH, Технический архитектор Комментариев 2

Достоверность данных

Автор: Bill Inmon
Дата публикации оригинала: 2006-09-21
Источник: сайт B-Eye-Network

Достоверность данных - очень важный фактор в достижении успеха, но она не является автоматической. Как вы ее достигаете?

Существует много аспектов данных, которые важны, но нет ничего более важного, чем достоверность данных. Если данные полностью достоверны, можно предпринимать хорошие, взвешенные решения. При этом фактор догадок минимален, и существует меньше конфликтующих вариантов, основанных на связанных, но несколько отличающихся данных. Вся организация получает возможность концентрироваться и пребывать в гармонии. Без достоверных данных у организации возникают трудности с информированностью и принятием правильных решений.

Одним словом, иметь данные – это хорошо, но если они достоверные – ещё лучше.
Читать дальше »

Опубликовано 11.09.2008 | Автор сообщения Константин Лисянский | Категории: Data Quality, Inmon, Bill, MDM, RDM, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Стюард данных, Технический архитектор 1 комментарий

Три тенденции в технологии business intelligence

Идеальный шторм или идеальный мир?

Автор: Claudia Imhoff
Дата публикации оригинала: 2006-04-04
Источник: сайт B-Eye-Network

По мере созревания рынка business intelligence на определение направлений развития данной отрасли влияют три тенденции.

Этот год (статья написана в 2006 г. – прим. ред.) должен привести к большим переменам в отрасли business intelligence (BI). Будут ли это перемены к лучшему или к худшему? Увидим. В любом случае, здесь представлены три тенденции, которые уже оказывают огромное влияние на формирование ситуации в отрасли и некоторые размышления о том, плохо это или хорошо для отрасли.
Читать дальше »

Опубликовано 08.09.2008 | Автор сообщения Константин Лисянский | Категории: BAM, Business Intelligence, CDI, EII, ETL, Imhoff, Claudia, MDM, ODS, Архитектор BI, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик приложений BI, Руководитель подразделения BI/DWH

Week Numbers In Excel

Автор делится скриптом на VBA, позволяющим генерировать данные о неделях по стандарту ISO 8601.

Плюс много других функций для работы с датами и временем.

Могут оказаться полезными при заполнении таблиц измерения “Время”.

Читать статью…

Опубликовано 16.07.2008 | Автор сообщения Константин Лисянский | Категории: ETL, OLAP, Для начинающих, Для продвинутых, Для экспертов, На английском, Разработчик ETL, Разработчик приложений BI

Стратегия проверки качества данных и тестирования процессов в хранилище данных

Дата публикации оригинала - 2008-06-07

Стратегия проверки качества данных и тестирования процессов обработки данных в хранилище данных включает достижение следующих целей:

  1. Обеспечение качества загружаемых данных;
  2. Обеспечение качества загрузки, обработки и преобразования данных;
  3. Обеспечение качества расчета метрических величин и агрегации данных.

Как вариант, эти цели могут быть достигнуты выполнением следующих задач.
Читать дальше »

Опубликовано 17.06.2008 | Автор сообщения Константин Лисянский | Категории: Data Quality, ETL, Аналитик качества данных, Архитектор ETL, Ведущий тестировщик, Для начинающих, На русском, Разработчик ETL, Усольцев, Олег

Вакансия. (КА) Data Warehousing Consultant

Kelly Services C.I.S. on behalf of its client, a major western IT Company, with a strong presence in Russia is searching for a Data Warehousing Consultant.

Summary Description:

This position is a staff level data warehouse technical consultant within the Professional Services organization. This is a client-facing, project oriented position having accountability for managing client expectations while delivering the services and solutions. The Consultant provides in-depth technical needs analysis and advises solution teams on database configuration and utilization issues during the client engagement. Responsible for designing database query specifications, as well as database implementation, performance tuning administration and security, are often included.
Читать дальше »

Опубликовано 03.06.2008 | Автор сообщения Андрей Пивоваров | Категории: Архитектор BI, Вакансии, На английском, Разработчик ETL, Разработчик моделей данных

Aggregate Improvements

Дата публикации оригинала - 2001-10-4

В этой статье автор задаётся вопросом о том, почему при понимании важности агрегатов ими мало пользуются, а также даёт несколько высокоуровневых рекомендаций относительно того, как определить правильное количество агрегатов для хранилища данных.

Читать статью…

Опубликовано 27.05.2008 | Автор сообщения Константин Лисянский | Категории: Corr, Lawrence, Архитектор BI, Архитектор ETL, Для продвинутых, На английском, Работа с агрегатами, Разработчик ETL, Разработчик приложений BI

Aggregate Navigation With (Almost) No Metadata

В этой статье Ральф Кимбалл описывает цели и риски программы по построению агрегированной схемы, приводит четыре требования к её проектированию, а также объясняет принципы действия навигации по агрегатам.

Читать статью…

Опубликовано 26.05.2008 | Автор сообщения Константин Лисянский | Категории: Kimball, Ralph, Архитектор BI, Архитектор ETL, Для начинающих, На английском, Проектирование многомерных моделей, Работа с агрегатами, Разработчик ETL, Разработчик приложений BI

Backward in Time

Ральф Кимбалл рассматривает два случая, когда данные приходят в хранилище данных с запозданием.

Читать статью…

Опубликовано 25.05.2008 | Автор сообщения Константин Лисянский | Категории: ETL, Kimball, Ralph, Архитектор BI, Архитектор ETL, На английском, Разработчик ETL