Вакансия. (КА) Архитектор DWH

Требования

Высшее образование. Опыт работы в роли прикладного и/или системного архитектора в ИТ проектах от 3х лет. Опыт участия в проектировании хранилища данных (SAS или Oracle). Знание технологии ETL. Работа с одним из продуктов класса ETL IBM DataStage Oracle DI, SAS. Знание банковских продуктов и технологий желательно. Английский язык - технический.
Читать дальше »

Опубликовано 10.08.2009 | Автор сообщения Константин Лисянский | Категории: DWH, ETL, IBM, Oracle, SAS, Архитектор BI, Архитектор ETL, Банки, Вакансии, Для продвинутых, Для экспертов, На русском, Работа, Технический архитектор

Вакансия. Архитектор хранилища данных/ Технический лидер

Для проекта по построению хранилища данных в крупном российском банке требуется Архитектор хранилища данных/Технический лидер.

Обязанности

Архитектор хранилища данных:

Разгоняем хранилище данных (Часть 3)

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Опубликовано 23.05.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, Администратор БД, Архитектор BI, Архитектор ETL, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Разработчик ETL, Руководитель подразделения BI/DWH, Технический архитектор 1 комментарий

The Data Warehouse ETL Toolkit

Ralph Kimball, Joe Caserta

The Data Warehouse ETL ToolkitКнига известного популяризатора технологий хранилищ данных Ральфа Кимбала рассказывает о том, как построить систему ETL для хранилища данных, построенного на основе многомерной модели данных. В книге рассматриваются все аспекты, связанные с ETL, включая планирование, архитектуру, структуры и потоки данных, очистку данных и мониторинг качества данных, процессы разработки и оптимизации, поддержку ETL в режиме производственной эксплуатации, управление метаданными, зоны ответственности и процессы, извлечение и загрузку данных в режиме реального времени.
Читать дальше »

Опубликовано 07.05.2009 | Автор сообщения Константин Лисянский | Категории: Caserta, Joe, DWH, ETL, Kimball, Ralph, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, На английском, Разработчик ETL

The Microsoft Data Warehouse Toolkit: With SQL Server 2005 and the Microsoft Business Intelligence Toolset

Joy Mundy, Warren Thornthwaite, Ralph Kimball

The Microsoft Data Warehouse Toolkit: With SQL Server 2005 and the Microsoft Business Intelligence ToolsetОписание от издателя
Эта прорывная книга является первой из серии Kimball Toolkit, которая является продукто-ориентированной. Инструментарий BI от компании Microsoft претерпел значительные изменения при разработке SQL Server 2005. SQL Server 2005 - это первая жизнеспособная полноценная платформа для хранилищ данных (DWH) и business intelligence, которая предлагается по цене, делающей технологии хранилищ данных и business intelligence доступными широкому кругу организаций. Эта книга должна предложить практические методы и направить эти организации через мириады проблем к истинному успеху, который измеряется ценным вкладом в бизнес-результат.
Читать дальше »

Опубликовано 11.03.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, Kimball, Ralph, Microsoft, Thornthwaite, Warren, Администратор БД, Архитектор BI, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, Книги, На английском, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта

Заметки о форуме Oracle по Business Intelligence

19 февраля в Москве в гостинице “Мариотт Гранд Отель” прошёл форум Oracle по бизнес-аналитике (BI). Я решил осветить основные моменты форума (по крайней мере, в части тех докладов, которые удалось послушать).

Выступления

Нужно заметить, что был я не с самого начала в связи с тем что долго искал место для парковки (просьба к Юрию Михайловичу поскорее решить проблему с парковкой в центре Москвы), поэтому доклад об оптимизации бизнес-процессов от Дженка Кирала я пропустил. Кто был - милости прошу отозваться в комментариях.

Второй доклад “Технологии и продукты Oracle для решения аналитических задач” Ольги Горчинской я тоже пропустил (по той же самой причине - Юрий Михайлович +1).
Читать дальше »

Опубликовано 24.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, Geospatial, Oracle, Oracle Exadata, Архитектор BI, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик приложений BI, Руководитель подразделения BI/DWH

Что такое Oracle Business Intelligence?

Автор: Андрей Пивоваров
Дата публикации оригинала - 2006-11-20
Источник: Блог Андрея Пивоварова

Очень поверхностная классификация продуктов Oracle BI

Технологии Oracle Business Intelligence можно условно разделить на те, что относятся к построению хранилищ данных (DWH) и те, что относятся к визуализации (data visualization) и доставке информации пользователям.

К теме построения хранилищ относятся, прежде всего, сама СУБД Oracle с её ETL функционалом и с опцией Partitioning, а также CASE-среда Oracle Warehouse Builder, которая с недавних пор входит в поставку СУБД.
Читать дальше »

Опубликовано 16.02.2009 | Автор сообщения Андрей Пивоваров | Категории: Business Intelligence, Data Mining, ETL, OLAP, Oracle, Архитектор BI, Для начинающих, На русском, Пивоваров, Андрей, Руководитель подразделения BI/DWH

Business Intelligence Certification Guide

Учебник для подготовки к сдаче экзамена по теме Business Intelligence от компании IBM. Описывает основные концепции хранилищ данных и приложений на их основе. Рассматриваются различные варианты архитектуры хранилищ данных. Описываются основные компоненты хранилища данны, а также этапы проекта по построению хранилища данных. Рекомендуется начинающим строителям хранилищ данных.

Читать…

Опубликовано 05.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, IBM, ODS, OLAP, Администратор БД, Аналитик качества данных, Архитектор BI, Архитектор ETL, Архитектор данных, Бизнес-аналитик, Бизнес-спонсор, Ведущий тестировщик, Для начинающих, Менеджер метаданных, Менеджер по безопасности, На английском, Проектирование многомерных моделей, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Специалист data mining, Специалист по обучению, Специалист по технической поддержке, Стюард данных, Технический архитектор, Управление метаданными

Data Mart Consolidation: Getting Control of Your Enterprise Information

Эта публикация в основном нацелена на клиентов и бизнес-партнёров IBM. Одно из текущих направлений рынка Business Intelligence - консолидация витрин данных. Первоначально витрины данных строились по многим различным причинам, таким как контроль со стороны подразделений организации, более быстрая скорость ответа на запросы, более быстрый и лёгкий дизайн и более быстрая окупаемость.

Однако витрины данных не всегда являлись наилучшим решением, когда необходимо получить взгляд на предприятие в целом. Они приносят пользу подразделению или организации, которой они принадлежат, но обычно не дают руководству информацию, требующуюся ему для эффективного управления бизнесом.
Читать дальше »

Опубликовано 03.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, IBM, Архитектор BI, Архитектор ETL, Архитектор данных, Для начинающих, Для продвинутых, Для экспертов, Менеджер метаданных, На английском, Проектирование многомерных моделей, Проектирование нормализованных моделей, Работа с агрегатами, Разработчик ETL, Разработчик приложений BI, Руководитель подразделения BI/DWH, Руководитель проекта

Что такое Oracle Data Integrator?

Автор: Андрей Пивоваров
Дата публикации оригинала: 2007-08-06
Источник: Блог Андрея Пивоварова

В конце 2006 года, примерно в октябре-ноябре месяце, Oracle приобрел компанию Sunopsis. Приобретение было сделано из-за продукта, который назывался Sunopsis Data Conductor.

Этот продукт был довольно мало известен в России, но занимал определенную нишу в мире. После приобретения, Sunopsis Data Conductor был переименован в Oracle Data Integrator. Самое интересное было в том, что этот продукт до приобретения Oracle был прямым конурентом Oracle Warehouse Builder. И, конечно, интересно, что между ними общего и чем они отличаются.
Читать дальше »

Опубликовано 22.01.2009 | Автор сообщения Андрей Пивоваров | Категории: ETL, Oracle, Архитектор ETL, Для начинающих, На русском, Пивоваров, Андрей, Разработчик ETL, Руководитель подразделения BI/DWH