Infology.Ru

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Ralph Kimball, Joe Caserta

Книга известного популяризатора технологий хранилищ данных Ральфа Кимбала рассказывает о том, как построить систему ETL для хранилища данных, построенного на основе многомерной модели данных. В книге рассматриваются все аспекты, связанные с ETL, включая планирование, архитектуру, структуры и потоки данных, очистку данных и мониторинг качества данных, процессы разработки и оптимизации, поддержку ETL в режиме производственной эксплуатации, управление метаданными, зоны ответственности и процессы, извлечение и загрузку данных в режиме реального времени.
Читать дальше »

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Joy Mundy, Warren Thornthwaite, Ralph Kimball

Описание от издателя
Эта прорывная книга является первой из серии Kimball Toolkit, которая является продукто-ориентированной. Инструментарий BI от компании Microsoft претерпел значительные изменения при разработке SQL Server 2005. SQL Server 2005 - это первая жизнеспособная полноценная платформа для хранилищ данных (DWH) и business intelligence, которая предлагается по цене, делающей технологии хранилищ данных и business intelligence доступными широкому кругу организаций. Эта книга должна предложить практические методы и направить эти организации через мириады проблем к истинному успеху, который измеряется ценным вкладом в бизнес-результат.
Читать дальше »

W. H. Inmon

Новое издание классического бестселлера, который послужил началом отрасли хранилищ данных.
Книга описывает новые подходы и технологии, во многих из которых пионером выступил сам Билл Инмон (Inmon). В дополнение к объяснению основ хранилищ данных (DWH), книга овещает новые темы, такие как методы обработки неструктурированных данных (unstructured data) и хранение данных в хранилище данных на нескольких типах носителей (multi-temperature data warehousing).

Книга обсуждает достоинства и недостатки реляционного и многомерного подходов к проектированию, а также то, как измерять возврат на инвестиции (ROI) при планировании проектов по построению хранилищ данных.
Читать дальше »

К. Дж. Дейт

От издателя
Новое издание фундаментального труда Криса Дейта представляет собой исчерпывающее введение в очень обширную в настоящее время теорию систем баз данных. С помощью этой книги читатель сможет приобрести фундаментальные знания в области технологии баз данных (DBMS), а также ознакомиться с направлениями, по которым рассматриваемая сфера деятельности, вероятно, будет развиваться в будущем.
Читать дальше »

Ralph Kimball, Margy Ross

Очень хорошее введение в технологию многомерного моделирования.
Если вы собираетесь заниматься хранилищами данных (DWH), особенно если вы являетесь разработчиком моделей данных (data modeler) или архитектором хранилищ данных (data warehouse architect), эта книга для вас. Автор книги - известный практик в области хранилищ данных, и ему есть о чем рассказать о технолгии построения многомерных моделей (multidimensional model). Однако, имейте в виду, что монета имеет две стороны, и в случае с хранилищем данных это высказывание имеет силу.
Читать дальше »

Автор: Константин Лисянский

Эта небольшая статья была написано достаточно давно и предназначается для людей, которые только приступают к изучению предмета хранилищ данных (DWH).

На сегодняшний день (и, видимо, ещё надолго вперёд) можно выделить четыре наиболее популярных типа архитектур систем поддержки принятия решений (DSS):

1. Функциональная СППР.
2. Независимые витрины данных (independent DM).
3. Двухуровневое хранилище данных (EDW - корпоративное хранилище данных).
4. Трёхуровневое хранилище данных (hub-and-spoke architecture).

Читать дальше »

19 февраля в Москве в гостинице “Мариотт Гранд Отель” прошёл форум Oracle по бизнес-аналитике (BI). Я решил осветить основные моменты форума (по крайней мере, в части тех докладов, которые удалось послушать).

Выступления

Нужно заметить, что был я не с самого начала в связи с тем что долго искал место для парковки (просьба к Юрию Михайловичу поскорее решить проблему с парковкой в центре Москвы), поэтому доклад об оптимизации бизнес-процессов от Дженка Кирала я пропустил. Кто был - милости прошу отозваться в комментариях.

Второй доклад “Технологии и продукты Oracle для решения аналитических задач” Ольги Горчинской я тоже пропустил (по той же самой причине - Юрий Михайлович +1).
Читать дальше »

4 марта, Москва, отель «Марриотт Тверская»

IV Форум Business Intelligence, организатором которого уже в четвертый раз выступит компания AHConferences, будет посвящен анализу актуальных тенденций в области Business Intelligence в 2009 году. Форум представит оптимальное соотношение презентаций технологических новинок в области бизнес-аналитики и бизнес-кейсов на тему реального применения BI в различных отраслях экономики. 

Новое в 2009 году:

Читать дальше »
Опубликовано 05.02.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, Data Quality, SaaS, Архитектор BI, Архитектор ETL, Архитектор данных, Банки, Бизнес-аналитик, Бизнес-спонсор, Для начинающих, Для продвинутых, Для экспертов, Интернет, Менеджер метаданных, На русском, Разработчик BI-портала, Разработчик ETL, Разработчик моделей данных, Разработчик приложений BI, Розничная торговля, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Специалист data mining, Страхование, Стюард данных, Телекоммуникации, Технический архитектор 1 комментарий