Infology.Ru

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Автор: Андрей Пивоваров
Дата публикации оригинала: 2008-12-16
Источник: Блог Андрея Пивоварова

Когда Дмитрий Волков предложил мне выступить на семинаре Database Options Details с рассказом про OLAP опцию в 11g, я сначала подумал – да о чем тут рассказывать? Между девятой и десятой версией было много различий. А между 10 и 11 вроде ничего особо не было. Ну, кроме Cube-Organized Materialized Views. Потом решил, что на семинаре будет масса людей, которые вообще с OLAP не работали, ни с какой версией, поэтому им, возможно, будет интересно узнать об OLAP вообще. Заодно при подготовке и посмотрю внимательнее, что там изменилось. Но оказалось, что изменений неожиданно много.
Читать дальше »

Автор: Константин Лисянский

В предыдущей статье были рассмотрены административные и два аппаратных способа повышения производительности хранилища данных. Сегодня рассмотрим другие способы.

Аппаратные способы повышения производительности (продолжение)

Балансировка системы. Строго говоря, нельзя сказать, что это только аппаратный способ. И этот способ сильно перекликается с предыдущим (добавлением “железа”). Просто здесь хочется сделать упор на то, что добавлять нужно именно того, что требуется, чтобы сделать систему сбалансированной путём расширения узкого места. Ну, например, в случае, если высобираете массивно-параллельную систему (MPP) сами, то может получиться, что проблема с производительностью может возникать из-за того, что не хватает пропускной способности сети, и решить её можно добавлением дополнительных сетевых карт в узлы системы. Ещё одним примером может стать перераспределение дисков между пространством пользовательских данных, пространством для индексов и пространством для временного хранения промежуточных результатов запросов.
Читать дальше »

Joy Mundy, Warren Thornthwaite, Ralph Kimball

Описание от издателя
Эта прорывная книга является первой из серии Kimball Toolkit, которая является продукто-ориентированной. Инструментарий BI от компании Microsoft претерпел значительные изменения при разработке SQL Server 2005. SQL Server 2005 - это первая жизнеспособная полноценная платформа для хранилищ данных (DWH) и business intelligence, которая предлагается по цене, делающей технологии хранилищ данных и business intelligence доступными широкому кругу организаций. Эта книга должна предложить практические методы и направить эти организации через мириады проблем к истинному успеху, который измеряется ценным вкладом в бизнес-результат.
Читать дальше »

К. Дж. Дейт

От издателя
Новое издание фундаментального труда Криса Дейта представляет собой исчерпывающее введение в очень обширную в настоящее время теорию систем баз данных. С помощью этой книги читатель сможет приобрести фундаментальные знания в области технологии баз данных (DBMS), а также ознакомиться с направлениями, по которым рассматриваемая сфера деятельности, вероятно, будет развиваться в будущем.
Читать дальше »

Автор: Константин Лисянский

Эта небольшая статья была написано достаточно давно и предназначается для людей, которые только приступают к изучению предмета хранилищ данных (DWH).

На сегодняшний день (и, видимо, ещё надолго вперёд) можно выделить четыре наиболее популярных типа архитектур систем поддержки принятия решений (DSS):

1. Функциональная СППР.
2. Независимые витрины данных (independent DM).
3. Двухуровневое хранилище данных (EDW - корпоративное хранилище данных).
4. Трёхуровневое хранилище данных (hub-and-spoke architecture).

Читать дальше »

Учебник для подготовки к сдаче экзамена по теме Business Intelligence от компании IBM. Описывает основные концепции хранилищ данных и приложений на их основе. Рассматриваются различные варианты архитектуры хранилищ данных. Описываются основные компоненты хранилища данны, а также этапы проекта по построению хранилища данных. Рекомендуется начинающим строителям хранилищ данных.

Читать…

Автор: Curt Monash
Дата публикации оригинала: 2008-08-20
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Если и есть одна центральная тема, которой придерживается блог DBMS2, так это то, что во многих случаях вместо традиционных СУБД-лидеров можно использовать современные «альтернативные» СУБД. Так что это было лишь вопросом времени, пока кто-то не спонсировал доклад-исследование на эту тему. Доклад, спонсированный компанией EnterpriseDB, размещен вместе с моими другими недавними докладами. Его заключительная часть, резюмирующая то, какой тип СУБД вам следует использовать при каких обстоятельствах, воспроизведена ниже.

Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2008-08-08
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Я уже много писал о сжатии данных в СУБД, ориентированных на хранилища данных; поставщики предподносят компрессию как одно из основных достоинств их продуктов, которое приносит непосредственную выгоду клиентам. Наиболее примечательной, вероятно, является короткая статья, которую Майк Стоунбрейкер (Mike Stonebraker) написал для этого блога, о тех преимуществах в области компрессии, которыми обладают СУБД с хранением данных по столбцам перед теми, в которых данные хранятся построчно, еще до того, как он и его коллеги открыли свой блог. Компрессия уже давно играет одну из главных ролей в истории DATAllegro, в то время, как Netezza занялась этим вопросом совсем недавно. Одной из причин, почему Teradata поставлена в невыгодное положение в плане ценовой политики, может служить как раз слабая компрессия. И так далее.

Читать дальше »

Автор: Curt Monash
Дата публикации оригинала – 2008-06-28
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Ответом компании Oracle производителям решений класса data warehouse appliance, а также решению BCU (Balanced Configuration Units) от компании IBM по-прежнему является инициатива Oracle Optimized Warehouse Initiative (OOW, не путать с Oracle Open World). Небольшое количество информации об Oracle Optimized Warehouse можно найти на сайте Oracle. Ещё немного можно найти в этой недавно опубликованной длинной и бездыханной статье от TDWI (The Data Warehouse Institute – прим. перев.), полной таких перлов, как приписывание производителям решений data warehouse appliance «утверждений о том, что реляционные СУБД просто не предназначены для аналитической нагрузки». (Ух, интересно, на чём же по их мнению они работают — на СУБД с моделью CODASYL?)
Читать дальше »