Infology.Ru

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Автор: Андрей Пивоваров
Дата публикации оригинала: 2008-12-17
Источник: Блог Андрея Пивоварова

Продолжение. Начало здесь.

LOCKDFN

Интересная особенность большинства объектов, которые вы создаете в AWM. Например, возьмем описание измерения PRODUCT:

>dsc product

DEFINE PRODUCT DIMENSION READONLY LOCKDFN TEXT

Можно увидеть слова LOCKDFN и READONLY.

Это значит, что теперь объекты, созданные в AWM нельзя менять при помощи DML. Ни структуру, ни содержимое. Использовать на чтение можно, менять нельзя. Более того, нельзя даже добавить новое значение эелемента измерения при помощи команды MAINTAIN.
Читать дальше »

Автор: Андрей Пивоваров
Дата публикации оригинала: 2008-12-16
Источник: Блог Андрея Пивоварова

Когда Дмитрий Волков предложил мне выступить на семинаре Database Options Details с рассказом про OLAP опцию в 11g, я сначала подумал – да о чем тут рассказывать? Между девятой и десятой версией было много различий. А между 10 и 11 вроде ничего особо не было. Ну, кроме Cube-Organized Materialized Views. Потом решил, что на семинаре будет масса людей, которые вообще с OLAP не работали, ни с какой версией, поэтому им, возможно, будет интересно узнать об OLAP вообще. Заодно при подготовке и посмотрю внимательнее, что там изменилось. Но оказалось, что изменений неожиданно много.
Читать дальше »

Автор: Константин Лисянский

25 марта в Москве в гостинице Novotel состоялась презентация новой версии продукта ведущего поставщика инструментов Business Intelligence - компании Microstrategy.

Организаторами мероприятия выступили компания S&T, которая представляет интересы Microstrategy в России, и компания Teradata, которая является глобальным технологическим партнёром Microstrategy.

Помимо вышеперечисленных компаний для доклада была приглашена компания М.Видео, которая является одним из клиентов, успешно внедривших у себя программный продукт Microstrategy.
Читать дальше »

Автор: Константин Лисянский

В предыдущей статье были рассмотрены административные и два аппаратных способа повышения производительности хранилища данных. Сегодня рассмотрим другие способы.

Аппаратные способы повышения производительности (продолжение)

Балансировка системы. Строго говоря, нельзя сказать, что это только аппаратный способ. И этот способ сильно перекликается с предыдущим (добавлением “железа”). Просто здесь хочется сделать упор на то, что добавлять нужно именно того, что требуется, чтобы сделать систему сбалансированной путём расширения узкого места. Ну, например, в случае, если высобираете массивно-параллельную систему (MPP) сами, то может получиться, что проблема с производительностью может возникать из-за того, что не хватает пропускной способности сети, и решить её можно добавлением дополнительных сетевых карт в узлы системы. Ещё одним примером может стать перераспределение дисков между пространством пользовательских данных, пространством для индексов и пространством для временного хранения промежуточных результатов запросов.
Читать дальше »

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Уже прошли те времена, когда решения Business Intelligence воспринимались как необязательный «довесок» к основной учетной системе. Сегодня необходимость в BI осознается большинством руководителей компаний в самых разных отраслях бизнеса и государственного управления. В нестабильных финансовых условиях системы Business Intelligence позволяют оптимизировать деятельность компании, определять возможности снижения затрат и принимать обоснованные решения по развитию бизнеса. Как развивать уже запущенные BI-проекты, «сворачивать» их или продолжать, как «выжать» максимальную отдачу от этих систем, как удержать клиентов, на чем сэкономить? Ответы на эти и многие другие вопросы прозвучали на IV Форуме Business Intelligence 2009 (организатор – AHConferences), который состоялся 4 марта в столичном отеле Мариотт Тверская.
Читать дальше »

Автор: Константин Лисянский

Продолжая серию знакомств с “альтернативными” технологиями для хранилищ данных (DWH), я решил посмотреть на СУБД Vertica Analytical Database компании Vertica Systems. Вашему вниманию предлагаются основные моменты, которые я почерпнул из документов, предоставленных компанией.

Общая информация

Компания Vertica Systems является производителем колоночной СУБД (columnar database) для хранилищ данных. Одним из основателей компании является Майк Стоунбрейкер (Stonebraker), что уже говорит о многом. Информация о продукте доступна на сайте компании. Прототипом для коммерческой СУБД Vertica послужила академическая СУБД C-Store, которая разрабатывалась под руководством Стоунбрейкера.

Продукт можно причислить к классу software only, но, как и в случае с другими вендорами этого класса, Vertica в партнёрстве с HP и Red Hat предлагают комплекс для хранилищ данных (data warehouse appliance). Помимо этого, Vertica в партнёрстве с Amazon предлагает свою СУБД в режиме cloud computing.
Читать дальше »

Joy Mundy, Warren Thornthwaite, Ralph Kimball

Описание от издателя
Эта прорывная книга является первой из серии Kimball Toolkit, которая является продукто-ориентированной. Инструментарий BI от компании Microsoft претерпел значительные изменения при разработке SQL Server 2005. SQL Server 2005 - это первая жизнеспособная полноценная платформа для хранилищ данных (DWH) и business intelligence, которая предлагается по цене, делающей технологии хранилищ данных и business intelligence доступными широкому кругу организаций. Эта книга должна предложить практические методы и направить эти организации через мириады проблем к истинному успеху, который измеряется ценным вкладом в бизнес-результат.
Читать дальше »

Автор: Richard Skriletz
Дата публикации оригинала: 2007-06-26
Перевод: Олег Кузьменко
Источник: Сайт BeyeNETWORK

Продолжение. Начало в части 1.

То, как будут реализованы основные данные (master data), окажет существенное влияние как на операционные процессы, так и на информационные технологии (ИТ). Каким образом будут созданы основные данные? Как они будут сосуществовать с существующими и будущими приложениями? Какое влияние это окажет на принятие решений по поводу прикладных систем и их функциональных возможностей? Эти вопросы затрагивают не одно подразделение, и ими надо заняться для достижения бизнесом успеха. Существует ряд важных факторов, относящихся к ИТ, которые жизненно важны для успеха решения по основным данным:

Читать дальше »