Разгоняем хранилище данных

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Опубликовано 17.03.2009 | Автор сообщения Константин Лисянский | Категории: DWH, itblogs, Архитектор BI, Архитектор ETL, Для начинающих, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Разработчик ETL, Разработчик приложений BI, Руководитель подразделения BI/DWH Комментариев 3

Моё знакомство с Aster Data

Автор: Константин Лисянский

Немного поближе познакомившись с технологиями DATAllegro и Greenplum я решил продолжить знакомство с “альтернативными” технологиями для хранилищ данных (DWH). В этот раз такой технологией стала технология Aster nCluster компании Aster Data.

Общая информация

Компания Aster Data Systems является производителем СУБД для хранилищ данных под названием Aster nCluster. Основали компанию сравнительно недавно три выпускника Стэндфордского университета, которые специализировались на параллельных вычислениях.

Проукт пока не попал в магический квадрат Gartner, однако, они упоминают о нём (обещают наблюдать за ним в течение 2009 года).
Читать дальше »

Опубликовано 04.03.2009 | Автор сообщения Константин Лисянский | Категории: Aster Data, Cloud computing, DWH, MPP, MapReduce, itblogs, Архитектор BI, Для начинающих, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Руководитель подразделения BI/DWH

Моё знакомство с Greenplum

Автор: Константин Лисянский

Немного познакомившись с технолоией DATAllegro я решил посмотреть на одного из их конкурентов - Greenplum.

Информация об этом производителе присутствует ограниченно на нашем сайте, в основном, в статьях Курта Монаша. Поэтому я решил составить своё (пока поверхностное) мнение о их продукте.

Общая информация

Компания Greenplum является производителем СУБД для хранилищ данных под названием Greenplum Database.

Gartner позиционирует Greenplum как Visionary.
Читать дальше »

Опубликовано 27.02.2009 | Автор сообщения Константин Лисянский | Категории: DATAllegro, DWH, Greenplum, MPP, MapReduce, Open Source, Teradata, itblogs, Архитектор BI, Для начинающих, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Руководитель подразделения BI/DWH

Моё знакомство с DATAllegro

Автор: Константин Лисянский

В силу жизненных обстоятельств появилось немного свободного времени, и я решил немного времени потратить на изучение продукта DATAllegro - его прошлого и потенциального будущего в виде проекта Madison компании Microsoft.

Общая информация

Начнём с того, что DATAllegro - это комплекс для хранилищ данных (data warehouse appliance), то есть комбинация аппаратного и программного обеспечения, предназначенная для решения специализированных задач - в данном случае, выступать в качестве платформы для хранилищ данных (DWH).

Это продукт одноимённой компании (которая в прошлом году была приобретена Microsoft, но об этом позднее).
Читать дальше »

Опубликовано 25.02.2009 | Автор сообщения Константин Лисянский | Категории: DATAllegro, DWH, EMC, MPP, Microsoft, itblogs, Архитектор BI, Для начинающих, Для продвинутых, Для экспертов, Лисянский, Константин, На русском, Руководитель подразделения BI/DWH, Технический архитектор Комментариев 2

Управление основными данными – почему, прежде всего, это забота бизнес-подразделений

Автор: Richard Skriletz
Дата публикации оригинала: 2007-04-17
Перевод: Олег Кузьменко
Источник: Сайт BeyeNETWORK

После того, как моя последняя статья была опубликована, мне написал специалист по управлению данными, работающий в большой компании финансового сектора. Эта компания «разбирается» с основными данными при помощи решения технического характера, которое ей влетит в копеечку. Тем не менее, они никак не могут докопаться до сути проблем с данными, например, они не знают, кто же является клиентом компании. Этот человек разочарован тем, что в который раз инициатива подразделения ИТ, сфокусированная именно на технологической платформе, рассматривается как решение проблемы. Я дорожу тем, что читатели рассказывают мне о вопросах, вызывающих их озабоченность, поэтому в этой первой статье об основных данных (master data) дается определение тому, что же это такое, и почему это является задачей, которую в первую очередь должен решать бизнес.

Читать дальше »

Опубликовано 03.02.2009 | Автор сообщения Олег Кузьменко | Категории: MDM, RDM, Skriletz, Richard, itblogs, Архитектор BI, Архитектор данных, Для начинающих, Для продвинутых, Менеджер метаданных, На русском, Разработчик моделей данных, Руководитель подразделения BI/DWH, Руководитель проекта, Руководитель проекта от бизнеса, Стюард данных

Краткое представление технологии Exasol

Автор: Curt Monash
Дата публикации оригинала: 2008-08-16
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

После моего представления Exasol нетехнического характера у меня на это ушло 5 ½ месяцев, но, наконец, я получил информацию от технических специалистов Exasol (в частности, самую полезную помощь оказали Матиас Голомбек (Mathias Golombek) и Карстен Вейдманн (Carsten Weidmann)). Вот некоторые основные моменты:

Infobright раскрывает свой код

Автор: Curt Monash
Дата публикации оригинала: 2008-09-15
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

По своему недавно появившемуся обыкновению, при появлении какой-либо новости в индустрии я привожу ее краткий, тезисный анализ. Сегодня я делаю это по поводу Infobright и их перехода на стратегию открытого исходного кода. Если позволит погода, то после полудня я вылечу на конференцию Netezza (статья написана 15 сентября с.г.- прим. переводчика). И с четверга у меня было только 10 часов для сна. Поэтому я надеюсь, что этих тезисов будет достаточно, хотя, если это окажется не так, и вы мне напишите, то я попытаюсь ответить не позже утра вторника.

Читать дальше »

Опубликовано 18.11.2008 | Автор сообщения Олег Кузьменко | Категории: Aster Data, DATAllegro, DWH, Greenplum, Infobright, Monash, Curt, MySQL, Netezza, Open Source, ParAccel, Teradata, Vertica, itblogs, Для начинающих, Для продвинутых, Для экспертов, Колоночные СУБД, На русском, Руководитель подразделения BI/DWH, Технический архитектор

Последние новости о Infobright

Автор: Curt Monash
Дата публикации оригинала: 2008-09-15
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

В связи с объявлением того, что:

  • Компания Infobright открывает исходный код своей аналитической СУБД (что является действительно хорошей идеей)
  • Infobright получила 10 миллионов долларов США от пары венчурных фондов и компании Sun

я публикую первый с января обзор новостей по Infobright (статья написана 15 сентября с.г.- прим. переводчика). Вот основные моменты:

Читать дальше »

Опубликовано 14.11.2008 | Автор сообщения Олег Кузьменко | Категории: DWH, Infobright, Monash, Curt, MySQL, Open Source, itblogs, Для начинающих, Для продвинутых, Для экспертов, Колоночные СУБД, На русском, Руководитель подразделения BI/DWH

Netezza и Teradata в управлении аналитическими геопространственными данными

Автор: Curt Monash
Дата публикации оригинала: 2008-09-26
Источник: Блог Курта Монаша

Управление геопространственными данными является хитом сезона:

Итак, я задал вопросы компаниям Netezza и Teradata об анализе геопространственных данных.
Читать дальше »

Опубликовано 12.11.2008 | Автор сообщения Константин Лисянский | Категории: DWH, Geospatial, Monash, Curt, Netezza, Teradata, itblogs, Архитектор BI, Для начинающих, Для продвинутых, Для экспертов, На русском, Руководитель подразделения BI/DWH

Даешь свободу выбора СУБД!

Автор: Curt Monash
Дата публикации оригинала: 2008-08-20
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Если и есть одна центральная тема, которой придерживается блог DBMS2, так это то, что во многих случаях вместо традиционных СУБД-лидеров можно использовать современные «альтернативные» СУБД. Так что это было лишь вопросом времени, пока кто-то не спонсировал доклад-исследование на эту тему. Доклад, спонсированный компанией EnterpriseDB, размещен вместе с моими другими недавними докладами. Его заключительная часть, резюмирующая то, какой тип СУБД вам следует использовать при каких обстоятельствах, воспроизведена ниже.

Читать дальше »

Опубликовано 11.11.2008 | Автор сообщения Олег Кузьменко | Категории: Business Intelligence, DWH, EnterpriseDB, Monash, Curt, Oracle, itblogs, Администратор БД, Архитектор BI, Для начинающих, Для продвинутых, На русском, Руководитель подразделения BI/DWH, Технический архитектор