Infology.Ru

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Автор: Константин Лисянский

25 марта в Москве в гостинице Novotel состоялась презентация новой версии продукта ведущего поставщика инструментов Business Intelligence - компании Microstrategy.

Организаторами мероприятия выступили компания S&T, которая представляет интересы Microstrategy в России, и компания Teradata, которая является глобальным технологическим партнёром Microstrategy.

Помимо вышеперечисленных компаний для доклада была приглашена компания М.Видео, которая является одним из клиентов, успешно внедривших у себя программный продукт Microstrategy.
Читать дальше »

27 марта в Москве в ресторане Дубинин прошла третья BI-сходка.

Похоже, что эта неформальная встреча профессионалов в области Business Intelligence (BI), общающихся на форуме SQL.RU, уже входит в традицию.

Предыдущая BI-сходка была проведена в прошлом году. С отчётом можно ознакомиться здесь.
Читать дальше »

Автор: Константин Лисянский

В предыдущей статье были рассмотрены административные и два аппаратных способа повышения производительности хранилища данных. Сегодня рассмотрим другие способы.

Аппаратные способы повышения производительности (продолжение)

Балансировка системы. Строго говоря, нельзя сказать, что это только аппаратный способ. И этот способ сильно перекликается с предыдущим (добавлением “железа”). Просто здесь хочется сделать упор на то, что добавлять нужно именно того, что требуется, чтобы сделать систему сбалансированной путём расширения узкого места. Ну, например, в случае, если высобираете массивно-параллельную систему (MPP) сами, то может получиться, что проблема с производительностью может возникать из-за того, что не хватает пропускной способности сети, и решить её можно добавлением дополнительных сетевых карт в узлы системы. Ещё одним примером может стать перераспределение дисков между пространством пользовательских данных, пространством для индексов и пространством для временного хранения промежуточных результатов запросов.
Читать дальше »

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Уважаемые читатели,

мы рады сообщить вам, что в глоссарий было добавлено значительное количество новых терминов. Кроме этого глоссарий был немного видоизменён с тем, чтобы им было более удобно пользоваться.

Обновлённый глоссарий доступен из главного меню как и раньше.

Прямая ссылка на глоссарий - здесь.

27 марта в Москве планируется проведение очередной BI-сходки. Эта неформальная встреча специалистов в области Business Intelligence состоится уже в третий раз.

Первая BI-сходка была приурочена к приезду в Москву Ральфа Кимбалла (Kimball). Вторая - была запланирована и проведена участниками форума SQL.RU по технологиям хранилищ данных (DWH) и BI. Краткий отчёт о второй BI-сходке здесь.
Читать дальше »

Автор: Константин Лисянский

Продолжая серию знакомств с “альтернативными” технологиями для хранилищ данных (DWH), я решил посмотреть на СУБД Vertica Analytical Database компании Vertica Systems. Вашему вниманию предлагаются основные моменты, которые я почерпнул из документов, предоставленных компанией.

Общая информация

Компания Vertica Systems является производителем колоночной СУБД (columnar database) для хранилищ данных. Одним из основателей компании является Майк Стоунбрейкер (Stonebraker), что уже говорит о многом. Информация о продукте доступна на сайте компании. Прототипом для коммерческой СУБД Vertica послужила академическая СУБД C-Store, которая разрабатывалась под руководством Стоунбрейкера.

Продукт можно причислить к классу software only, но, как и в случае с другими вендорами этого класса, Vertica в партнёрстве с HP и Red Hat предлагают комплекс для хранилищ данных (data warehouse appliance). Помимо этого, Vertica в партнёрстве с Amazon предлагает свою СУБД в режиме cloud computing.
Читать дальше »

Уважаемые читатели,

нам очень важно знать ваше мнение относительно того, о каких технологиях вам интереснее всего было бы узнавать из публикаций нашего сайта. Для этого мы инициировали соответствующий опрос. Большая просьба ко всем поучастовавать в нём.

Форму опроса вы найдёте в навигационной части сайта справа (в блоке “Опрос”). Пожалуйста, выберите до 10 технологий из представленных в списке, которые вы считаете наиболее важными для себя, и хотите чтобы им уделялось особое внимание на нашем сайте.

Проголосовать можно также прямо здесь:
Читать дальше »

Автор: Константин Лисянский

Немного поближе познакомившись с технологиями DATAllegro и Greenplum я решил продолжить знакомство с “альтернативными” технологиями для хранилищ данных (DWH). В этот раз такой технологией стала технология Aster nCluster компании Aster Data.

Общая информация

Компания Aster Data Systems является производителем СУБД для хранилищ данных под названием Aster nCluster. Основали компанию сравнительно недавно три выпускника Стэндфордского университета, которые специализировались на параллельных вычислениях.

Проукт пока не попал в магический квадрат Gartner, однако, они упоминают о нём (обещают наблюдать за ним в течение 2009 года).
Читать дальше »