Infology.Ru

Для осуществления программы по развитию централизованного хранилища данных (DWH) Сбербанка требуются руководители проектов.

Ответственность

• Управление проектами по созданию систем отчетности и аналитических приложений (analytical application) на основе централизованного хранилища данных со стороны службы IT на всех этапах проекта от инициации до закрытия проекта.
• Взаимодействие с бизнес-заказчиками, внутренними разработчиками, поставщиками, обеспечивающими подразделениями.
• Обеспечение качественного выполнения проектов в срок и в пределах бюджета.

Читать дальше »

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Автор: Константин Лисянский

25 марта в Москве в гостинице Novotel состоялась презентация новой версии продукта ведущего поставщика инструментов Business Intelligence - компании Microstrategy.

Организаторами мероприятия выступили компания S&T, которая представляет интересы Microstrategy в России, и компания Teradata, которая является глобальным технологическим партнёром Microstrategy.

Помимо вышеперечисленных компаний для доклада была приглашена компания М.Видео, которая является одним из клиентов, успешно внедривших у себя программный продукт Microstrategy.
Читать дальше »

27 марта в Москве в ресторане Дубинин прошла третья BI-сходка.

Похоже, что эта неформальная встреча профессионалов в области Business Intelligence (BI), общающихся на форуме SQL.RU, уже входит в традицию.

Предыдущая BI-сходка была проведена в прошлом году. С отчётом можно ознакомиться здесь.
Читать дальше »

Автор: Константин Лисянский

В предыдущей статье были рассмотрены административные и два аппаратных способа повышения производительности хранилища данных. Сегодня рассмотрим другие способы.

Аппаратные способы повышения производительности (продолжение)

Балансировка системы. Строго говоря, нельзя сказать, что это только аппаратный способ. И этот способ сильно перекликается с предыдущим (добавлением “железа”). Просто здесь хочется сделать упор на то, что добавлять нужно именно того, что требуется, чтобы сделать систему сбалансированной путём расширения узкого места. Ну, например, в случае, если высобираете массивно-параллельную систему (MPP) сами, то может получиться, что проблема с производительностью может возникать из-за того, что не хватает пропускной способности сети, и решить её можно добавлением дополнительных сетевых карт в узлы системы. Ещё одним примером может стать перераспределение дисков между пространством пользовательских данных, пространством для индексов и пространством для временного хранения промежуточных результатов запросов.
Читать дальше »

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Уважаемые читатели,

мы рады сообщить вам, что в глоссарий было добавлено значительное количество новых терминов. Кроме этого глоссарий был немного видоизменён с тем, чтобы им было более удобно пользоваться.

Обновлённый глоссарий доступен из главного меню как и раньше.

Прямая ссылка на глоссарий - здесь.

27 марта в Москве планируется проведение очередной BI-сходки. Эта неформальная встреча специалистов в области Business Intelligence состоится уже в третий раз.

Первая BI-сходка была приурочена к приезду в Москву Ральфа Кимбалла (Kimball). Вторая - была запланирована и проведена участниками форума SQL.RU по технологиям хранилищ данных (DWH) и BI. Краткий отчёт о второй BI-сходке здесь.
Читать дальше »

Автор: Константин Лисянский

Продолжая серию знакомств с “альтернативными” технологиями для хранилищ данных (DWH), я решил посмотреть на СУБД Vertica Analytical Database компании Vertica Systems. Вашему вниманию предлагаются основные моменты, которые я почерпнул из документов, предоставленных компанией.

Общая информация

Компания Vertica Systems является производителем колоночной СУБД (columnar database) для хранилищ данных. Одним из основателей компании является Майк Стоунбрейкер (Stonebraker), что уже говорит о многом. Информация о продукте доступна на сайте компании. Прототипом для коммерческой СУБД Vertica послужила академическая СУБД C-Store, которая разрабатывалась под руководством Стоунбрейкера.

Продукт можно причислить к классу software only, но, как и в случае с другими вендорами этого класса, Vertica в партнёрстве с HP и Red Hat предлагают комплекс для хранилищ данных (data warehouse appliance). Помимо этого, Vertica в партнёрстве с Amazon предлагает свою СУБД в режиме cloud computing.
Читать дальше »

Уважаемые читатели,

нам очень важно знать ваше мнение относительно того, о каких технологиях вам интереснее всего было бы узнавать из публикаций нашего сайта. Для этого мы инициировали соответствующий опрос. Большая просьба ко всем поучастовавать в нём.

Форму опроса вы найдёте в навигационной части сайта справа (в блоке “Опрос”). Пожалуйста, выберите до 10 технологий из представленных в списке, которые вы считаете наиболее важными для себя, и хотите чтобы им уделялось особое внимание на нашем сайте.

Проголосовать можно также прямо здесь:
Читать дальше »