Быстрый обзор технологий хранилищ данных
Автор: Curt Monash
Дата публикации оригинала: 2007-12-14
Перевод: Константин Лисянский
Источник: Блог Курта Монаша
Существует, по крайней мере, 16 различных производителей, предлагающих комплексы (data warehouse appliance) и/или программное обеспечение, которое выполняет управление базами данных для потребностей аналитики.* Достаточно много. Так что, я набросал небольшой обзор ландшафта управления обработкой аналитических данных, щедро подсоленный ссылками на информацию о конкретных производителях, продуктах или технических вопросах. В некотором роде, это дополнение к моему предыдущему посту о фактах и вымыслах о комплексах для хранилищ данных.
*И это только табличные/буквенно-цифровые ребята. Добавьте текстовый поиск и вы получите ещё большее число.
Большое количество специалистов в области хранилищ данных (DWH) предлагают архитектуры, основанные на традиционных строковых реляционных СУБД, но оптимизируют их для аналитической нагрузки. Среди них Teradata, Netezza, DATAllegro, Greenplum, Dataupia, и SAS. Все они, за исключением SAS целиком или в основном являются производителями комплексов для хранилищ данных архитектуры MPP/shared-nothing data warehouse. ПРАВКА: Смотрите комментарии по теме Kognitio.
Большое количество специалистов в области хранилищ данных предлагают архитектуры, основанные на колоночных реляционных СУБД (columnar database). Среди них Sybase (с продуктом Sybase IQ, изначально от Expressway), Vertica, ParAccel, Infobright, Kognitio (ранее White Cross), и Sand. Их продукты доступны в формате только программного обеспечения, хотя Vertica и ParAccel предлагают свои продукты в том числе и как комплексы.
Осталось несколько систем MOLAP (Multidimensional OnLine Analytical Processing), основанных на массивах. Но основные сейчас принадлежат Oracle, Microsoft и IBM. Essbase окончил в Oracle, посредством Покупки Hyperion. Express уже давно отошёл к Oracle и тесно проинтегрирован с СУБД Oracle. Microsoft Analysis Services содержит механизм MOLAP включённый в Microsoft SQL Server. Продукт компании Applix с вычислением в памяти TM1 ушёл в Cognos, который также имел пару других механизмов MOLAP; а Cognos покупается IBM.
Не осталось заметных специалистов по схеме звезда (star schema). Большинство из них – на самом деле, всего два, а именно Red Brick и Stanford — были слиты в Informix десять лет назад. Informix был затем куплен (в два этапа) IBM. Схемы звезда в настоящее время являются просто свойствами универсальных систем.
Конечно же, каждую из универсальных реляционных СУБД можно использовать для большого количества аналитических целей. В этом состоит весь смысл введения Коддом (Codd) реляционной модели. Более того, любая из лидирующих СУБД архитектуры SMP/shared-everything – Oracle, DB2 на мэйнфрейме и, в меньшей степени, Microsoft SQL Server – может быть использована даже для очень больших баз данных (VLDB), если вы внимательно сделаете секционирование, и соответствующим образом будете писать код SQL.
Получается уже 14 производителей, без упоминания Calpont (давно с ними не общался), HP (то же самое, и частично из-за работы через Vertica), Sun (работающий через Greenplum и ParAccel), Attivio, механизмы с вычислениями в памяти (IMDB) производителей BI, таких как QlikTech и SAP (не совсем в точности СУБД), или производителей сложной обработки событий/потоков (CEP, ESP), таких как Coral8, StreamBase, или Progress Apama (то же самое). Я думаю, впереди нас ждёт некоторая консолидация.
Дополнительные ссылки:
- Why Oracle and Microsoft are losing in VLDB data warehousing
- Three ways Oracle and Microsoft could catch up in MPP data warehousing
- IBM is oddly weak in the data warehouse market
- Some very big Teradata sites
- Extensive and overlapping coverage of Netezza, Vertica, database compression, and column-oriented database architectures.
- DATAllegro as an exemplar of non-proprietary index-light MPP data warehouse appliances
- An old article on Oracle’s integration of Express.
Ссылки на статьи Курта по следующим категориям (на английском языке):
Analytic technologies, Cognos, DATAllegro, Data warehouse appliances, Data warehousing, Dataupia, Greenplum, IBM and DB2, Kognitio, Netezza, Oracle, ParAccel, SAS Institute, Sybase, Teradata, Vertica Systems
Для удобства отслеживания новых публикаций рекомендуем подписаться на рассылку или на канал RSS.
September 4th, 2008 at 11:14 am
[…] Быстрый обзор технологий хранилищ данных […]