Infology.Ru

Автор: Curt Monash
Дата публикации оригинала: 2008-09-15
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

По своему недавно появившемуся обыкновению, при появлении какой-либо новости в индустрии я привожу ее краткий, тезисный анализ. Сегодня я делаю это по поводу Infobright и их перехода на стратегию открытого исходного кода. Если позволит погода, то после полудня я вылечу на конференцию Netezza (статья написана 15 сентября с.г.- прим. переводчика). И с четверга у меня было только 10 часов для сна. Поэтому я надеюсь, что этих тезисов будет достаточно, хотя, если это окажется не так, и вы мне напишите, то я попытаюсь ответить не позже утра вторника.

Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2008-08-25
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

В прошлый четверг (статья написана 25 августа с.г.- прим. переводчика) как Greenplum, так и Aster Data, два самых последних из моих многочисленных клиентов – поставщиков систем для хранилищ данных, сообщили мне об одной и той же новинке в их продуктах. Оба же поторопились объявить об этом первыми, перед тем, как это сделает кто-то другой. Это привело к немалому числу дипломатических маневров; в результате дело кончилось тем, что обе компании выпустят информацию о нововведении сегодня вечером или завтра утром.

Дело в том, что Aster Data и Greenplum обе интегрировали MapReduce в свои СУБД, построенные на основе массивно-параллельной архитектуры без разделения ресурсов. Я вскоре напишу об этом подробнее, но пока позвольте мне «набросать» несколько тезисов перед тем, как последует более детальный анализ:

Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2008-09-01
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Существует немало путаницы по поводу того, как определять размер хранилища данных. Основными осложняющими факторами являются:

• Индексы и временное рабочее пространство. Это то, о чем я уже писал пару лет назад в моем посте о коэффициентах расширения.
• Сжатие данных. Я много писал о компрессии данных.
• Избыточные диски. Я обычно обхожу этот вопрос стороной, но в этом посте я постараюсь реабилитироваться.
• Репликация - отличающаяся от той, что была разработана, главным образом, для целей резервирования. Я также обхожу молчанием этот аспект, и, я думаю, что лучше поступать так и дальше. Это потому, что репликация в хранилищах данных – по крайней мере, в большинстве архитектур, с которыми я знаком – обычно подразделяется на три категории:
  Читать дальше »
  Опубликовано 22.10.2008 | Автор сообщения Олег Кузьменко | Категории: DWH, Greenplum, MPP, Monash, Curt, itblogs, Для начинающих, Для продвинутых, Для экспертов, На русском, Руководитель подразделения BI/DWH, Технический архитектор

Автор: Curt Monash
Дата публикации оригинала: 2008-08-26
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Как Greenplum, так и Aster Data только что объявили о том, что модель MapReduce была интегрирована в их MPP-системы хранилищ данных. Так почему я считаю, что это очень важное событие? Вот короткий ответ: «Да потому, что использование MapReduce приводит к гигантскому выигрышу в производительности в тех областях применения аналитических приложений, которые все еще нуждаются в улучшении производительности». Длинный ответ звучит вот так.

Основные идеи MapReduce таковы:

Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2008-09-05
Перевод: Олег Кузьменко
Источник: Блог Курта Монаша

Я общаюсь со многими поставщиками СУБД, которые созданы для систем с массивно-параллельной обработкой (MPP-системы) и которые используются для построения хранилищ данных. Мне рассказали о весьма разных подходах к реализации архитектуры MPP, и мне кажется, что было бы интересным сравнить некоторые из них.

В базовом варианте архитектуры таких СУБД имеются два типа узлов: Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2008-04-05
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Сегодня существуют четыре производителя аппаратного обеспечения, каждый из которых либо предлагает, либо готов предложить два различных уровня комплексов для хранилищ данных: Sun, HP, EMC и Teradata. А именно:

• Sun имеет партнёрство с Greenplum и ParAccel.
• HP продаёт Neoview, и помимо этого имеет партнёрство с Vertica.
• EMC (вместе с Dell в Северной Америке и с Bull в Европе) продаёт DATAllegro. Сейчас EMC также начинает партнёрство с ParAccel.
• Teradata уже достаточно близка к выпуску продукта начального уровня.

В добавление к этому, несколько производителей аппаратного обеспечения имеют технические договорённости с Oracle относительно “ссылочной архитектуры” в попытке получить некоторые из преимуществ комплексов. А IBM постоянно находится в состоянии переговоров с поставщиками специализированных систем в области хранилищ данных, несмотря на то, что у них у самих есть несколько предложения в области систем для хранилищ данных.
Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2007-01-27
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Недавно я выполнил подробное исследование стратегий в области аппаратного обеспечения вычислительных комплексов, в нескольких функциональных областях. Хранилища данных, брэндмауэры/борьба с угрозами, антиспам, интеграция данных – назовите любую область, я с ними поговорил. Конечно же, каждый производитель имеет свои уникальные особенности. Но, определённо, некоторые архитектурные группировки уже выделились.

Похоже на то, что наиболее общие подходы выглядят так:
Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2007-12-14
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Существует, по крайней мере, 16 различных производителей, предлагающих комплексы (appliances) и/или программное обеспечение, которое выполняет управление базами данных для потребностей аналитики.* Достаточно много. Так что, я набросал небольшой обзор ландшафта управления обработкой аналитических данных, щедро подсоленный ссылками на информацию о конкретных производителях, продуктах или технических вопросах. В некотором роде, это дополнение к моему предыдущему посту о фактах и вымыслах о комплексах для хранилищ данных.
Читать дальше »

Автор: Curt Monash
Дата публикации оригинала: 2007-12-03
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Заняв мем “Факт или вымысел?” из спортивного мира:

• Комплексы для хранилищ данных должны работать на специализированном аппаратном обеспечении. Вымысел. Несомненно, большинство соревнующихся, за исключением Teradata и Netezza — например, DATAllegro, Vertica, ParAccel, Greenplum, и Infobright — предлагают комплексы типа 2. (Dataupia является ещё одним исключением).
• Специализированное аппаратное обеспечение – это тупик для комплексов для хранилищ данных. Вымысел. Если бы для Teradata было легко заменить свою технологию коммутатора, они бы сделали это десять лет назад. Стратегия Netezza также имеет много привлекательного.

Читать дальше »

Опубликовано 19.08.2008 | Автор сообщения Константин Лисянский | Категории: DATAllegro, Dataupia, Greenplum, Infobright, Monash, Curt, Netezza, ParAccel, Teradata, Vertica, itblogs, Архитектор BI, Для продвинутых, Для экспертов, На русском, Руководитель подразделения BI/DWH Комментариев 3

Автор: Curt Monash
Дата публикации оригинала: 2008-07-24
Перевод: Константин Лисянский
Источник: Блог Курта Монаша

Купив DATAllegro, Microsoft серьёзно обошла Oracle в технологиях хранилищ данных. Несмотря на все сомнения относительно зрелости и многосторонности, DATAllegro имеет десятикратное или более преимущество (на самом деле, я думаю, что это примерно 20-40-кратное преимущество) против Oracle по размеру хранилищ данных, которые их технология способна непосредственно обрабатывать. Oracle не может себе позволить оставить этот ход без ответа.
Читать дальше »