Infology.Ru

General Summary of the Position

“DWH implementation” project analyst from bank side. Fixed-term contract. Project closure - May, 2011.

Major Responsibilities

• Review and examination of business, technical requirements (especially DWH related)
• DWH, ETL, OLAP, Data Mart components review and examination
• Co-operate with end-users and produce business requirements
• Data modeling and data architecture design / implementation
• ETL, data integration and data conversion design / implementation
• Source systems data analysis
• Co-operate with Vendor and produce technical requirements
• Acceptance of technical issues of project deliverables
• Assist in the support and maintenance of the System
• Prepare and performs user tests in co-operation with the users

Читать дальше »

Требования

Высшее образование. Опыт работы в роли прикладного и/или системного архитектора в ИТ проектах от 3х лет. Опыт участия в проектировании хранилища данных (SAS или Oracle). Знание технологии ETL. Работа с одним из продуктов класса ETL IBM DataStage Oracle DI, SAS. Знание банковских продуктов и технологий желательно. Английский язык - технический.
Читать дальше »

Для проекта по построению хранилища данных в крупном российском банке требуется Архитектор хранилища данных/Технический лидер.

Обязанности

Архитектор хранилища данных:

• Осуществляет руководство технической составляющей проекта по созданию централизованного хранилища данных. Отвечает за успех проекта в технологической части.
• Разрабатывает архитектуру хранилища данных и его подсистем на высоком уровне. Координирует работу архитекторов соответствующих подсистем. Тесно взаимодействует с архитекторами по различным подсистемам (хранилище данных, ETL, BI, метаданные, качество данных, безопасность).

Читать дальше »

Опубликовано 17.06.2009 | Автор сообщения Константин Лисянский | Категории: Business Intelligence, DWH, ETL, Архитектор BI, Архитектор ETL, Архитектор данных, Банки, Вакансии, Для продвинутых, Для экспертов, На русском, Технический архитектор

В предыдущей статье были рассмотрены аппаратные и программные способы повышения производительности хранилищ данных (DWH). Сегодня рассмотрим архитектурные способы, проектирование и администрирование.

Архитектуные способы повышения производительности

Правильная архитектура имеет ключевое значение для производительности и пропускной способности всей системы в целом. Элементами архитектуры являются все системы, вовлечённые в наполнение и использование хранилища данных, начиная от систем-источников (source system), и заканчивая отдельными витринами данных (data mart) и аналитическими приложениями (analytical application). При правильно построенной архитектуре данные максимально быстро попадают из систем, в которых они создаются, к конечным пользователям. При этом инфраструктура хранилища данных (оборудование, программное обеспечение) используется наиболее оптмальным образом (отсутствуют пики и простои). Оптимизация хранилища данных с точки зрения архитектуры может включать перенос нагрузки из узких мест в более производительные и/или недозагруженные. Например, перенос части нагрузки с ETL-серверов на СУБД хранилища данных (ELT). Или, наоборот, разгрузка СУБД хранилища данных за счёт переноса нагрузки с СУБД на серверы OLAP.
Читать дальше »

Ralph Kimball, Joe Caserta

Книга известного популяризатора технологий хранилищ данных Ральфа Кимбала рассказывает о том, как построить систему ETL для хранилища данных, построенного на основе многомерной модели данных. В книге рассматриваются все аспекты, связанные с ETL, включая планирование, архитектуру, структуры и потоки данных, очистку данных и мониторинг качества данных, процессы разработки и оптимизации, поддержку ETL в режиме производственной эксплуатации, управление метаданными, зоны ответственности и процессы, извлечение и загрузку данных в режиме реального времени.
Читать дальше »

Автор: Константин Лисянский

В предыдущей статье были рассмотрены административные и два аппаратных способа повышения производительности хранилища данных. Сегодня рассмотрим другие способы.

Аппаратные способы повышения производительности (продолжение)

Балансировка системы. Строго говоря, нельзя сказать, что это только аппаратный способ. И этот способ сильно перекликается с предыдущим (добавлением “железа”). Просто здесь хочется сделать упор на то, что добавлять нужно именно того, что требуется, чтобы сделать систему сбалансированной путём расширения узкого места. Ну, например, в случае, если высобираете массивно-параллельную систему (MPP) сами, то может получиться, что проблема с производительностью может возникать из-за того, что не хватает пропускной способности сети, и решить её можно добавлением дополнительных сетевых карт в узлы системы. Ещё одним примером может стать перераспределение дисков между пространством пользовательских данных, пространством для индексов и пространством для временного хранения промежуточных результатов запросов.
Читать дальше »

Автор: Константин Лисянский

Рано или поздно все разработчики хранилищ данных (DWH) сталкиваются с проблемой производительности хранилища данных. В этой статье мне хочется вспомнить возможные способы повышения производительности подсистем хранилища данных и всего хранилища в целом.

Готовых советов о том, что делать, в этой статье не будет, я просто попытался вспомнить обо всех известных мне способах. Замечу также, что речь пойдёт и о способах ускорения, изначально заложенных в соответствующие программные продукты. Таким образом, я уделю немного внимания “встроенным” в разные СУБД средствам ускорения.

Для начала (поскольку способов вспомнилось, как ни странно, довольно много) хотелось бы предложить некоторую классификацию этих способов, а также перечислить те места, в которых можно ускорять.
Читать дальше »

Joy Mundy, Warren Thornthwaite, Ralph Kimball

Описание от издателя
Эта прорывная книга является первой из серии Kimball Toolkit, которая является продукто-ориентированной. Инструментарий BI от компании Microsoft претерпел значительные изменения при разработке SQL Server 2005. SQL Server 2005 - это первая жизнеспособная полноценная платформа для хранилищ данных (DWH) и business intelligence, которая предлагается по цене, делающей технологии хранилищ данных и business intelligence доступными широкому кругу организаций. Эта книга должна предложить практические методы и направить эти организации через мириады проблем к истинному успеху, который измеряется ценным вкладом в бизнес-результат.
Читать дальше »

W. H. Inmon

Новое издание классического бестселлера, который послужил началом отрасли хранилищ данных.
Книга описывает новые подходы и технологии, во многих из которых пионером выступил сам Билл Инмон (Inmon). В дополнение к объяснению основ хранилищ данных (DWH), книга овещает новые темы, такие как методы обработки неструктурированных данных (unstructured data) и хранение данных в хранилище данных на нескольких типах носителей (multi-temperature data warehousing).

Книга обсуждает достоинства и недостатки реляционного и многомерного подходов к проектированию, а также то, как измерять возврат на инвестиции (ROI) при планировании проектов по построению хранилищ данных.
Читать дальше »

К. Дж. Дейт

От издателя
Новое издание фундаментального труда Криса Дейта представляет собой исчерпывающее введение в очень обширную в настоящее время теорию систем баз данных. С помощью этой книги читатель сможет приобрести фундаментальные знания в области технологии баз данных (DBMS), а также ознакомиться с направлениями, по которым рассматриваемая сфера деятельности, вероятно, будет развиваться в будущем.
Читать дальше »