Sap data services что это

Sap data services что это

Часовой пояс: UTC + 3 часа

FAQ по разделу

5. Не переходи на личности. Будь корректен, такт и этичность всегда смотрятся лучше, чем поливание грязью.

6. Имей терпение. Если ты не нашел темы с обсуждением какой-либо компании в этом форуме, возможно, это не просто так. Прежде, чем открывать новую тему, задай вопрос админу или модератору, мы все поясним. Если ты открыл тему, а ее удалили, открывать новую не стоит, в определенных случаях это может привести к предупреждениям и банам на форуме. Причины удаления всегда можно уточнить у админа или модератора в приватном порядке.

SAP Data Services: есть ли перспективы?

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Ср, июн 08 2005, 13:47
Сообщения: 293

Специалист

Зарегистрирован:
Пт, янв 14 2011, 14:08
Сообщения: 221

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Ср, июн 08 2005, 13:47
Сообщения: 293

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Ср, июн 08 2005, 13:47
Сообщения: 293

Младший специалист

Зарегистрирован:
Пн, мар 12 2012, 12:49
Сообщения: 83

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Старший специалист

Зарегистрирован:
Вт, янв 30 2007, 17:10
Сообщения: 488

Старший специалист

Зарегистрирован:
Пн, авг 29 2011, 08:54
Сообщения: 318
Откуда: Владивосток, Россия
Пол: Мужской

Логотип © 2006 Андрей Горшков
Поддержка: Кирилл Андреев, 2011-…

Источник

SAP Data Services, часть 3. Экстракция, преобразование и загрузка данных в SAP HANA

Вавлитис Майкл

Изучим и сравним подход по экстракции, преобразованию и загрузке (ETL) данных в SAP Data Services со встроенной функциональностью SAP HANA, чтобы выбрать оптимальное решения для интеграции

Ключевые понятия

Определенные процессы экстракции, преобразования и загрузки данных (extract, transform, and load, ETL) были перенесены в SAP HANA, что напрямую влияет на ее интеграцию с SAP Data Services. Процессы ETL — обязательный шаг при развертывании хранилища данных. Они включают в себя перемещение данных из прежней системы в новое хранилище. Это комплексный сквозной процесс загрузки данных из исходной системы в целевую. Экстракция представляет собой извлечение данных из исходной системы с, по возможности, минимальным влиянием на производительность работающей исходной системы. Преобразование обычно предусматривает применение ряда правил для получения необходимого формата данных, например, применение фильтров или преобразование валютных единиц. После преобразования данные загружаются в хранилище целевой системы.

Функции экстракции, преобразования и загрузки данных теперь встроены в SAP HANA, поэтому в будущем переход от SAP Data Services (ранее SAP BusinessObjects Data Services) к SAP HANA неизбежен. SAP стремится упростить все процессы, и объединение функций наглядно демонстрирует этот подход. С появлением и развитием SAP HANA отраслевые эксперты стали с особым вниманием следить за обновлениями. В данной статье предлагается прогноз развития процессов ETL в SAP HANA.

Опишем интеграцию SAP Data Services с SAP HANA и влияние на будущее SAP Data Services встроенных в SAP HANA функций ETL, таких как smart data integration (интеллектуальная интеграция) и smart data quality (интеллектуальное управление качеством данных). В первой статье из серии, «SAP Data Services, часть 1: интеграция с SAP Business Suite Sources» рассматривался интерфейс и процессы SAP Data Services, а также интеграция SAP Data Services с источниками SAP Business Suite. Во второй статье, «SAP Data Services, часть 2: интеграция с SAP BW на базе SAP HANA» рассматривалась интеграция SAP Data Services с SAP BW на базе SAP HANA и использование экстракторов данных BW в процессах ETL.

Настоящая статья охватывает новейшие возможности SAP Data Services (начиная с версии 4.x) и интеграцию с SAP HANA (начиная с Support Package Stack 9). Начиная с Support Package Stack 9 (выпущен в октябре 2014 г.), SAP HANA предоставляет расширенные возможности для интеграции данных, обеспечения качества данных и управления потоками данных. До выпуска Support Package Stack 9для SAP HANA основным инструментом для выполнения этих задач в проектах с потребностью обработки ETL служила, как правило, платформа SAP Data Services. Однако и сейчас SAP Data Services играет важную роль, и в ближайшем будущем от нее отказываться нельзя. Давайте рассмотрим перспективы SAP Data Services с точки зрения ETL и то, как функции SAP Data Services соотносятся с новыми функциями в SAP HANA.

Новые сервисы ETL в SAP HANA

Начиная с Support Package Stack 9, в SAP HANA появились интеллектуальные инструменты для интеграции, управления качеством и управления потоками данных(smart data streaming). Новейшие инструменты SAP HANA также выполняют большую часть функций интеграции данных и управления качеством данных в SAP Data Services. Функция интеллектуального управления потоками данных SAP HANA позволяет собирать и анализировать, а также реагировать на данные в реальном времени.

Влияние SAP HANA на SAP Data Services

SAP Data Services представляет собой гибкий инструмент для соединения множества исходных и целевых систем. Более того, этот инструмент обеспечивает неограниченную масштабируемость и незаменим при выполнении сложных преобразований данных. Преимущество интеллектуальных процессов интеграции и управления качеством данных состоит в том, что не нужно использовать клиентские программы, и системная архитектура упрощается. Следовательно, можно избежать проблем с задержеками и низкой производительности, которые часто возникают в приложении для разработки SAP Data Services при использовании удаленного репозитория.

Проблемы с производительностью в SAP Data Services часто возникали вследствие того, что на экстракцию данных из исходной системы и загрузку их в целевую систему требовалось много времени. То есть производительность SAP Data Services снижалась, в основном, когда требовались расчеты, например, при очистке данных. SAP Data Services, используемый в качестве промежуточной платформы между исходной и целевой системой, часто обвиняли в низкой производительности. SAP Data Services предназначена для пакетной загрузки данных и никогда не была идеальным инструментом для репликации данных в реальном времени — для этого можно использовать новую функцию SAP HANA.

Новая цель SAP — упростить и объединить инструменты и приложения. Внедряя функции ETL в SAP HANA, в которой также выполняется моделирование данных (в SAP HANA Studio), SAP превращает эту платформу в единый инструмент для выполнения различных действий. Поэтому количество периферийных систем сокращается. Следовательно, требуется меньше оборудования, а это упрощает развертывание, техническое обслуживание и архитектуру системных ландшафтов. Тем не менее, SAP продолжает продавать SAP Data Services как основное приложение для управления информацией на предприятии (Enterprise Information Management; EIM). База клиентов EIM SAP Data Services содержит более 10 000 организаций, и SAP Data Services занимает прочную позицию среди платформ интеграции данных согласно исследованию Gartner Magic Quadrant. Хотя SAP в настоящее продолжает продажи и поддержку SAP Data Services, в будущем SAP HANA, скорее всего, будет выполнять все функции ETL, окончательно упраздняя SAP Data Services. Поэтому для SAP Data Services будет выходить все меньше новой функциональности, тогда как функции интеллектуальной интеграции и интеллектуального управления качеством данных в SAP HANA будут значительно расширены.

Будущее SAP Data Services

В новых проектах с потребностью в ETL и с использованием приложений на платформе SAP HANA необходимо сделать выбор в пользу интеллектуальной интеграции и интеллектуального управления данными, а не SAP Data Services. Эти функции встроены в SAP HANA, что позволяет избежать дополнительной траты времени и усилий на внедрение SAP Data Services. Если SAP Data Services уже используется, в обозримом будущем никаких изменений не потребуется, так как SAP продолжает поддержку SAP Data Services (рис. 1). Дорожная карта SAP Data Services предполагает, что базовая поддержка будет продолжаться до конца 2018 года, а приоритетная поддержка — до 2020 года. SAP Data Services 4.2 — наиболее актуальная версия платформы. Ожидаются лишь незначительные изменения и исправления.

Рис. 1. Классический ландшафт интеграции данных SAP Data Services

На сегодняшний день (июнь 2017 г.) в SAP не разработан метод для переноса заданий SAP Data Services в интеллектуальные инструменты интеграции и управления качеством данных, и неизвестно, планируется ли такой процесс. Целесообразно отслеживать обновления функциональности интеллектуальной интеграции и управления качеством данных SAP HANA, чтобы иметь возможность принять информированное решение о переходе с SAP Data Services. Примеры использования интеллектуальной интеграции данных (см. Рис. 2) включают в себя виртуальный доступ к некритичным данным (с помощью интеллектуального доступа к данным, smart data access); ETL для собственных хранилищ данных и информационных витрин SAP HANA; параллельное развертывание для отчетов OLTP; перенос данных из старых систем в SAP HANA; а также пакетную, федеративную (через интеллектуальный доступ) или интеграцию в режиме реального времени с внешними источниками.

Рис. 2. Новая собственная функция интеграции данных в SAP HANA

Интеллектуальную интеграцию данных можно развернуть как локально, так и в облаке. Интеллектуальная интеграция данных обеспечивает принудительную репликацию данных в выбранных источниках с функцией сбора измененных данных (Change Data Capture; CDC). Функциональность реализована на хорошо известном сервере репликации Sybase. Интеллектуальная интеграция данных также позволяет извлекать пакетные данные из источника любого типа. Интеллектуальный доступ к данным (smart data access) — федеративная платформа SAP HANA, которая используется для доступа к виртуальным данным, например, для запросов или загрузок начальных данных. Для доработки интеллектуального доступа к данным с помощью интеллектуальной интеграции используется адаптер Software Development Kit (SDK). Если поток репликации прерывается или останавливается, инструмент интеллектуальной интеграции данных может продолжить прерванную обработку данных. Он может продолжить работу и при кратковременном отключении целевой системы SAP HANA из-за непредвиденных обстоятельств, например, во время стихийных бедствий. В преобразовании данных с помощью интеллектуальной интеграции участвуют виртуальные и невиртуальные таблицы и ракурсы (view) SAP HANA. Для редактирования потоков преобразований используется Application Function Modeler (AFM) — интерфейс пользователя SAP HANA Studio.

Подключение SAP Data Services к SAP HANA

Платформа SAP Data Services оптимизирована для пакетной загрузки данных и может использоваться для загрузки данных в базу памяти in-memory SAP HANA. Для загрузки данных в реальном времени можно использовать сервер репликации Sybase или инструмент интеллектуального управления потоками данных. В SAP HANA Modeler создаются задания первичной загрузки и потоки данных для загрузки в таблицы, а SAP Data Services может использоваться для поиска и импорта внешних метаданных. SAP Data Services можно использовать для редактирования потоков данных после начальной настройки.

Оформите подписку sappro и получите полный доступ к материалам SAPPRO

Источник

Иван Болховитинов

Здесь и далее – вольный перевод обзорной главы из официальной документации.

2.1 Обзор архитектуры

Этот раздел очерчивает общую архитектуру платформы, системы и служебные компоненты, которые составляют платформу SAP BusinessObjects Data Services. Эта информация поможет администраторам понять основы и сформировать план по развёртыванию системы и её дальнейшему управлению и обслуживанию.

SAP BusinessObjects Data Services спроектирована с учётом повышенных требований к производительности, пригодна для широкого круга пользователей и поддерживает большой спектр сценариев развёртывания. Например:

Службы информационных технологий могут использовать инструменты управления данными и системами:

Для обеспечения гибкости, надежности и масштабируемости, SAP BusinessObjects Data Services компоненты могут быть установлены на одном или на нескольких физических единицах оборудования.

Серверные процессы могут быть масштабированы «по вертикали» (где на одной единице оборудования будут работать все или несколько серверных служб) – для уменьшения стоимости, или масштабированы «по горизонтали» (процессы сервера распределены между двумя или более единицами оборудования) – для повышения производительности.

Кроме того, можно запускать несколько экземпляров одного и того же процесса на нескольких единицах оборудования, так что обработка может быть продолжена, если первичный процесс сталкивается с проблемой – для повышения отказоустойчивости.

2.2 Стандартные компоненты

Следующая диаграмма иллюстрирует расположение компонентов SAP BusinessObjects Data Services в общем наборе продуктов SAP BusinessObjects.

Если у вас нет полной установки решений платформы SAP BusinessObjects, тогда основные компоненты, которые требуются Data Services, будут предоставлены в составе сервисов платформы SAP BusinessObjects Information.

Для детального списка поддерживаемых окружений и системных требований обратитесь к Матрице доступности продуктов (Product Availability Matrix) по адресу: http://service.sap.com/PAM. Эта информация включает версии и уровень обновлений для баз данных, приложений, серверов веб-приложений, браузеров и операционных систем.

2.2.1 Дизайнер (Designer)

Дизайнер – это инструмент разработки с простым в использовании графическим интерфейсом пользователя. Он позволяет разработчикам определять управление данными приложений, которые состоят из сопоставления данных, преобразования и логику управления.

Используйте Дизайнер для создания приложений, содержащих рабочие процессы (определения выполнения заданий) и потоки данных (определения преобразования данных).

Используя Дизайнер возможно создавать объекты, а затем перетаскивать и настраивать их, выбирая иконки в блок-схемах, табличных макетах и рабочих областях. Объекты в Дизайнере представляют собой метаданные. Интерфейс Дизайнера позволяет управлять метаданными, хранящимися в репозитории. Используя Дизайнер, вы также можете запускать задания на Сервере заданий для начального тестирования приложений.

2.2.2 Репозиторий (Repository)

Репозиторий SAP BusinessObjects Data Services – это набор таблиц, которые содержат предопределённые системные объекты и объекты, созданные пользователями, исходные и целевые метаданные и правила преобразований.

Установка репозитория на открытой клиент-серверной платформе облегчает обмен метаданными, используя другие инструменты предприятия. Каждый репозиторий должен храниться в существующей СУБД, и зарегистрировано в центральной консоли управления (CMC).

Каждый репозиторий связан с одним или несколькими серверами заданий, на которых будут запускаться задания, которые вы создаёте. Есть два типа репозиториев:

Локальный репозиторий используется разработчиком приложений для хранения определений объектов (например: проекты, задания, рабочие потоки и потоки данных), а также метаданные источников / целей.

Центральный репозиторий является дополнительным компонентом, который может быть использован для поддержки многопользовательской разработки. Центральный репозиторий предоставляет библиотеку объектов для совместного доступа и позволяет разработчикам выкладывать и забирать объекты в собственные локальные репозитории.

Хотя каждый пользователь работает над приложением в собственном локальном репозитории, команда использует центральный репозиторий для хранения главной копии всего проекта. Центральный репозиторий сохраняет все версии объектов приложения, так что вы можете вернуться к предыдущей версии в случае необходимости.

Многопользовательская разработка включает в себя другие дополнительную функциональность, такую как метки и фильтры, чтобы предоставить вам больше гибкости и контроля в управлении объектами приложения.

2.2.3 Сервер заданий (Job Server)

Сервер заданий SAP BusinessObjects Data Services инициирует механизм перемещения данных, который объединяет данные из нескольких гетерогенных источников, выполняет сложные преобразования данных, управляет экстракцией и транзакциями из ERP-систем и другими источниками. Сервер заданий может перемещать данные как в пакетном режиме, так и в режиме реального времени, используя оптимизацию распределённых запросов, многопотоковость, кэширование в памяти, трансформацию данных на лету и параллельную обработку для достижения высокой пропускной способности и масштабируемости.

При определении заданий, вы можете запускать их из Дизайнера, который будет передавать задание на обработку на сервер заданий. Сервер заданий получает задание из связанного репозитория и запускает процесс обработки. В продуктивном окружении сервер заданий выполняет задания по определяемому расписанию или в режиме реального времени под управлением сервера доступа (Access Server). В продуктивном окружении вы можете распределять нагрузку по нескольким серверам заданий, создав группу серверов заданий.

Механизм (Engine)

При запуске заданий Data Services сервер заданий запускает механизм, обрабатывающий экстракцию, трансформацию и перемещение данных. Механизм использует параллельную обработку и трансформацию данных на лету для достижения высокой пропускной способности и масштабируемости.

Служба

Служба Data Services устанавливается при установке сервера заданий и сервера доступа (Access Servers). Служба запускает сервер заданий и сервер доступа при перезагрузке операционной системы. В ОС Windows эта служба называется BusinessObjects Data Services. В системах UNIX есть эквивалентная служба (daemon) с названием AL JobService.

2.2.4 Сервер доступа (Access Server)

Сервер доступа SAP BusinessObjects Data Services – это брокер сообщений (запрос-ответ), который в реальном времени собирает запросы и перенаправляет их к соответствующим службам, а также доставляет ответ за заданный интервал времени. Сервер доступа управляет очередью сообщений и отправляет их к следующей доступной службе реального времени среди любого количества вычислительных ресурсов. Такой подход позволяет достичь автоматического масштабирования, так как Сервер доступа может задействовать дополнительные службы реального времени в части дополнительных вычислительных ресурсов в случае, если поток обращений к конкретной службе реального времени будет повышенным. Вы можете настроить несколько серверов доступа.

Служба

Служба Data Services устанавливается при установке сервера заданий (Job Server) и сервера доступа. Служба запускает сервер заданий и сервер доступа при перезагрузке операционной системы. В ОС Windows эта служба называется BusinessObjects Data Services. В системах UNIX есть эквивалентная служба (daemon) с названием AL JobService.

2.2.5 Консоль управления (Management Console)

Администратор

Администратор предоставляет функции администрирования ресурсами SAP BusinessObjects Data Services в браузере:

Отчёты по метаданным

Приложение Отчёты по метаданным предоставляет функции базового анализа и отчётности по имеющимся метаданным в браузере:

Отчёты по метаданным включают несколько приложений для обзора ваших метаданных:

2.2.5.1Отчёты по анализу зависимостей и происхождению

Отчёты по динамическому анализу и происхождению включают:

Для каждого соединения, отчёты: обзорный, табличный, функциональный, иерархический.

Пользователи SAP BusinessObjects Data Services могут определить:

Обзор юниверсов, классов и объектов. Пользователи юниверсов могут определить, какие источники данных служат источниками для их юниверсов. Пользователи юниверсов также могут определить, какие отчёты используют их юниверсы.

Показывает источники данных для Business Views в Центральном Сервере Управления (CMS). Вы можете просмотреть отчёт о происхождении бизнес-элементов и бизнес-полей для каждого Business View. Пользователи Crystal Business View могут определить, какие источники данных служат для наполнения их Business Views, и в какие отчёты они в дальнейшем попадают.

Обзор источников данных для отчётов в Центральном сервере управления (CMS). Вы можете отследить происхождение таблиц и колонок для каждого отчёта Crystal Report или документа Web Intelligence, под управлением CMS. Разработчики отчётов могут определить, какие источники данных служат наполнением для их отчётов.

Поиск отдельных объектов в репозитории и понимание того, какие объекты SAP BusinessObjects Data Services воздействуют на объекты построителя юниверсов SAP BusinessObjects и отчёты, а также. Результаты поиска по метаданным включают обратные ссылки на связанные отчёты.

Для получения динамического анализа и происхождения по приложениям из портфеля решений SAP BusinessObjects solution вы должны настроить Интегратор Метаданных (Metadata Integrator).

2.2.5.2 Операционная информационная панель

Отчёты операционной информационной панели предоставляют в графическом виде отображение статистики исполнения заданий SAP BusinessObjects Data Services. Это позволяет вам охватить одним взглядом статус и производительность выполнения заданий для одного или нескольких репозиториев за определённый период времени. Вы можете использовать эту информацию для курирования и мониторинга планирования расписания для достижения максимальной суммарной эффективности и производительности

2.2.5.3 Отчёты по Автодокументированию

Отчёты по автодокументированию предоставляют удобный и всеобъемлющий способ получения печатной документации для всех создаваемых вами объектов в SAP BusinessObjects Data Services. Отчёты по автодокументированию охватывают важную информацию для понимания заданий, таким образом вы можете получить общий обзор процессов ETL (извлечение, преобразование, загрузка).

После создания проекта вы можете использовать отчёты по автодокументированию для быстрого создания документов в формате PDF или Microsoft Word, которые охватывают выбранные задания, рабочие потоки, потоки данных, включая графическое представление и информацию о ключевых соответствиях.

2.2.5.4 Информационная панель по проверке данных

Отчёты информационной панели по проверке данных предоставляют отображение в графическом виде, которое позволяет вам оценить достоверность целевых данных на основании правил проверки, которые вы создали в пакетных заданиях SAP BusinessObjects Data Services. Это позволяет бизнес-пользователям быстро осмотреть, оценить и идентифицировать потенциальные несоответствия и ошибки в исходных данных.

2.2.5.5 Отчёты по Очистке данных

Отчёты по очистке данных позволяют получить и экспортировать отчёты Crystal Reports для пакетных заданий и заданий реального времени. Список отчётов включает обзоры по заданиям, отчёты по трансформации и отчёты по групповому преобразованию.

2.2.6 Интегратор метаданных (Metadata Integrator)

Интегратор метаданных позволяет SAP BusinessObjects Data Services прозрачно предоставлять доступ к метаданным для решений SAP BusinessObjects Business Intelligence (BI). Запустите Интегратор метаданных для сбора метаданных в репозитории SAP BusinessObjects Data Services для использования в Business Views и юниверсах, которые служат источниками для Crystal Reports, документов SAP BusinessObjects Desktop Intelligence и документов SAP BusinessObjects Web Intelligence.

Источник