Sas rtdm что это как работает
Сбербанк внедрил Real-Time Decision Manager в корпоративном сегменте
Сбербанк внедрил RTDM (Real-Time Decision Manager) в корпоративном сегменте. RTDM позволяет обрабатывать большие массивы данных, анализировать их и вырабатывать решения, наиболее значимые для конкретного клиента в конкретный момент времени с последующей маршрутизацией в приоритетный клиенту канал обслуживания.
Возможности RTDM уже используются банком в сервисных коммуникациях с корпоративными клиентами. При обращении в банк клиент не только решает свой вопрос, но также получает дополнительную информацию: RTDM информирует оператора контактного центра, например, о заканчивающихся у клиента полномочиях в интернет-банке или о появлении новых сервисов, упрощающих работу клиента. Также технология оповещает клиентов о начислении им денежных средств в случаях, когда они являются взыскателями, и информирует о положенных им компенсациях.
При проведении платежей RTDM дает клиенту «подсказки», предлагая более выгодные способы совершения переводов. Также технология может отслеживать ковенанты в кредитных договорах о целевом использовании кредитных денежных средств, что позволяет оперативно реагировать на их нарушение, и, как следствие, избегать ситуации с необходимостью увеличения резервов.
Станислав Карташов, вице-президент, директор дивизиона «Корпоративные клиенты 360» Сбербанка, сказал: «В условиях высокой конкуренции уже недостаточно знать о клиенте все — важно предвосхищать его ожидания. С помощью таких инструментов как RTDM мы можем лучше понимать клиентов и предлагать то, что релевантно для них в данную минуту, при возникновении конкретной ситуации — еще до того, как они об этом подумали».
Развитие технологии Сбербанк осуществляет своими силами и опираясь на собственные ИТ. Архитектура RTDM Сбербанка для корпоративного сегмента представляет собой платформу, включающую в себя большое количество компонентов не только коммерческих SAS и Oracle, но и Open Source (таких как Kafka), а также компонентов собственных Java-разработок, что является отличительной особенностью RTDM Сбербанка. Данная платформа способна поддерживать 3 тыс. TPS (транзакций за секунду) со средней скоростью обработки одного события за 100 мс. Сейчас механика системы поддерживает пропускную способность Throughput свыше 10 млн событий из системы источника данных в день. В дальнейшем платформу планируется интегрировать со смежными системами и подключить дополнительные каналы (такие как IVR, мобильное приложение), что позволит учитывать новые данные при анализе и выборе предпочтительного канала взаимодействия с клиентом.
SAS: мы анализировали данные и обучали модели задолго до того, как это стало модным
Наша аналитическая платформа работает в WalMart, Bank of America, Bank of China, Сбербанке, МТС. SAS как предмет преподают в МГУ, ВШЭ, МИФИ, МГТУ им. Баумана, МЭИ, МИИТ и других ВУЗах. А под катом — наша краткая история-знакомство, с которой мы хотим открыть наш блог на Хабре.
Кто мы такие
Компания SAS существует с 1976 г. Мы выросли из маленького проекта одного молодого профессора математики из Университета Северной Каролины. Началось все с небольших подрядов на статобработку данных Минсельхоза, которые он выполнял вместе со своими студентами.
Разумеется, стандартных решений для автоматизации тогда не существовало, поэтому большинство статистических функций профессор писал сам на языках С и COBOL.
В какой-то момент количество перешло в качество: вместо того чтобы просто выполнять определенные расчеты для своих клиентов, профессор решил продавать сами свои наработки по расчетам и другим клиентам, которым необходимо было работать с аналитикой и статистикой, а также строить математические модели. Так появилась компания SAS.
Сегодня мы работаем по всему миру практически во всех традиционных отраслях, где необходим анализ статистики. В круг наших партнеров входят банки и крупнейшие страховые компании, ритейлеры и производственные компании, энергетика и нефтегаз, ресторанные и гостиничные сети, а также самые разные госструктуры. На сегодняшний день мы обслуживаем более 83 000 клиентов по всему миру. В нашей компании работает 14 000 сотрудников, более 4 000 из которых заняты непосредственно разработкой ПО.
Мы имеем богатую историю работы и на российском рынке. Хотя официальная история SAS в России началась с 1996 года, первые крупные внедрения нашего ПО относятся к самому началу 90-х, а отдельные решения работали еще при существовании СССР.
Одним из первых крупных клиентов на российском рынке стал Альфа-банк, история работы с которым уходит в самое начало 90-х. Среди крупнейших российских клиентов можно упомянуть и компанию МТС, где мы создавали хранилище данных и систему обработки управленческой и аналитической отчетности. Общий объем хранилища составлял 30 ТБ, что на тот момент (более 10 лет назад) являлось самым большим хранилищем данных в РФ, а возможно даже и в Европе. Также наши технологии и решения активно используется в сфере железнодорожного транспорта и некоторых других отраслях российской промышленности.
Зачем мы здесь
Одна из целей нашего присутствия на Хабре – познакомиться с молодежью, развеять мифы о нас, в том числе главный – о недоступности SAS из-за высокой стоимости и прочих ограничений. Нет, у нас не все платное – вы всегда можете найти варианты бесплатного использования, в том числе для исследований и изучения; нет, у нас не все недоступное – в открытом доступе есть масса ресурсов; нет, у нас не все на английском языке – и мы обязательно будем работать над увеличением русскоязычного материала.
На каких рынках мы работаем
Мы активно работаем на банковском рынке, в число наших клиентов входят практически все крупнейшие банки. Наши решения используются в клиентской аналитике, целевом маркетинге, помогают обеспечить управление данными и подготовку управленческой и аналитической отчетностью. Одно из ключевых направлений — управление рисками, которое применяется в том числе для борьбы с мошенничеством.
Несмотря на изначальный скепсис в отрасли, мы успешно работаем со страховым бизнесом. У них главная проблема — это очень небольшой объем транзакционных данных по клиентам. Нормальный человек покупает полис и приходит только через год за следующим. Поэтому страховщики сомневались, можно ли извлечь из технологий машинного обучения какую-то пользу. Но капля камень точит. Пару лет назад плотину все-таки прорвало, и мы начали делать первые проекты. Самые перспективные направления для нас – борьба с мошенничеством и оценка потенциальной убыточности клиентов.
В последние годы мы активно выходим на рынок ритейла. В этой отрасли наши решения используются как в товарной аналитике (оптимизация цен, запасов, размещения на полках и пр.), так и в клиентской аналитике (все, что связано с персонализацией отношений с клиентами). Также аналитика дает реальный и быстрый эффект в таких секторах как логистика, медицина и сельское хозяйство
Сегодня потребности клиентов и рынка в аналитике развиваются чрезвычайно быстро, поэтому свои перспективы мы оцениваем с большим оптимизмом.
Ключевые требования
Однако не все так просто. Эффективность работы с аналитикой зависит от нескольких ключевых факторов, отсутствие которых способно испортить весь эффект.
Во-первых, для аналитики в первую очередь необходимо иметь адекватные и упорядоченные данные. В некоторых отраслях это не представляет сложности (банки, телеком), но в некоторых структурированность, да и просто наличие нужных данных – большая проблема (например, страхование, агробизнес).
Во-вторых, большую роль играет то, насколько руководство готово внедрять аналитику и использовать ее при принятии решений, причем основная проблема кроется даже не в затратах, а именно в готовности менять схемы работы. Много где руководство считает, что если их схемы работают уже двадцать лет, а эксперты раньше принимали нужные решения без всякой аналитики, то и менять ничего не стоит. В современном мире эта стратегия работает либо до первого крупного происшествия (мошенничества, неурожая и пр.), либо до тех пор, пока компания не начинает заметно проигрывать на рынке конкурентам, использующим современные технологии и схемы управления.
В-третьих, в компании должна быть команда аналитиков, которые будут работать с полученными данными. Такие команды тоже есть не везде, и в телекоме аналитики, математики, дата-сайентисты окажутся скорее, чем, например, в сельском хозяйстве. Впрочем, и здесь все меняется: с одной стороны, все больше предприятий понимают, что необходимо иметь собственное аналитическое подразделение, с другой – использование искусственного интеллекта позволяет аналитическим системам работать точнее и лучше подстраиваться под существующие условия, что повышает эффективность в конкретных задачах. Плюс системы стали проще для пользователя.
Наконец, сейчас широко распространяется аутсорсинг, когда собственно работу аналитиков берут на себя партнеры, а заказчик получает готовые для понимания и использования аналитические данные. Например, часто в начале сотрудничества мы работаем в качестве внешних аналитиков (по модели RaaS), и клиент получает эффект и понимание, что и как работает, какие направления следует развивать, а какие – нет. Это поможет ему при формировании своей команды или же подтолкнет принять решение продолжить работать на аутсорсе.
Что мы делаем
Наша аналитическая платформа имеет очень широкую функциональность. В круг ее возможностей входят разведочный анализ, подготовка данных, классическое прогнозное моделирование и машинное обучение, прогнозирование на основе временных рядов, оптимизация, и много чего еще.
Все блоки и решения мы разрабатываем сами. Поэтому мы понимаем, что и как работает и как взаимодействует между собой – у нас нет сложностей с согласованием работы различных компонентов и решений между собой. При этом блоки работают на единой платформе управления метаданными и имеют в основе общий язык программирования SAS Base.
Один из наших приоритетов – интегрировать наши решения в рабочие процессы и схемы принятия решений в компании. Дело в том, что если аналитика и данные существуют отдельно, «в вакууме», эффективность их использования существенно падает. Кроме того, без нормальной бесшовной интеграции очень велик риск операционных ошибок. А такие ошибки очень сильно бьют по доверию к аналитике и моделям.
Для встраивания аналитики в бизнес-процессы в SAS предусмотрен целый стек технологий. Интеграция на уровне данных (SAS Data Integration), интеграция на уровне потоков событий (SAS Event Stream Processing), интеграция на уровне запросов решений (SAS Decision Manager), интеграция на уровне управления жизненным циклом моделей (SAS Model Manager), интеграция на уровне разнородных аналитических инструментов типа R, Python, Scala (SAS Viya). В крупной организации, будь то банк, ретейлер, телеком или что-то другое, основная сложность — это огромное количество разнородных источников данных на разных платформах и СУБД, и большое число процессов, где требуется применение аналитики (потребителей аналитики), реализованных в разных системах.
Из новых приоритетов стоит упомянуть скорость. Сегодня многим нашим клиентам уже недостаточно получать данные и аналитику с задержкой. Время на принятие решения все сокращается, и во многих случаях данные требуются уже в реальном времени.
Естественно, что сегодня SAS работает не только по традиционной модели предоставления софта, но и предоставляет облачные сервисы. В самых разных форматах: SaaS (ПО как сервис), BaaS (бизнес как сервис – аутсорсинг аналитических процессов), RaaS (результат как сервис – реализация какого-либо законченного продукта для клиента под ключ, от разработки прогнозной модели, до формирования статистически обоснованной стратегии развития сети торговых точек, например).
Облачные сервисы востребованы больше не в банках, где все хорошо с данными, с деньгами, с аналитиками, а в других отраслях – страховании, ритейле, агросекторе, например. Клиенты в этих отраслях готовы привлекать внешних экспертов не только на этапе настройки, но и на постоянную работу. Еще один плюс облачных сервисов — отсутствие необходимости больших инвестиций в начале работы, что дает более быстрый выход на окупаемость и снижает риски убытков.
Как выбирают
Решения SAS выбирают крупные предприятия для серьезной работы, поэтому выбор решения занимает много времени и включает оценку широкого круга возможностей и параметров работы предлагаемых решений. При этом ключевым фактором для них является рост эффективности, который, как и точность принимаемых решений, в значительной степени зависит от точности используемой модели. Иногда заказчик даже устраивает своего рода соревнование – предлагает нескольким вендорам построить нужную ему аналитическую модель и смотрит, кто лучше справится с заданием.
Однако сама точность модели – фактор не постоянный. Она зависит от многих факторов, как относящихся к модели, так и внешних. Например, точность модели полностью зависит от корректности и адекватности предоставляемых в рамках тестирования данных. Иногда они есть, иногда нужные данные находятся в рассеянном виде и их нужно искать, собирать и приводить к единому формату, либо вообще приходится самостоятельно налаживать их сбор.
Также на первом этапе не всегда понятно, что к чему, какие есть особенности и главное, что именно нужно клиенту. Поэтому на первых этапах работы преимущество в точности часто получают усредненные модели, которые уже «из коробки» дают относительно высокую точность работы. Однако такая модель со временем скорее всего будет терять актуальность за счет того, что меняются условия работы предприятия и самого рынка. Это необходимо учитывать и либо вручную, либо автоматически адаптировать модель к меняющимся условиям.
При правильной организации работы (когда модель подстраивается под особенности работы клиента и рынка) точность модели в первое время будет расти по мере «тонкой настройки», накопления данных и пр. В одном из внедрений наша модель изначально показала результат хуже, чем у конкурентов, однако в кратчайшие сроки, набрав нужную информацию и адаптировав ее работу, мы вырвались вперед.
Мы уверены в своих решениях, и та статистика, что у нас есть, показывает, что клиенты нам тоже доверяют. Отток клиентов у нас не превышает 1%, очень часто менеджеры и клиенты, переходя в новую компанию, стремятся и ее перевести на использование наших решений. В России мы растем на 40% в год, что дает нам основания считать, что наши решения востребованы.
Что привлекает клиентов
Больше всего клиенты ценят то, что получают от SAS готовые решения. Наши решения позволяют не просто разрабатывать модели – мы можем встраивать их в бизнес-процессы компании. Очень часто именно эта возможность становится решающей при принятии решения об использовании именно нашего продукта. Потому что зарабатывать деньги на любых моделях или аналитике можно только тогда, когда они реально дают возможность принимать прибыльные бизнес-решения и повышать эффективность. Поэтому мы уделяем огромное внимание тому, чтобы наша аналитика была тесно интегрирована в бизнес-процессы компании. Но это не единственное наше достоинство.
Мы сами разрабатываем все свои продукты и решения, что обеспечивает единообразность и согласованную работу, в дальнейшем наши решения можно легко масштабировать или модифицировать. Наши решения тесно интегрированы между собой: мы предлагаем общую платформу, на которую можно «навешивать» разные модули. Благодаря этому степень риска при их внедрении гораздо ниже – клиенту не надо собирать в единую систему из чужих технологий и инструментов с неизвестным результатом. Можно сразу (и зачастую перед полноценным внедрением) оценить работу решения, составить предварительное впечатление.
В наши решения заложены накопленные нами знания и опыт в области решения конкретных аналитических задач, типовые бизнес-процессы, формы мониторинга и отчетности и т.д. Плюс, у нас нет «просто аналитиков», наши специалисты обладают предметными данными в конкретной области, что позволяет им лучше понимать ситуацию. В принципе, даже технические специалисты обладают знаниями и пониманием происходящих в отрасли процессов, что позволяет им более адекватно работать с данными.
Еще момент – скорость обработки данных. О высокой скорости говорят все, но чаще речь идет о каких-то специальных бенчмарках. Мы же имеем опыт реальных внедрений сложных решений с огромными скоростями обработки для таких компаний как WalMart, Bank of America, Bank of China, Сбербанк. Кроме того, у нас есть особая услуга: специальный дата-центр, имеющий 114 высокопроизводительных процессорных ядра, 3 ТБ оперативной памяти, 24 ТБ SSD емкости, который смонтирован в передвижном ящике весом в 120 кг. Мы можем поставить его у заказчика на пару недель, чтобы он смог проверить и оценить его работу. Да, и часто клиенты не хотят отдавать ее обратно.
Наконец, стоит отметить, что, хотя продукты SAS и стоят немало, для наших клиентов цены конкретных решений, как правило, не играют решающей роли – они больше смотрят на то, какие выгоды они получат от внедрения. Это может быть повышение рентабельности, снижение издержек или повышение скорости реагирования, что тоже повышает эффективность. Впрочем, если цена кажется излишней или заказчик пока не понимает, выгодным ли для него окажется использование наших решений, можно начать с облачных сервисов на платформе SAS – порог вхождения для них куда ниже, но при этом можно в полной мере оценить наши возможности.
Уже сейчас с решениями SAS работают ведущие предприятия во многих отраслях. SAS преподают в крупнейших вузах – спецкурсы, куда могут прийти все желающие, есть в МГУ, ВШЭ, МИФИ, МГТУ им. Баумана, МЭИ, МИИТ и др. Мы регулярно проводим набор на стажерскую программу, причем она расширена и на наших клиентов – всем нужны люди со знанием SAS.
Мы с радостью услышим ваши пожелания о темах, которыми нам лучше поделиться. Пишите в комментариях вопросы, мы с радостью ответим, в том числе, в будущих материалах.
Основы программирования на SAS Base. Урок 1
Привет! Я Анна Добрыченко, преподаватель учебного центра SAS в России: провожу тренинги по программированию на SAS Base, использованию SAS Enterprise Guide и SAS Visual Analytics, участвую в подготовке стажеров. Вся техническая документация и статьи продуктов и решений SAS изложены на английском языке, а локализованного материала в Рунете недостаточно.
Поэтому в нашем блоге на Хабрахабре я расскажу об основах программирования на SAS Base в цикле статей.
Язык SAS Base представляет собой основу большинства этих продуктов и решений SAS, именно ему и будут посвящены статьи. В них я познакомлю с терминологией, типами данных, с которыми работает SAS Base, со структурой кода, написанного на SAS Base, и покажу основные приемы, которые используются при написании программ SAS.
Вводная
Есть несколько вариантов изучить основы программирования на SAS Base.
Добываем инструменты
Научиться программировать на SAS Base можно на бесплатном интерфейсе под названием SAS University Edition или сокращенно SAS UE.
SAS UE — это мощный инструмент, который предоставляется SAS Institute. Пользовательский интерфейс для SAS UE (известный как SAS Studio) основан на web-браузере – это web-клиент. Скачать его можно на сайте SAS абсолютно бесплатно. На ПК SAS UE запускается под виртуальной машиной и требует установки программного обеспечения виртуализации. Для Windows подойдет Oracle VM VirtualBox и Vmware Player. Всю информацию по установке можно изучить вот в этом документе.
При запуске программы или задачи SAS Studio подключается к серверу SAS для обработки кода. Сервер SAS может быть размещен в облачной среде, локальной среде или же на локальном компьютере. После обработки кода результаты возвращаются в SAS Studio в вашем браузере.
SAS Studio поддерживает несколько веб-браузеров: Microsoft Internet Explorer, Apple Safari, Mozilla Firefox, and Google Chrome.
Разбираемся в интерфейсе
Немного о том, как выглядит интерфейс SAS UE.
Слева находится панель навигации, справа – рабочая область. Три основные вкладки рабочей области – «Код», «Журнал», «Результаты».
Справка по синтаксису появляется, как только вы уменьшаете список релевантных ключевых слов. Справка по синтаксису также появляется, если щелкнуть правой кнопкой мыши на ключевое слово в программе и выбрать Syntax Help (Справка по синтаксису).
Можно перейти на страницу документации по той или иной процедуре, кликнув на ссылку «Документация по продукту».
На вкладке «Выходные данные» вы можете увидеть созданные таблицы.
На вкладке «Результаты» вы можете просматривать вывод процедур, создающих отчеты.
Если какая-то часть программы используется часто, ее можно добавить во «Фрагменты кода».
После запуска и выполнения любой, даже самой простой программы рекомендую открывать и просматривать Log. Log является инструментом диагностирования и отладки потенциальных проблем, связанных с вашей программой. Журнал выводит текст запущенной программы, также в нем существует три вида сообщений: примечания, предупреждения и ошибки. Даже если ошибок сразу не видно, рекомендуется вдумчиво изучить Log.
Вы можете открыть справку (SAS Help) и документацию прямо из главной панели инструментов. SAS Studio Help (Справка SAS Studio) для перехода на страницу документации по SAS Studio. Эта веб-страница содержит справку по интерфейсу SAS Studio.
Если вы только начали изучать продукты SAS, то наверняка незнакомы с некоторыми особенностями терминологии, используемой в продуктах компании.
Sas7bdat и данные
С точки зрения традиционной терминологии SAS наборы данных состоят из переменных (variables) и наблюдений (observations). Проведя аналогию с терминологией реляционных баз данных, переменные являются столбцами, а наблюдения – строками.
Рассмотрим на примере описанное выше.
Представленная программа создает таблицу people (сам синтаксис мы рассмотрим позже):
Исходные данные могут иметь различный вид, SAS упростил эту задачу. В SAS существует всего два типа данных числовой (numeric) и символьный (character). В наборе данных people переменные First_Name, Last_Name, Phone_Number имеют символьный тип, а переменная Id – числовой. Стоит отметить, что даты в SAS — это тоже числа.
Данная программа создает набор данных time, содержащий текущие дату, время и дату и время (datetime) в формате SAS:
Возможный вид набора данных представлен ниже:
Все три значения – это даты в формате SAS. Итак, дата в формате SAS – это количество дней, начиная с 01 января 1960 до текущей даты, время в формате SAS – это количество секунд, начиная с полуночи текущей даты, дата и время – это количество секунд, начиная с полуночи 1960 года. Именно в таком виде хранятся даты в формате SAS в наборах данных.
Иногда данные могут быть неполными, как в наборе данных people: в нем отсутствуют некоторые значения. В SAS существует понятие missing – пропущенное значение. По факту, пропущенное значение – это тип значения для переменной, которая не содержит данных для конкретной строки или столбца. По умолчанию SAS записывает недостающее числовое значение в виде точки и отсутствующее значение текстовой переменной в качестве пробела. При сравнении «миссинг» всегда равен «миссингу», при этом в операторах сравнения «миссинг» — самое минимальное значение.
Кроме фактических значений, набор данных SAS имеет такие данные, как тип переменной, длину, имя, ярлыки, форматы, называемые атрибутами набора данных.
Переменные и атрибуты
У переменных в SAS есть ряд атрибутов, давайте познакомимся с некоторыми из них.
Длина переменной — это количество байт, приходящихся на один символ.
Данный код демонстрирует вышеизложенное:
Имена переменных, как и наборов данных, задаются самостоятельно. Есть ряд правил именования переменных SAS:
В последующих статьях мы подробнее познакомимся с атрибутом формат.
Ярлык переменной используется в отчетах вместо имен переменных. Ярлык может содержать до 256 символов, включая специальные символы, в том числе и знак пробела. В последующих статьях мы рассмотрим, виды ярлыков и как они используются в программном коде, а также приемы, когда в имени переменной может быть использован, например, пробел.
Структура программы SAS Base
Ознакомимся со структурой программы на языке SAS Base.
Все программы SAS состоят всего из двух шагов: шаг PROC и шаг DATA. Шаг DATA предназначен для чтения, преобразования и создания наборов данных SAS, а процедурный шаг PROC в основном – для анализа данных, формирования и печати отчетов. Шаги состоят из операторов. Индикатор окончания шага – это ключевое слово RUN (или, например, QUIT для ряда процедур), также сигналом к завершению шага может быть наличие операторов STOP и ABORT. Шаги могут размещаться в произвольном порядке, компилятор считывает последовательно шаг за шагом. Стоит отметить, что и сами шаги считываются построчно и никак иначе. Разные части программы обмениваются друг с другом данными в виде наборов данных SAS.
Синтаксис SAS Base очень прост, так же как и написание кода.
Пример простейшей программы SAS представлен ниже:
Важным требованием синтаксиса является наличие точки с запятой в конце каждого оператора. Данная программа SAS считывает набор данных ads из библиотеки sasuser (с понятием «библиотека» мы познакомимся в следующей статье), создает новый набор данных new. На следующем шаге мы создаем отчет из нового набора данных.
Стоит отметить, что у SAS Base нет требований к форматированию кода. Вы можете написать код в одну строку и код будет работать. Чтобы отформатировать код в SAS U, нажмите на кнопку «формат кода»:
Хороший тон для программиста – это пояснения к исходному тексту программы. Комментарии не влияют на семантику программы.
В SAS Base есть два вида комментариев:
Как отмечалось ранее, Log необходимо детально изучать. Давайте рассмотрим несколько самых распространенных синтаксических ошибок:
В данном случае шаг отработает с предупреждением. В Log мы увидим следующую информацию:
В данном случае run на втором шаге программы будет расценен как параметр оператора proc print.
Ошибка будет выглядеть следующим образом:
При непарных кавычках срабатывает подсветка и в Log заносится в этом случае следующее сообщение (фрагмент Log):
Итак, это кратко об интерфейсе SAS UE, терминологии SAS Base и основных требованиях к синтаксису SAS Base. В следующей статье мы рассмотрим библиотеки SAS и их создание, создание детализированных отчетов, рассмотрим форматирование значений и задание постоянных атрибутов переменным.
Уверена, что работа с SAS окажется интересной и увлекательной. Grow with SAS!