Sberdata exchange что это
В России запустили сервис вознаграждений за передачу личных данных рекламодателям
Ex-новостной редактор. РБ.РУ.
Бывший топ-менеджер МТС Алексей Ермаков запустил приложение SberData (Sberdatabank), которое поощряет пользователей за передачу своих личных данных рекламодателям, пишут «Ведомости» со ссылкой на Ермакова.
В данный момент доступна только версия сервиса для Android. Сообщается, что SberData работает как блокировщик рекламы, однако вместо блокировки баннеров на сайтах сервис заменяет их на рекламу, которую у сервиса закупают другие рекламодатели.
В настройках SberData пользователи могут указать, какие именно персональные данные они разрешают передать рекламодателю – вплоть до переписки в мессенджерах (эта функция, впрочем, будет добавлена позже). Вознаграждение за передачу данных будет зависеть от количества переданной информации, средний размер составит 250-700 рублей в месяц, говорит Ермаков.
Сейчас вывести деньги в SberData можно на счет мобильного телефона, позже появится интеграция с платежными системами вроде PayPal и WebMoney, добавил разработчик.
При этом все данные пользователей хранятся и анализируются в обезличенном виде, уверяет Ермаков. Сами рекламодатели получат доступ к точно таргетированной аудитории – в будущем сервис запустит замену баннеров не только в браузере, как сейчас, но и в соцсетях, геосервисах и т.д., говорит автор SberData.
Скриншоты приложения SberData в Google Play
«Интернет-корпорации, такие как Facebook, Google и прочие, зарабатывают на рекламе, предоставляя данные пользователей рекламодателям и никак не делятся с потребителями этой прибылью. Более того, стоимость размещения рекламы включается в конечную цену продуктов и услуг, то есть ложится на плечи самих же покупателей. Получается, что мы с вами теряем деньги дважды каждый раз, когда смотрим рекламный ролик: первый раз из-за недополученной прибыли за использование личных данных; второй раз, когда делаем покупку в магазине, оплачивая маркетинговые расходы компаний», – цитирует слова Ермакова издание vc.ru.
По словам Ермакова, он не исключает, что появление SberData может вызвать возражения у части рекламодателей. В данный момент четкой стратегии по решению таких проблем у сервиса нет. «Не исключено, что мы предложим им делиться доходами – ведь доступ ко всем действиям пользователей позволит нам продавать рекладателям очень точно таргетированную аудиторию. Это может серьезно повысить стоимость рекламы, и площадкам может быть выгоднее работать с нами», – сказал Ермаков в разговоре с «Ведомостями».
По данным «Ведомостей», на создание сервиса было потрачено несколько сотен тысяч долларов из собственных средств Ермакова и его партнеров. В данный момент компания ведет переговоры с инвестиционными фондами о привлечении дополнительных средств для развития проекта и международной экспансии в страны Азии.
Сбербанк нашел разработчиков супермаркета данных
Содержание
Sberbank Huge Data Platform. Платформа по работе с данными Сбербанка
Бизнес задачи, решаемые Фабрикой Данных
Сбербанк выбрал разработчиков супермаркета данных
В конце октября 2019 года Сбербанк подвел итоги конкурса на разработку ПО для системы «Облако данных», а также процедур контроля качества данных. [1] Общая начальная стоимость контрактов составляла 280 млн рублей. По результатам проведенного тендера банк сократил эту сумму примерно на 8 млн руб.
Закупка состояла из трех лотов. Первый – это разработка процедур контроля качества данных систем «Облако данных» и «Аналитическое хранилище данных» (стоимость работ была оценена в 120 млн руб.). Второй и третий лоты были посвящены разработке соответственно back-end и front-end компонентов портала Супермаркета данных (60 и 100 млн руб.).
В рамках разработки процедур контроля качества данных исполнитель должен будет сформировать требования к качеству данных, в том числе, разработать критерии качества, показатели качества данных и методы их расчета. Кроме того, необходимо провести ИТ анализ требований к качеству данных с учетом архитектуры хранения данных, разработать алгоритмы и реализовать проверки качества данных. Также необходимо согласовать требования к качеству данных и проверок с бизнес-заказчиками и поставщиками данных.
Все работы необходимо будет выполнить до конца 2020 года.
2018: Первые результаты BigData-проекта
Эксперты «Сбербанк-Технологий» Борис Рабинович, Илья Поздняков и Валерий Выборнов в мае 2018 года подготовили для TAdviser статью о том, как банк хранит и использует быстрорастущие данные.
Потребности определяют решения
Для решения различных бизнес-задач данные в Сбербанке обрабатываются из сотни информационных систем. В банке давно обсуждается вопрос их более эффективного использования. Еще в 2011 году в Сбербанке появился проект по созданию хранилища данных на основе решения от Teradata, что позволило решить задачи по формированию управленческой, финансовой и регуляторной отчетности, индивидуальных предложений для клиентов и др.
Массовое проникновение интернета и растущая популярность социальных сетей открыли новые источники информации и, соответственно, новые возможности для использования данных. Если обогатить внутренние данные Сбербанка внешними, то, без сомнения, можно лучше понимать потребности клиентов, оптимизировать внутренние процессы и многое другое.
Архитектура хранилища данных на основе решения от Teradata не отвечала новым вызовам. В первую очередь, необходимо было обеспечить возможности для роста объемов данных на 10 Пб в год и реализации задач на основе Artificial Intelligence. Поэтому два года назад было принято решение изменить архитектуру хранилища данных. Для этого была запущена программа «Фабрика Данных», в рамках которой созданы системы «Облако Данных» и «Лаборатория Данных» на Hadoop.
Почему Hadoop?
Hadoop предлагает технологию, которая позволяет обрабатывать огромные объемы данных и оптимальна по соотношению цена/качество. Она используется крупнейшими мировыми компаниями: Barclays, Lloyds Banking Group, Citi, Deutsche Bank, Google, Amazon и т.д. По сути, это решение – конструктор, из которого можно строить хранилище данных под нужды бизнеса.
В новой архитектуре Сбербанка ключевыми требованиями к данной технологии стали: ежедневное инкрементальное обновление источников данных, создание единой интегрированной модели данных, прикладных бизнес-решений в «Облаке Данных», а также промышленная среда исполнения AI-моделей. В 2016 году разработка новой архитектуры была сложной и амбициозной задачей для всей команды «Фабрики данных», учитывая объемы данных, зрелость Hadoop и кадровый дефицит.
«Облако Данных» как площадка Сбербанка для работы с данными
В СберТехе созданием «Облака Данных» и «Лабораторией Данных» занимаются специалисты Центра Компетенции по Супермассивам Данных. «Облако Данных» – Big Data кластер под управлением Apache Hadoop на основе дистрибутива Cloudera – было создано всего за два года. В первую очередь, мы разработали основные инфраструктурные сервисы для решения задач по безопасности, аудиту, журналированию и др. Далее решили одну из ключевых задач «Фабрики Данных» – создали инструментарий для инкрементальной загрузки данных из высоконагруженных банковских систем в «Облако Данных», что позволяет загружать несколько десятков ТБ в сутки.
«Облако данных». Интеграция
Загрузка и поддержание в консистентном состоянии такого объема данных оказалось сложной технической задачей. Для ее решения при помощи инструментов экосистемы Hadoop (Apache Spark, Sqoop и других) разработан собственный продукт «репликатор Stork». Идея репликатора возникла на основе анализа трактов загрузки данных из различных источников. На текущий момент в «Облако данных» с помощью этого репликатора загружается более 30 ключевых систем банка.
Помимо загрузки данных из классических реляционных СУБД «Облако Данных» интегрируется с Платформой Поддержки Развития Бизнеса (ППРБ) – еще одной масштабной программой Сбербанка по созданию enterprise back office платформы нового поколения. В отличие от реляционных систем-источников, данные из ППРБ передаются в «Облако данных» непрерывным потоком. Для реализации такого потока была выбрана связка инструментов поточной обработки Apache Kafka и Spark Streaming.
Также данные попадают в «Облако» через загрузку обычных текстовых файлов из различных источников. Именно таким способом Big Data кластер обогащается из внешних источников.
По состоянию на май 2018 года «Облако данных» и потоки в него можно описать следующими параметрами:
На ежедневное обновление данных требуется около 6 часов, но мы стремимся прийти к обновлению, близкому к real-time.
Искусственный интеллект
AI-трансформация – одно из ключевых направлений по оптимизации процессов Сбербанка. Исторически AI и машинное обучение были развиты в блоке Риски. К 2018 году решения на основе AI используются практически во всех сферах работы Сбербанка. На начало года было запущено 259 AI-проектов. Ниже представлено несколько примеров моделей, созданных нами с коллегами из подразделений банка:
Полигон для исполнения моделей
Для запуска промышленных моделей в «Облаке данных» действует промышленная среда исполнения AI-моделей – «подсистема пакетного исполнения моделей» (ПИМ), а также созданы «библиотеки моделей машинного обучения». Взаимосвязь этих подсистем позволяет решать задачу выполнения моделей в промышленной среде на реальных данных с требуемым SLA. В ближайшем будущем вместе с другими инициативами Data Science-сообщества Сбербанка мы выведем моделирование в Сбербанке на качественно новый уровень.
До того, как стать промышленной, модель должна быть разработана и провалидирована. Для подобных исследований в «Фабрике данных» на базе Hadoop и Cloudera работает «Лаборатория Данных», где Data Scientist прогоняют модель через все этапы жизненного цикла. В «Лаборатории Данных» используется подмножество данных из «Облака» и других источников, достаточное для экспериментов. Там же разрабатываются и анализируются модели: какие данные есть и каково их качество, что будет при пересечении групп пользователей и т.д. Лаборатории принадлежит одно из ключевых мест в технологическом ландшафте Сбербанка. По сути – это исследовательский центр, в котором рождаются модели машинного обучения и системы искусственного интеллекта.
О будущем
Мы планируем развивать реализованные подсистемы «Облака Данных» и решать новые вопросы. Например, как обеспечить репликацию и доступ к данным в режиме near real time? Как правило, обработка изменений, поступающих в «Облако» от систем-источников, происходит периодически и большими порциями («пакетами»), и пока не произойдет очередной обработки, изменения из системы-источника не отразятся в облаке. Репликация и доступ в режиме near real timeпозволят сократить время между изменением в системе-источнике и отражением этого изменения в «Облаке» до нескольких минут. Также особый интерес для бизнеса представляют сверхбольшие графы. С их помощью можно эффективно решать многие задачи с помощью анализа графовых данных с миллиардами связей в интерактивном режиме, начиная от поиска аффилированных лиц и организаций, и заканчивая продуктовыми рекомендациями. Рабочий прототип мы уже создали, о дальнейшем развитии обязательно расскажем.
2016: Выбор подрядчика и старт внедрения
По итогам рассмотрения заявок победителем стала Teradata. В октябре 2016 года с компанией был заключен контракт на сумму 8,41 млн рублей.
Что именно покупает Сбербанк
Платформа Hadoop выбирается в качестве стандарта Сбербанка, говорится в тендерной документации.
Hadoop представляет собой свободно распространяемый набор ПО для разработки и выполнения распределенных программ, работающих на кластерах, состоящих из сотен и тысяч узлов. В системе предусмотрено дублирование на случай выхода из строя узлов, она поддерживает несколько рабочих копий данных. Работа Hadoop основана на принципе параллельной обработки данных, что позволяет увеличить скорость работы. Объемы обрабатываемой информации измеряются петабайтами. Платформа написана на языке Java.
Система, которую заказывает Сбербанк, должна удовлетворять требованиям к решениям, предъявляемым к классу задач Big Data, следует из ТЗ. В ее состав должны быть включены следующие open-source компоненты, осуществляющие хранение и обработку данных:
В рамках конкурса банк приобретает систему в объеме 61 узла с гарантийной поддержкой. Подрядная организация должна будет предоставить неисключительную лицензию на Hadoop на срок не менее одного года. Победитель заключит со Сбербанком рамочный лицензионный договор, при этом банк вправе определять объемы и сроки приобретения системы по своему усмотрению.
Зачем Сбербанку Hadoop
В рамках конкурса покупается только платформа Hadoop, реализующая методы распределения данных по вычислительным узлам, их параллельной обработки и сведения результатов. Всю логику работы и конкретные аналитические алгоритмы только предстоит разработать, замечает Владимир Дубинкин, руководитель отдела сетевых решений в компании IBS.
О преимуществах применения Hadoop в решении банковских задач представители Сбербанка рассказывают на профильных конференциях уже около трех лет, напомнил TAdviser Роман Баранов, руководитель направления бизнес-аналитики компании «Крок».
Функционал систем, создаваемых инструментами Hadoop, по мнению Баранова, может быть схож с тем, что реализуется с помощью Cloudera/MapR/HW, то есть решаются задачи кластеризации данных и выдачи оптимального предложения для клиента (Next Best Offer), которое формируется на основе таких характеристик как совершенная покупка, клиентский профиль и поведение похожих клиентов.
Также актуальными остаются задачи оценки кредитных рисков, оптимизации остатков кэша в отделениях и банкоматных сетях, прогнозирования отказов банкоматов и прочие, добавляет он.
Область банковского применения Hadoop крайне обширна и поддерживает такие ключевые направления, как формирование эффективной модели оценки индивидуальных клиентских и партнерских рисков, выявление мошеннических схем в транзакционных и биллинговых каналах, а также высокоточная сегментация всей клиентской базы для генерации наиболее целевых коммерческих предложений и оптимизации маркетинговых коммуникаций, рассказывает директор по маркетингу «Айкумен ИБС» Андрей Лысенко.
Помимо прикладного значения, кластеры Hadoop активно используются банковскими аналитиками для создания тестовой среды при исследовании новых типов данных, разнообразие которых растет в геометрической прогрессии, говорит он.
Ожидаемые сложности при развитии решений на базе Hadoop
При внедрении Hadoop банк может столкнуться с традиционным набором затруднений, возникающий при внедрении новых технологий, полагают в самом Сбербанке: это необходимость наращивания компетенций, встраивание новой технологии во внутренние процессы и интеграция с имеющимся ИТ-ландшафтом.
Технологически внедрение платформы Hadoop несложно и сводится к развертыванию стандартных модулей на серверах вычислительного кластера, отмечают опрошенные TAdviser эксперты. Тем более, что в данном случае речь идет не об open-source решении, а о системе конкретного производителя, сопровождающейся поддержкой вендора. Также предъявляются высокие требования к наличию учебных курсов и уже довольно большого числа сертифицированных специалистов в России.
Дубинкину из IBS основной сложностью видится последующая разработка программного обеспечения для решения аналитических задач Сбербанка, в том числе, оптимизация программного кода для эффективного использования аппаратных ресурсов платформы. Кроме того, задачи анализа больших объемов данных имеют свою специфику и требуют привлечения профильных специалистов, так называемых data scientist, которых пока в России крайне мало.
Пока Hadoop распространен довольно слабо, и число участников каждой конференции по большим данным это только подтверждает, добавляет Баранов из «Крок». Открытых инсталляций эксперт смог насчитать всего порядка 10.
Практика «Айкумен ИБС» определяет основные сложности развертывания в организации управления, апгрейда и мониторинга состояния Hadoop-кластеров, когда счет АПК идет на десятки машин. Например, открытый Cloudera Manager уже не позволяет эффективно контролировать систему из свыше 30 машин и требует дополнительных расходов в виде платного лицензирования, говорит Андрей Лысенко.
Множество Х: почему Сбербанку понадобился новый бренд
В Сбербанке создана дирекция по развитию экосистемы SberX, рассказал РБК первый зампред правления Сбербанка Лев Хасис. По его словам, новое подразделение сформировано вместо ранее существовавшей дирекции по развитию цифрового бизнеса.
SberX возглавит вице-президент Сбербанка Марк Завадский, сообщил Хасис: «Мы строим экосистему, ядром которой является Сбербанк. Основной задачей SberX станет координация комплексного развития экосистемы Сбербанка совместно с другими бизнес- и функциональными блоками банка, компаниями, входящими в группу Сбербанка, а также другими компаниями — партнерами банка».
В Сбербанке не прокомментировали, чем функционал новой дирекции по развитию экосистемы SberX будет отличаться от обязанностей дирекции по развитию цифрового бизнеса.
Марк Завадский до прихода в Сбербанк весной 2018 года руководил представительством компании Alibaba в России.
Три источника РБК, знакомых с разработкой концепции SberX, говорят, что она может стать основой для брендинга элементов экосистемы Сбербанка. «В рамках этой концепции Х может означать отдельные направления, например Sbercloud, SberData и т.д.», — описал эту концепцию один из источников РБК, отметив, что она уже реализуется на практике.
По словам источников РБК, концепция нового бренда подготовлена, но еще не утверждены объемы инвестиций в ее реализацию и продвижение.
Другой источник РБК в банке уточняет, что сейчас идут обсуждения, как Сбербанк будет брендировать нефинансовые сервисы, которые развиваются в рамках экосистемы. «Sber как бренд для экосистемы — это один из вариантов. То есть речь идет не о ребрендинге банка, а о создании бренда более высокого уровня, под которым будут развиваться новые проекты», — пояснил он.
В экосистему Сбербанка входит более 20 компаний по основным направлениям: электронная коммерция («Яндекс.Маркет»), медицина (DocDoc), телекоммуникации («Сбербанк Телеком»), облачные технологии (SberCloud), коммуникации (Dialog), идентификация (VisionLabs), лайфстайл («Фудплекс»), сервисы для оптимизации бизнес-процессов («Эвотор», «Интеркомп») и другие.
Все дальше от банка
11 декабря глава Сбербанка Герман Греф говорил, что Сбербанк все больше становится технологической компанией, поэтому из названия экосистемы может пропасть слово «банк», однако в финансовой части в соответствии с законодательством бренд сохранится. Год назад крупнейший госбанк утвердил новую стратегию, согласно которой он к 2020 году должен трансформироваться в универсальную технологическую компанию, конкурентами которой могут стать Google, Amazon и Alibaba.
Сбербанк через свою «дочку» Bi.Zone купил доменное имя sber.ru, писал ранее портал banki.ru со ссылкой на доменного инвестора Павла Гросса. В Сбербанке покупку домена подтвердили, а Гросс уточнил РБК, что банк купил домен еще полгода назад. За последний год Сбербанк зарегистрировал около 80 доменных страниц со словом sber — 20 из них были зарегистрированы в ноябре—декабре, свидетельствуют данные statonline.ru. «Все домены, приобретаемые банком, планируется использовать для развития деятельности банка и экосистемы», — пояснили РБК в банке.
Построение экосистемы — это диджитализация и повышение технологичности банковских услуг, а также заход с помощью новых технологий на рынок смежных нефинансовых услуг, говорит аналитик Moody’s Ольга Ульянова. «Развивать экосистему в том или ином виде — абсолютно важно сегодня для любого банка, особенно розничного, просто чтобы через несколько лет не остаться за бортом финансовой индустрии вообще», — утверждает она.
Для Сбербанка развитие экосистемы — чуть ли не единственный путь дальнейшего развития, уверена Ульянова. Простое расширение доли рынка для банка, уже и без того занимающего больше трети банковской системы по активам и около половины на большинстве розничных направлений, — это прежде всего нерационально экономически. Такое развитие ведет и к увеличению дисбалансов конкурентной среды в банковском секторе России. Развитие же экосистемы позволит Сбербанку не только захватывать не освоенные другими игроками небанковские ниши, но и придумывать и создавать новые. «Так что и экономика, и рынок, и, что важнее всего, потребитель только выигрывают от этой инициативы», — резюмирует она.
Сбербанк может реализовывать совместные проекты с разработчиками программного обеспечения и розничными гигантами, описывает возможные перспективы член экспертного совета по развитию экономики нового технологического поколения при комитете по экономической политике Госдумы Ани Асланян. Например, в России есть стартапы, которые могут на том же SberCloud предоставлять программное обеспечение для клиентов Сбербанка. Банк также мог бы начать открывать магазины без продавцов и касс в мини-формате в своем офисе совместно с крупнейшими ретейлерами — Х5 или «Метро Кэш энд Керри», предполагает Асланян.
С учетом объемов данных, развития цифровых технологий и компетенций в Сбербанке он может создавать коллаборации и проекты с кем угодно и в каких угодно отраслях, утверждает эксперт, добавляя, что по факту Сбербанк уже давно технологическая компания с банковской лицензией, а не банк.