Retail rocket что это
О Retail Rocket
О Retail Rocket
Retail Rocket — это команда инженеров, маркетологов, дизайнеров и менеджеров. Наш основной продукт — Retention Management Platform. Он помогает системно работать над удержанием клиентов, наращивая LTV и повторные продажи.
Платформа состоит из 4 модулей: Data Warehouse, AI Personalization Engine, Customer Intelligence Platform и Campaign Management Platform.
В основе всех модулей AI — он запускает товарные рекомендации на сайтах, в приложениях и рассылках, собирает и анализирует Big Data, сегментирует пользователей по интересам и другим характеристикам.
У нас три задачи: чтобы маркетологам было удобнее работать, выручка бизнеса росла, а пользователи покупали нужные товары и возвращались снова.
Как работаем
Прежде чем взяться за работу, анализируем, как можем помочь и сколько денег наши решения принесут клиенту.
Проверяем информацию и работаем только с достоверными фактами. Постоянно улучшаем наши продукты и процессы, чтобы эффективно решать клиентские задачи.
Выстраиваем доверительные отношения. Каждый в команде понимает свои задачи и ответственность, поэтому работает на результат.
Данные за 2020 год:
посетителей пользуются сайтами наших клиентов каждый месяц
событий в минуту обрабатывают наши сервера
серверов в экосистеме Retail Rocket
товаров продано на сайтах наших клиентов
нужно, чтобы создать Retail Rocket
на такую сумму наши клиенты продали товаров и услуг
Основатели
Более 12 лет работает в интернет-маркетинге. Выступает на конференциях по веб-аналитике и развитию продукта.
Руководит инженерной командой и отвечает за развитие продукта. Специализация — построение высоконагруженных систем.
Более 10 лет выстраивает системы Business Intelligence и рекомендательные сервисы для крупных российских e-commerce-компаний.
Написать с предложением или вопросом
Почту читают наши основатели.
Награды и публикации
Победа в номинации
«Вклад в развитие отрасли»
Победа в номинациях
«Инновации в email»
Победа в номинации
«Лояльность и конверсия»
Retail Rocket — лидер среди сервисов персонализации
Победа в номинации
«Автоматизация маркетинга»
Победа в номинации «Повышение лояльности и конверсии пользователей»
Типичные ошибки персонализированного маркетинга в e-commerce
i 21 млрд»>
Чувство алгоритма: как сервис рекомендаций принес клиентам i 21 млрд
7 способов увеличить retention и LTV с помощью персонализации коммуникаций
Контакты Retail Rocket
Штаб-квартира: Нидерланды
Laan van Vredenoord 33, 2289DA, Rijswijk, The Netherlands
Испания
Edificio K2M. C/ Jordi Girona, 1. Planta 2, 08034 Barcelona, Spain
Москва
125315, Москва, Ленинградский проспект, 74A, Россия
La Capitanía 80 Oficina 108, Las Condes, Santiago, Chile
Германия
Pappelallee 78 / 79, 10437, Berlin, Germany
Мы в социальных сетях
Исследования осуществляются при грантовой поддержке Фонда «Сколково»
Чувство алгоритма: как сервис рекомендаций принес клиентам ₽21 млрд
В России платформа автоматизированного маркетинга Retail Rocket вышла на операционную прибыль через восемь месяцев. А вот международная экспансия оказалась сложной задачей: открывать и закрывать некоторые офисы пришлось по несколько раз.
«Когда мне пришла идея создать сервис рекомендаций для интернет-магазинов, я оформил ее в виде презентации и показал моему одногруппнику по бизнес-школе RMA Андрею Чижу, — вспоминает 33-летний сооснователь Retail Rocket Николай Хлебинский. — Андрей предложил рассказать об этой идее директору по маркетингу «Яндекса» Андрею Себранту, который вел у нас занятия. Сказал, что готов участвовать в деле, если ему понравится. Себрант счел идею интересной и перспективной. Так мы и начали».
Сегодня платформу автоматизации маркетинга на основе «больших данных» Retail Rocket используют интернет-магазины в России и за рубежом: у компании есть представительства в Нидерландах, Германии, Испании и Чили. Среди клиентов «Ашан», Nespresso, Decathlon, модные ретейлеры Inditex Group и Tom Tailor. «В прошлом году объем дополнительных продаж, который мы сгенерировали для российских клиентов, составил более 21 млрд руб.», — делится Хлебинский. Но выход на западный рынок оказался непростой задачей: три месяца работы в США, например, оказались совершенно бесплодными. Зато в Латинской Америке компанию ждал успех.
Retail Rocket в цифрах
255,5 млн руб. — выручка за 2018 год*
80,4 млн руб. — чистая прибыль за 2018 год*
310,4 млн руб. — выручка за 2019 год*
74,8 млн руб. — чистая прибыль за 2019 год*
114 человек — количество сотрудников в России
23 человека — количество сотрудников в зарубежных представительствах
*показатели российского офиса
Источники: «СПАРК-Интерфакс», данные компании
Платформа Retail Rocket — это набор инструментов с единым интерфейсом для автоматизации маркетинга. На основе поведения пользователей на сайте (выбор товаров того или иного цвета, бренда, высокой или низкой стоимости, определенной категории — мужских, женских, детских и т.д.) система в реальном времени создает с помощью big data для каждого клиента персональную версию сайта с рекомендациями, которые могут быть ему интересны.
С помощью рекомендательного сервиса, персонализированных массовых рассылок, триггерных писем, SMS- и push-уведомлений платформа повышает конверсию и средний чек, решает проблему брошенной корзины и помогает возвращать пользователей, ушедших без покупки. Небольшие (до 250 заказов/мес., до 25 тыс. посетителей/мес. и 10 тыс. товаров в базе) и средние (до 500 заказов/мес., до 50 тыс. посетителей и до 30 тыс. товаров) интернет-магазины пользуются платформой по фиксированной цене: 1700 руб./мес. и 7100 руб./мес. соответственно. Для более крупных (от 500 заказов и 50 тыс. посетителей в месяц и от 15 тыс. товаров в базе) стоимость обговаривается индивидуально.
Внедрение платформы, по данным самой компании, способно увеличить продажи на 10–50% в зависимости от товарной категории. Например, для интернет-магазина одежды Tom Tailor специалисты Retail Rocket разработали стратегию, включавшую в себя e-mail рассылки с индивидуальными подборками товаров. Она помогла нарастить долю e-mail канала в общей выручке магазина с 10 до 20%. «Это хороший рост, — комментирует руководитель интернет-магазина Tom Tailor Елена Ложкина. — Нельзя сказать, что результат достигнут только благодаря Retail Rocket, но их вклад однозначно существенный. Конверсия по блокам рекомендаций выше, чем в среднем по сайту, что говорит об эффективности платформы».
Инструменты Retail Rocket положительно влияют на конверсию и средний чек, утверждает директор интернет-магазина инструментов «220 Вольт» Иван Кулик. «В рассылках механика «Персональные рекомендации» увеличивает конверсию на 24% по сравнению с ручной подборкой товаров, — делится он. — Механика «Cопутствующие товары» увеличивает средний чек на 11%. Отдельно можно выделить механику Next Best Offer, то есть предложение релевантных товаров после покупки. Она генерит порядка 7% оборота с e-mail канала. На сайте механика «Персональные рекомендации» увеличивает выручку с посетителя на 4% за счет роста среднего чека и конверсии, а «Похожие поисковые запросы» увеличивает конверсию на 8%». Также рекомендательные блоки в карточке товара и листинге позволяют переориентировать пользователя на более маржинальные покупки.
Сейчас доля заказов, оформленных с помощью рекомендаций Retail Rocket, составляет приблизительно 5,5%, продолжает Кулик. Он отмечает, что стоимость системы Retail Rocket сопоставима со стоимостью хорошего разработчика, но Retail Rocket предоставляет интернет-магазину в сопровождение личного менеджера. У системы есть и недостатки, отмечает директор «220 Вольт»: «Наша главная проблема — невозможность заложить проверку на технические параметры товаров: к примеру, чтобы к определенной модели перфоратора рекомендовались строго подходящие буры и сверла».
Директор по электронной коммерции Hoff Дмитрий Дворецкий сообщил, что интернет-гипермаркет сотрудничает с Retail Rocket с конца 2015 года. «Коллеги постоянно тестируют новые гипотезы для улучшения метрик всей воронки конверсий. За время нашего сотрудничества мы провели десятки таких тестов, которые принесли прирост оборота нашего интернет-магазина. У нас есть несколько собственных блоков рекомендаций на сайте, которые наполняются вручную, но мы одновременно используем и Retail Rocket. Это позволяет нам работать с различными логиками пути пользователя к конечной конверсии», — поясняет он.
Настоятельно вам рекомендую
Система рекомендаций — один из важных инструментов, позволяющий пользователям найти нужные товары на бесконечной виртуальной полке крупных интернет-магазинов и маркетплейсов, таких как Amazon или Alibaba. «В основе рекомендаций товаров на Ozon лежит система машинного обучения, которая учитывает не только информацию о самом товаре и том, что чаще всего покупают вместе с ним, но и предпочтения конкретного пользователя: историю заказов, поисковые запросы, просмотры и добавление товаров в избранное, — объясняет Анастасия Уткина, Product Owner сервиса рекомендаций и персонализации Ozon. — Родителям, которые приобретают подгузники и детское питание, система порекомендует игрушки, а спортсменам, заказывающим спортивное питание, — товары для фитнеса. В Ozon мы используем собственные алгоритмы: в случае использования стороннего сервиса необходимо было бы передавать данные третьим лицам, для чего требуется согласие самих клиентов площадки. Кроме того, собственная система дает больше возможностей для развития в длительной перспективе». Однако небольшим компаниям такие сервисы, как Retail Rocket, могут принести ощутимую пользу, признает Уткина.
«У Retail Rocket хорошие перспективы для развития»
Федор Вирин, сооснователь исследовательского агентства Data Insight
В России сегодня больше 100 тыс. интернет-магазинов — потенциальных клиентов Retail Rocket. Пандемия привела на этот рынок и новых покупателей, и ранее не присутствовавшие в онлайне офлайновые магазины. Собственные интернет-магазины появились и у тех брендов, которые раньше продавались на чужих площадках. Кроме того, пандемия привела активных покупателей к увеличению частоты покупок. Мы прогнозируем рост интернет-торговли в 2020 году на 44%, что на 10% выше прогноза конца 2019 года. Примерно такая же картина в других странах, где режим самоизоляции увеличил долю интернет-торговли в ретейле. Это позитивная для Retail Rocket тенденция.
Есть и негативная — рост маркетплейсов, которые перетягивают на себя значительную часть продаж других интернет-магазинов и тех же брендов. В целом, учитывая, что интернет-торговля сегодня занимает лишь малую часть ретейла и еще несколько лет будет бурно расти, у Retail Rocket хорошие перспективы для развития.
Retail Rocket — Retention Management Platform
Retention Management Platform
Помогает трансформировать новых покупателей в постоянных и работать над их удержанием
Что умеет
Сегментировать базу на основе умной математической модели
Системно работать над удержанием клиентов, наращивая LTV и повторные продажи
Помогает разрабатывать индивидуальные маркетинговые стратегии для любых сегментов
Модули Retention Management Platform
Campaign Management System
Увеличит выручку и повысит лояльность клиентов с помощью кроссканальных коммуникаций в email-рассылках, push и sms
Customer Intelligence Platform
Открывает возможности стратегического маркетинга на основе баз данных, чтобы LTV и прибыль росли
Data Warehouse
Объединит данные о клиентах из офлайн и онлайн-источников в одном месте и быстро создаст сегменты под любые задачи маркетинга
AI Personalization Engine
Знает, в какой момент, какое персональное предложение и через какой канал нужно сделать вашему клиенту
Отрасли
У нас более 1 000 клиентов по всему миру
В прошлом году мы принесли им более 34 352 379 223 i дополнительной выручки.
Выручка страницы поиска на сайте выросла
Товарный оборот на сайте вырос
Выручка email-кампании выросла
Выручка на сайте увеличилась
Уменьшили отток клиентов
Конверсия в email-рассылках увеличилась
Как оценивают Retention Management Platform
Раз в месяц клиенты оценивают нашу работу. А мы собираем оценки и считаем NPS — уровень удовлетворенности и готовность порекомендовать сервис своим друзьям и коллегам.
По данным NICE Satmetrix, для SaaS-компаний средний NPS — 31 пункт. Если показатель выше, значит большинство клиентов довольны. Если ниже, что-то плохо работает.
Отзывы
Мы бесконечно дорожим отношениями с нашими клиентами, поэтому могли доверить коммуникацию с ними только настоящим профессионалам. Специалисты Retail Rocket доказали, что умеют выстраивать долгосрочную стратегию, эффективно использовать разные каналы коммуникации и проверять различные гипотезы перед их внедрением.
Персональные товарные рекомендации — отличный инструмент для увеличения основных показателей массовых email-рассылок. Так как ассортимент интернет-магазина «220 Вольт» достаточно большой, очень сложно угодить каждому конкретному пользователю. Однако, рекомендации Retail Rocket отлично справляются со своей работой, что и видно из результатов A/B-теста.
Нам важно работать с надежным подрядчиком, мастером своего дела. «Эльдорадо» — важный магазин для российского рынка электроники, поэтому мы стремимся быть лучшими для наших покупателей. Retail Rocket помогает нам с этим в онлайн-пространстве.
руководитель департамента электронной коммерции «Эльдорадо» группы компаний «М.Видео-Эльдорадо»
Посмотрите, как работает Retention Management Platform
Оставьте заявку и мы свяжемся с вами. Покажем, как работают все модули и ответим на вопросы.
Мы можем приехать к вам в офис или пригласим к нам. Если не получается встретиться, проведём демонстрацию по видеосвязи.
Какой будет результат
Увеличите выручку, средний чек и LTV
В 1, 5 раза выросли заказы благодаря товарным рекомендациям на сайте и в рассылках
Поймёте, что происходит с клиентской базой
На 20% выросло количество лояльных клиентов за счёт комплексной работы в email-канале
Сможете выстраивать кампании на основе больших данных
Рост заказов из рассылки на 13,5% без вмешательства маркетолога
Сможете запускать кампании и настраивать сложные сегменты за пару кликов
Рост PRE (выручки на отправленное письмо) на 170% благодаря сегментации в рассылках
Будете тестировать десятки гипотез сразу с помощью нашей Growth Hack-команды
Growth Hacking в рассылках: проверили 82 гипотезы и получили рост конверсии до 38%
Будете показывать покупателям только нужные и интересные товары и услуги
Рост SKU в заказе на 25% благодаря товарным рекомендациям на сайте
Пишем о стратегическом маркетинге на основе Big Data
Как сегментация базы помогла снизить ДРР рекламных кампаний в два раза: кейс Cozy Home
Как персонализация мобильного приложения позволяет внедрить customer-centric подход: кейсы Hoff, СберМегаМаркет и Рив Гош
Как помогать клиенту с выбором и получать 18,5% дополнительной выручки с помощью онлайн-рекомендаций на сайте: кейс INTERTOP
Рассылка от Retail Rocket
Свежие инсайты о маркетинге и retention в вашем почтовом ящике
Контакты Retail Rocket
Штаб-квартира: Нидерланды
Laan van Vredenoord 33, 2289DA, Rijswijk, The Netherlands
Испания
Edificio K2M. C/ Jordi Girona, 1. Planta 2, 08034 Barcelona, Spain
Москва
125315, Москва, Ленинградский проспект, 74A, Россия
La Capitanía 80 Oficina 108, Las Condes, Santiago, Chile
Германия
Pappelallee 78 / 79, 10437, Berlin, Germany
Мы в социальных сетях
Исследования осуществляются при грантовой поддержке Фонда «Сколково»
Retail rocket что это
В данной статье, состоящей из трёх частей, мы поделимся нашим исследованием о метриках, на которые стоит ориентироваться для увеличения долгосрочной выручки онлайн-магазина.
Почему концепция Exception в C# — зло
В этой заметке я поделюсь наблюдениями о проблемах концепции exception в языке C#, именно о тех, которые возникают от самого факта наличия такой ее реализации. И оставлю “за скобками» проблемы, которые появляются от ее неправильного использования. Ниже я перечислю и опишу их.
Как построить четкие модели классов и получить реальные преимущества от UML. Часть 4
Пришло время посмотреть на тип модели классов UML, который можно встретить во множестве проектов. А ещё, увы, который часто поощряется в книгах по UML.
Как построить четкие модели классов и получить реальные преимущества от UML. Часть 3
В первых двух частях (1, 2) мы обсудили общий принципы UML, о семантике и признаках хорошей модели. В этой части добавим ещё кое-что про хорошие модели и перейдём к плохим.
Практики автоматического тестирования Retail Rocket
Как построить четкие модели классов и получить реальные преимущества от UML. Часть 2
Вторая часть перевода статьи Леона Старра, инженера программных моделей. Первая часть вот здесь. В этой части — о семантике и о том, что отличает хорошую модель.
Как построить четкие модели классов и получить реальные преимущества от UML
Мне показался близким подход Леона Старра к объяснению чётких моделей классов и описанию их преимуществ. Настолько, что мы в Retail Rocket решили сделать перевод его большой статьи «How To Build Articulated UML Class Models». Будем выкладывать по частям, под катом — первая из трёх.
Почему автоматическая регистрация зависимостей — зло
Есть много проектов типа Simple Injector для различных языков программирования, позволяющих по имени класса, интерфейса или неймспейса, а иногда и папки зарегистрировать класс или всю группу классов, объединенных этим признаком, в каком-то регистре. Это делается для цели автоматического инстанцирования объекта без явного указания его зависимостей. Такую регистрацию группы объектов по общему признаку в регистре с целью дальнейшего инстанцирования я называю автоматической регистрацией зависимостей.
Аудит и тестирование писем: на что стоит обращать внимание при верстке
Код не терпит халатного отношения, будь то сложные алгоритмы обработки данных или верстка email-рассылок.
Получив письмо от одного из крупных ритейлеров, наш руководитель отдела верстки заметил, что некоторые элементы располагаются неровно. Профессиональное чутье не позволило просто пойти мимо, и, поскольку магазин не входит в число наших клиентов, он решил проверить его по нашему процессу контроля качества верстки. О результатах и о том, как увидеть проблемы в отображении на стадии разработки рассылки, рассказывает руководитель отдела верстки Retail Rocket Илья Кастерин ikasterin.
Growth Hacking в Retail Rocket: от поиска гипотез до методики тестирования
Growth Hacking овеян множеством мифов. Одни считают его панацеей от всех бед, другие — чуть ли не шарлатанством. Недоверие подогревают кейсы с невероятными цифрами роста в десятки и сотни раз, которые пытаются бездумно копировать и не получая такого же роста объявляют подход неработающим.
Но для того, чтобы «взломать рост» компании недостаточно просто выделить команду и поставить им задачу искать точки роста. Growth Hacking — очень сложный процесс, который требует высокой экспертизы и четкой методологии.
С момента основания Retail Rocket взлом роста стал неотъемлемой частью работы компании. Более шести лет мы вырабатывали уникальную систему проведения тестирований и подборов алгоритмов. В том числе благодаря этой методологии, мы можем обеспечивать самый высокий показатель ROI на рынке. И сегодня мы хотим поделиться опытом использования Growth Hacking’а в ecommerce.
Как выдержать повышенные нагрузки на систему: рассказываем о масштабной подготовке к Черной Пятнице
В 2017 году во время Черной Пятницы нагрузки выросли почти в полтора раза, и наши сервера находились на пределе возможностей. За год количество клиентов значительно выросло, и стало понятно, что без тщательной предварительной подготовки платформа может просто не выдержать нагрузок 2018 года.
Цель поставили самую амбициозную из возможных: мы хотели быть полностью готовыми к любым, даже самым мощным, всплескам активности и начали заранее выводить новые мощности в течение года.
Наш CTO Андрей Чиж (chizh_andrey) рассказывает, как мы готовились к Черной Пятнице 2018, какие меры предприняли, чтобы избежать падений, и, конечно, же о результатах такой тщательной подготовки.
Нужен ли магазину «Стильный кросселл»: опыт Retail Rocket в анализе изображений для формирования рекомендаций
Интерес к анализу изображений для формирования рекомендаций растет с каждым днем. Мы решили разобраться, насколько реальные результаты приносит эта трендовая тема. Рассказываем о тестировании использования глубинного обучения (Deep Learning) для улучшения рекомендаций сопутствующих товаров.
В этой статье мы описываем опыт применения технологии анализа изображений для улучшения алгоритма сопутствующих товаров. Читать ее можно двумя способами: те, кто не интересуется техническими деталями использования нейронных сетей, могут пропустить главы про формирование датасета и реализацию решений и перейти сразу к AB-тестам и их результатам. А тем, кто имеет базовое представление о таких понятиях как эмбендинги, слой нейронной сети и т.д., будет интересен весь материал целиком.
Как мы нашли критичную уязвимость AspNetCore.Mvc и перешли на собственную сериализацию
В этой статье мы хотим поделиться нашим опытом в оптимизации производительности и исследовании особенностей AspNetCore.Mvc.
Предыстория
Несколько лет назад на одном из наших нагруженных сервисов мы заметили существенное потребление ресурсов CPU. Это выглядело странно, так как задачей сервиса было фактически взять сообщение и переложить его в очередь, предварительно произведя над ним некоторые операции, такие как валидация, дополнение данными, и т.п.
В результате профилирования мы обнаружили, что большую часть процессорного времени “съедает” десериализация. Мы выкинули стандартный сериализатор и написали свой на Jil, в результате чего потребление ресурсов снизилось в разы. Все работало как нужно и мы успели об этом позабыть.
Как писать функциональные требования
Сегодня мы хотим рассказать о том, как наша продуктовая команда подходит к подготовке функциональных требований для разработчиков при создании новых продуктов и фич.
На этапе разработки может возникнуть много неожиданностей, особенно если не четко описать задачу. Разработку и функционирование одной и той же фичи разные участники команды могут понимать по-разному, поэтому продакт-менеджеры отвечают за создание продукта от разработки концепции до окончательного релиза. И важная часть этого процесса — подготовка функциональных требований.
И снова мы приоткрываем дверь «за кулисы» проекта Retail Rocket. Запуская инженерный блог, мы обещали рассказывать о подходах, используемых в области анализа данных, и разработки технологий, которые позволяют создавать самую популярную на рынке ecommerce платформу персонализации.
В начале этого года перед нами встала задача оборудовать еще несколько рабочих мест для разработчиков, мы решили поработать над существующей производительностью и подобрали новые комплектующие.
Как обмен данными влияет на качество рекомендаций
Мы уделяем особенное внимание проверке интеграции при подключении нового клиента к платформе и постоянно отслеживаем статус интеграции в процессе работы. Почему это критически важно? Потому что сбор данных — основа формирования качественных рекомендаций.
Работа рекомендательной системы строится на нескольких важных составляющих: сбор данных, их хранение, обработка, выдача рекомендаций и growth hacking. Плюс «железо» для обеспечения вычислительных мощностей алгоритмов и процесс верстки. Таким образом мы получаем как минимум 7 пунктов, от которых зависит качество рекомендаций, не говоря уже о дорогой команде аналитиков. Как внешний сервис, так и внутренняя система рекомендаций интернет-магазина, должны охватывать все эти пункты и качественно обеспечивать работу на всех этапах.
Как принципы игры «Playing Lean» помогают в создании продуктов
О геймификации говорят много и часто, но далеко не всегда у компаний получается применить полученные в играх знания на практике. Мы в Retail Rocket считаем, что обучение через игру помогает гораздо лучше понять особенности различных процессов и учитывать этот опыт при работе над проектами.
Сегодня мы хотим рассказать, как игра «Playing Lean» помогает не только погрузиться в методологию бережливого производства, но и применить этот опыт на практике — в разработке продуктов и новых фич.
10 материалов RecSys о рекомендательных системах, которые должен прочитать каждый
Привет, Хабр! Сегодня мы хотим поделиться с сообществом подборкой лучших материалов конференции ACM Recommender Systems (RecSys), которые обязательно нужно прочитать каждому специалисту, который занимается рекомендательными системами.
10 уроков рекомендательной системы Quora
Привет, Хабр! Как директор по аналитике Retail Rocket, я периодически посещаю различные профильные мероприятия, и в сентябре 2016 года мне посчастливилось побывать на конференции RecSys, посвященной рекомендательным системам, в Бостоне. Было очень много интересных докладов, но мы решили сделать перевод одного из них Lessons Learned from Building Real-Life Recommender Systems. Он очень интересен с позиции того, как Machine Learning применять в production системах. Про сам ML написано множество статей: алгоритмы, практика применения, конкурсы Kaggle. Но вывод алгоритмов в production — это отдельная и большая работа. Скажу по секрету, разработка алгоритма занимает всего 10%-20% времени, а вывод его в бой все 80-90%. Здесь появляется множество ограничений: какие данные где обрабатывать (в онлайне или оффлайне), время обучения модели, время применения модели на серверах в онлайне и т.д. Критически важным аспектом также является выбор оффлайн/онлайн метрик и их корреляция. На этой же конференции мы делали похожий доклад Hypothesis Testing: How to Eliminate Ideas as Soon as Possible, но выбрали вышеупомянутый учебный доклад от Quora, т.к. он менее специфичный и его можно применять за пределами рекомендательных систем.
9 советов по увеличению эффективности парного программирования
Привет, Хабр! В своей работе мы используем парное программирование и сегодня хотим поделиться с сообществом советами, которые помогают нам повысить эффективность этого метода.
При парном программировании два программиста решают задачу совместными усилиями, сидя плечом друг к другу за одним компьютером. Первый выступает «водителем», который печатает код на клавиатуре, а второй служит «штурманом» — он следит за тем, чтобы в программе не было ошибок, занимается архитектурой кода, планирует последовательность действий и думает о правильности кодирования в стратегическом масштабе. Такой способ разработки позволяет поддерживать более высокую концентрацию, стимулирует тщательно продумывать решение еще до его реализации и значительно снижает количество ошибок и повышает качество кода.