R d lab додо пицца что это
AI-пицца: как мы использовали две рекуррентные нейросети
Тема нейросетей будоражит сердца разработчиков, учёных и маркетологов уже не первый год, а кого-то даже не первое десятилетие. Но все мы знаем, что частенько под проектами на основе нейронок прячется простая биг дата и маркетинговый булшит, раздутый на фоне кликбейтного заголовка. Мы постарались избежать такой истории и разработали проект нейропиццы, основанный на исследовании молекулярной сочетаемости ингредиентов, анализе 300 тыс. рецептов и чистого творчества. Под катом вы можете узнать детали и найти ссылку с открытым кодом на GitHub.
Может ли машина придумать что-то новое или она ограничена тем, что знает? Пока что никто не знает ответа на этот вопрос. Но уже сейчас искусственный интеллект отлично решает задачи анализа больших нестандартных данных.
Однажды в Dodo Pizza решили провести эксперимент: систематизировать и структурно описать то, что во всём мире считается хаотичным и субъективным – вкус. Искусственный интеллект, помог найти самые сумасшедшие сочетания ингредиентов, которые, несмотря на свою необычность, оказались вкусными для большинства людей.
Я и мой коллега выступили в качестве специалистов по нейросетям от МФТИ и Сколтеха в этом необычном проекте. Мы разработали и обучили нейросеть, способную решать задачу генерации кухонных рецептов. В ходе работы было проанализировано более 300 000 рецептов, а также результаты научных исследований на тему молекулярной сочетаемости ингредиентов. На основе этого ИИ научился находить неочевидные связи между ингредиентами и понимать, как они сочетаются между собой и как наличие каждого из них влияет на сочетаемость всех остальных.
Как мы попали в проект Dodo AI-pizza
Всё, как оно обычно бывает, произошло внезапно. Был период короткого тайм-аута перед летней практикой, мы только закончили курс по Deep Learning, защитили проект и пытались перестроиться на более спокойный ритм учебы/жизни. Но не смогли: случайно нарвались на репосты в личке запроса от BBDO о поиске ребят, способных написать нейросеть для генерации новых рецептов. Конкретнее: новых рецептов пиццы для Dodo. Не долго думая, мы решили, что хотим попробовать.
Когда проект только начинался, мы до конца не понимали, пойдёт ли это куда-то дальше, будет ли практическая реализация, нас просто заинтересовала задача. Много редбула и быстрого интернета помогали и двигали нас вперёд. Оглядываясь назад, мы понимаем, что некоторые вещи можно было сделать по-другому, но ведь это нормально.
В любом случае, через несколько недель рабочая модель нейросети была готова, наступил этап её запуска в продакшн. Нам очень повезло, что проект нельзя назвать индустриальным или техническим в строгом понимании этих слов. Ему больше подходит статус эксперимента.
С помощью нашей модели были сгенерированы разные варианты рецептов пиццы, которые мы передали в руки очень крутых поваров Dodo для запуска продуктовых тестов. Момент дегустирования пиццы в Dodo R&D Lab стал переломным в плане осознания ценности проделанной нами работы. Было очень захватывающе увидеть реализованный продукт. Ведь зачастую все разработки и решения – вещь довольно эфемерная, неосязаемая, а тут результат можно было не только потрогать, но и попробовать на вкус.
Первичный сбор датасета и перец чили
Для работы любой модели нужны данные. Поэтому для обучения нашего ИИ мы собрали 300 000 кулинарных рецептов со всех доступных источников. Для нас было важно собрать не только рецепты пицц, но как можно больше диверсифицировать выборку, стараясь при этом не выходить за рамки разумного (например, игнорировать рецепты коктейлей, понимая, что их семантика не будет сильно влиять на рецептурную семантику пиццы).
После сбора данных у нас получилось более 100 000 уникальных ингредиентов. Большой проблемой стало приведение их к одному виду. Но откуда вообще взялось столько наименований? Всё просто, например, перец чили в рецептах указывают так: chili, chilli, chiles, chillis. Для нас с вами очевидно, что это один и тот же перец, но нейросеть воспринимает разные написания, как отдельные сущности. Мы это исправили. После того, как мы почистили данные и привели их к одному виду, у нас осталась всего 1 000 позиций.
Анализ вкусов мира
После того, как мы получили готовый для работы датасет, мы провели первоначальный анализ. Сначала мы посмотрели, какие кухни мира представлены в нашем датасете в количественном соотношении.
Для каждой из кухонь мы определили самые популярные ингредиенты.
На этих графиках заметны отличия во вкусовых предпочтениях людей по странам. Ещё из этих предпочтений становится понятно, как люди из разных стран сочетают ингредиенты между собой.
Два вывода о пицце
После этого глобального анализа мы решили подробнее изучить рецепты пицц со всего мира, чтобы найти закономерности в их составлении. Вот такие выводы мы сделали:
Как мы проверяли модель
Найти реальные вкусовые сочетания – это не то же самое, что выявить сочетаемость молекул. У всех сыров похожий молекулярный состав, но это не значит, что удачные сочетания лежат только в области ближайших ингредиентов.
Однако мы должны увидеть именно сочетаемость похожих на молекулярном уровне ингредиентов, когда переведём всё в математику. Потому что похожие объекты (те же сыры) должны оставаться похожими, как бы мы их не описали. Так мы сможем определить, что описали эти объекты правильно.
Преобразование рецепта в математический вид
Чтобы представить рецепт в понятном для нейросети виде, мы использовали Skip-Gram Negative Sampling (SGNS) — алгоритм word2vec, который основан на встречаемости слов в контексте. Мы решили не использовать предобученные модели word2vec, потому что наш рецепт заведомо отличается по семантической структуре от простых текстов. При использовании таких моделей мы могли бы потерять важную информацию.
Можно оценить результат работы word2vec, посмотрев на ближайших семантических соседей. Например, вот что наша модель знает про сыр:
Для проверки того, насколько семантические модели могут уловить рецептурные взаимодействия ингредиентов, мы применили модель тематического моделирования для всех рецептов из выборки. То есть попытались разбить датасет рецептов на кластеры по математически выявленным закономерностям.
Зная заранее принадлежность некоторой выборки рецептов к различным реальным классам, полученным из данных, мы построили распределение принадлежности каждого реального класса к выявленным сгенерированным.
Самым явным оказался класс десертов, которые легли в тему 0 и 1, сгенерированную тематической моделью. В этих тематиках помимо десертов не лежат почти никакие другие классы, что говорит о том, что десерты легко отделились от других классов блюд. Также в каждой тематике есть класс, который описывает её лучше всего. Это значит, что наши модели хорошо справились с математическим описанием неочевидного смысла «вкуса».
Генерация рецептов
Для создания новых рецептов мы использовали две рекуррентных нейросети. Для этого мы предположили, что в общем пространстве рецептов существует подпространство, которое отвечает за рецепты пицц. Чтобы нейросеть научилась придумывать новые рецепты пицц, нам надо было найти это подпространство.
Такая задача по смыслу похожа на автокодирования изображений, когда мы представляем изображение в виде вектора небольшой размерности. В таком случае векторы могут содержать большое количество специфической информации об изображении.
Например, для распознавания лиц на фото, такие векторы могут хранить в отдельной ячейке информацию о цвете волос человека. Мы выбрали этот подход именно из-за уникальных свойств скрытого подпространства.
Чтобы выявить подпространство пицц, мы прогнали рецепты через две рекуррентные нейросети. Первая получала на вход рецепт пиццы и искала его представление в виде скрытого вектора. Вторая получала на вход скрытый вектор от первой нейросети и должна была предложить рецепт на его основе. Рецепты на входе первой нейросети и на выходе второй должны были совпадать.
Так две нейросети в формате энкод-декодинга учились правильно ретранслировать рецепт в скрытый (латентный) вектор и обратно. На основе этого мы смогли обнаружить скрытое подпространство, которое отвечает за всё множество рецептов пицц.
Молекулярная сочетаемость
Когда мы решили задачу создания рецепта пиццы, мы должны были добавить в модель критерий молекулярной сочетаемости. Для этого мы использовали результаты совместного исследования учёных из Кембриджа и нескольких университетов США.
В результате исследования было установлено, что лучше всего сочетаются ингредиенты с наибольшим количеством общих молекулярных пар. Поэтому при создании рецепта нейросеть отдавала предпочтение ингредиентам с похожей молекулярной структурой.
Результат и AI-пицца
В итоге наша нейросеть научилась успешно создавать рецепты пицц. С помощью регулировки коэффициентов, ИИ может выдавать как классические рецепты (типа Маргариты или Пепперони), так и сумасшедшие. Один такой крейзи рецепт лёг в основу первой в мире молекулярно идеальной пиццы из десяти ингредиентов: томатный соус, дыня, груша, цыплёнок, томаты Черри, тунец, мята, брокколи, сыр Моцарелла, мюсли. Лимитед эдишн даже можно было купить в одной из пиццерий Dodo. А вот ещё несколько занятных рецептов, которые вы можете попробовать приготовить дома:
Всё бы это было фигнёй, если бы мы не дали ссылки на самое интересное:
Как мы систему тайных покупателей Додо пиццы водим вокруг пальца
О том, как устроена система контроллинга, какие есть ошибки, и как деградируют франчайзи
Глава 1. Предыстория
Немного напишу о самой системе, в месяц на одну пиццерию проводится: 4 проверки зала ( если в пиццерии есть зал, иначе это проверка доставки), 4 проверки доставки 2 инспекции
инспекция, пожалуй, самая важная и интересная проверка. Тайнику нужно пройти чек-лист по самой кухне, сфотографировать сроки годности, товарное соседство и десятки других пунктов. Уже два года ( Из-за начала пандемии, и боязни запускать человека «с улицы на кухню») такой тип проверки Додо контроллинг скидывает на управляющего, и называется это самостоятельная проверка, ну вы понимаете, дают чек-лист и управляющий, либо менеджер должен сам пройти и сфотографировать все пункты, естественно это повлияло на пиццерии, когда ты сам контролируешь процесс, суть проверки улетучивается, и интимные моменты «улетучиваются» сразу нет просрочек, выполняются все стандартны компании, абсолютно пропал эффект неожиданного визита тайники на кухню
Глава 2. Как все работает.
Чтобы стать «тайником» нужно перейти на сайт додо контроллинга, там заполняем простую анкету, и вуаля, вы тайный покупатель. Обязательно нужно привязываться через vk, и ввести номер телефона, куда будут приходить бонусы. После этого мы можем выбрать пиццерию, и забронировать дату проверки и ее тип, повторюсь, инспекцию вы не возьмёте, т.к ковид.
2.1 Инспекции, в своё время делались так же, их брать было проще, т.к желающих идти на кухню меньше. Сейчас почти все результаты инспекции во всех пиццериях идеальные. Ссылку на гугл док отправлю во втором посте.
На протяжений двух лет, никто посторонний не заглядывает на кухню, все свои, управляющий делает «идеальную проверку» фотографирует то, что надо контроллингу, но в нужном «ракурсе» я знаю, что как минимум, несколько городов используют одни и те же фотографии в разные месяцы проверок, либо перекидают между собой одно фото, допустим, печатные материалы, которые приехали только в один город, но додо уже хочет их видеть, и может снять баллы (из-за низких баллов выписывают предписание, а позже пиццерию могу и закрыть)
Отчеты можно увидеть в ВК просто набрать по поискам групп «инспекторы Додо пиццы», выбрать группы за 2021 год и вы увидите идеальную картинку, все сотрудники в чистых поло, без единой группки. Фото одной из пиццерий.
С проверками доставок и ресторана картина другая, но результат все тот же.
Управляющий / менеджер знает, какой набор будут заказывать тайные покупатели на неделе. И просто ждут этот заказ, допустим, на этой неделе это была пицца 30см + сырники, согласитесь, довольно редкий набор, и из 200-300 заказов за день распознается на раз, ну и готовится, идеально, и маска будет у курьера по глаза.
Итог. Это первый пост из серии, дальше я разберу конкретно наш механизм, найду пиццерии, которые явно подделывают проверки, покажу что за кадром у «идеальных пиццерий». Список идеальных пиццерии ниже скинул, это средний балл за все проверки за несколько недель. Спасибо
Как «Додо Пицца» решает проблемы бизнеса с помощью машинного обучения
«Пиццерии будущего» появляются по всему миру. На фото – Zume Pizza из Калифорнии
В прекрасной России будущего вы зайдёте в пиццерию, посетите почтовое отделение или банк, возьмёте нужную вещь – и спокойно уйдёте. Не будет никаких очередей. Просто автоматическое списывание денег с вашего счета. При этом качество товаров значительно возрастет, ведь проверять их будут машины, а не человек.
Облачные решения в ближайшие годы изменят мир ритейла. VR, AR, видеоаналитика, нейросети – все эти технологии связаны с облаками и попадают в прямую зону ответственности VSaaS.
«Додо Пицца» – международная сеть пиццерий с интересной структурой прозрачности – открыты данные по прибылям и убыткам, а инвесторы могут в онлайн режиме следить за жизненно важными показателями пиццерий: выручкой, средним чеком, производительностью, расходами.
«Додо пицца» устанавливает видеонаблюдение в каждую пиццерию. Посмотреть трансляцию с камеры может не только Федор Овчинников, а любой человек на сайте «Додо». Видеонаблюдение – часть стратегии открытости и прозрачности «Додо». А еще это инструмент увеличения продаж.
Основа успеха «Додо» – стремление к автоматизации бизнес-процессов. С этой целью в компании создали облачную информационную систему «Додо ИС» и стали глобально менять подход к видеонаблюдению.
Для «Додо» всё началось с простого желания обеспечить порядок и показать клиентам процесс приготовления пиццы. В каждой пиццерии на кухне висит камера. Трансляция ведется через интернет и доступна к просмотру всем.
За последний год камеры в пиццериях из инструмента «живого присутствия», эволюционировали в инструмент сбора данных для видеоаналитики.
«Додо пицца» воспользовалась двумя сервисами, расширяющими возможности видеонаблюдения: платформой Dbrain и детектором очередей Ivideon.
Нейросети DBrain
CEO и соучредитель Dbrain – Дмитрий Мацкевич. Несколько лет назад он участвовал в создании чат-бота Icon8, мгновенно обрабатывающего фотографии с помощью нейронных сетей. Пользователь выбирает один из шести стилей, доступных для использования в боте – на старте проекта в 2016 году это удивляло.
Icon8 собрал 7,5 миллионов пользователей – самый популярный на тот момент проект в Telegram, удостоенный грантом от Павла Дурова.
Полученный опыт Дмитрий использовал в DBrain. Компания делает ставку на нейросети и добавляет к ним технологию распределенного реестра.
DBrain представляет собой блокчейн-платформу для совместной работы над созданием «слабого» ИИ. Обучение нейросети предполагает большой объем ручного труда при разметке данных – процесс дорогой и занимает много времени. Команда придумала, как снизить стоимость создания и повысить точность нейросетей: любой человек может за деньги стать «учителем» для нейросети.
Обучать сетку очень просто – смотрим на фотографию в приложении и отвечаем, кто же на ней изображен: лисичка, котик, собачка или комок шерсти. Возможно, это самая невероятная интерпретация игры «Корова делает МУУУ».
По запросу «Додо Пиццы» на DBrain разработали приложение на основе машинного обучения, которое контролирует качество приготовления пиццы. Приложение реализовано в виде Telegram-бота, оценивающего пиццу по фотографии. Бот самостоятельно даст оценку продукту от 0 до 10 по ключевому критерию — качеству теста.
Бот работает с армией тайных покупателей – это внутреннее сообщество «Додо пиццы», насчитывающее более 50 000 человек. Рейтинг качества пиццерий формируется на основе отчетов покупателей, которые еженедельно оценивают на соответствие стандартам почти 700 пицц. Добровольцы получают за работу Додо-рубли, которыми можно оплатить пиццу при следующем заказе.
Но где же тут видеонаблюдение?
Видеонаблюдение сокращает расходы и полностью автоматизирует работу по составлению рейтинга пиццерий. Для этого достаточно предоставить приложению от Dbrain видеоданные вместо фото. С помощью камеры программа успеет проверить не 2 пиццы в неделю, как обычный человек, а 300 в день – ровно всё, что выйдет из печи.
Нейросеть Dbrain сегментировала пиццу на 50 000 фотографиях и научилась искать изъяны в каждом сегменте. Например, если на краях пиццы сетка обнаружит маленькие вздутия, которые практически не заметны человеческому глазу, то сразу «поймёт» о плохом качестве теста. При этом сеть сравнивает каждую пиццу с «идеальной» моделью, созданной на основе данных, которые предоставили тайные покупатели и эксперты, профессионально занимающиеся оценкой качества пиццы.
Детектор очередей Ivideon
Компания Ivideon использовала машинное обучение для создания детектора очереди. Детекторов придумали уже превеликое множество, но все они не лишены недостатков. Люди в очереди не ведут себя как статичные геометрические фигуры. Люди переходят с места на место, нарушая работу внешних датчиков, становятся так, чтобы сливаться с фоном или друг с другом, и мешают камере различить объекты.
Машинное обучение позволило выделить из человека «главное» – голову. Считая по головам, удалось добиться практически 100% точности определения наличия человека в кадре. А дальше достаточно просто подсчитать количество людей и прислать менеджеру уведомление о возникновении очереди для мгновенной реакции.
Менеджер получает уведомление и решает открыть еще одну кассу. Или закрывает кассу, на которой скучает ненагруженный кассир.
Другая важная часть сервиса – статистика. Детектор считает количество людей в очереди, строит графики и диаграммы, характеризующие распределение покупателей по времени. С такими данными проще оптимизировать рабочий график персонала, оценить качество маркетинговой акции или выявить недостатки оформления витрины.
Отчеты формируются в формате CSV, данные также доступны в интерфейсе личного кабинета Ivideon. Из отчета можно узнать:
● проблемные зоны (с возможностью сравнения в рамках одного или нескольких заведений);
● пиковые нагрузки, длину и динамику образования очередей;
● видеоданные по каждому скоплению людей.
С данными отчета легко пойти дальше и строить прогнозы на дни и недели вперед. Теперь легко узнать, какие кассы, в какие часы получают максимальную и минимальную нагрузку.
Ivideon также обрабатывает данные из касс по чекам. Для этого систему управления очередью нужно дополнить бесплатным модулем интеграции с 1С. Из интерфейса 1С пользователь получает видеозаписи по любым системным событиям, например печать чека, складские операции (приемка, отгрузка), возвраты товара.
Оценка вложений
Затраты на проект с Dbrain «Додо» в открытых источниках пока не публикует. Даже если считать по максимальным затратам, решение все равно выглядит выгодным – нейросеть есть не просит и не претендует на бесплатную пиццу.
Затраты на детектор очередей видит любой пользователь сервиса Ivideon в личном кабинете – 800 рублей за одну камеру в месяц. В эту же сумму входит детектор движения, облачный архив (который сам по себе платный), возможность встроить трансляцию с камеры на свой сайт или поделиться видео в социальных сетях.
Для тех, кто и так использует облачный архив для хранения данных с камеры, подключение детектора выглядит очевидным шагом. С учетом периодических обновлений следует ожидать изменений, которые расширят функции сервиса. После детектора людей как объектов, очевидно, последует детектор лиц.
Бизнес в этой истории интересует прибыль. С «Додо» выводы делать рано, однако другая компания («Интерлогика») публикует такие цифры: общая стоимость внедрения системы детекции очередей, с учетом закупки камер (на объекте их не было), составила примерно 500 000 руб. Содержание системы обходится в 30 000 рублей в месяц. За счет роста качества работы и экономии на персонале (дополнительный продавец появляется только когда нужен) средняя выручка магазина увеличилась на 7%. Система окупится менее, чем за 1 год, а дальше начнет приносить прибыль.
Выводы
Камера – мелкофункциональный кусок пластика. Помогает наблюдать за сотрудниками, клиентами, товарами – тем самым меняет качество обслуживания. Но ничего больше, чем мигать огоньком и демонстрировать картинку, камера делать не умеет.
Еще 10-15 лет назад камера была похожа на версию охранной собаки с ограниченными возможностями здоровья – наблюдает за периметром, сигнализирует охраннику о нарушителях, помогает раскрывать преступления и на этом всё. С появлением видеоаналитики сама камера не изменилась, но ее возможности многократно расширились.
Отдельные тестовые проекты с видеоаналитикой запускают, кажется, все крупные игроки в России. «Сафмар Ритейл», владеющая 30% рынка потребительской электроники, делает ставку на блокчейн и дополненную реальность. Х5 Retail Group тестирует технологии сколковского резидента Intelligence Retail по мониторингу наличия товаров на полках магазина с применением машинного зрения и камер Ivideon. ФРИИ отдельно инвестирует в платформу для шопинга без очередей.
Малый и средний бизнес замер в ожидании своей участи.
Додо Пицца. Отчётность самой открытой из непубличных компаний. Мысли по IPO в 2024.
Dodo Brands намедни представила консолидированную отчётность по МСФО за 2020 год.
Всё по-взрослому, с аудиторским заключением от EY, что красноречиво говорит о желании компании всерьёз подготовиться к IPO (запланировано на 2024 год). Да и недавно созданный Совет Директоров, куда вошли известные независимые директора — тоже в актив компании. Поделюсь основными наблюдениями:
По отчётности
👉 Выручка всего 3 ярда руб, но быстро растёт (+24% к 2019 году)
👉 2 млрд выручки принёс франчайзинг, 1 млрд — собственные продажи.
👉 Компания по чистой прибыли остаётся убыточной (символический убыток в 78 млн за год).
Насколько я понимаю, убыток связан с большими вложениями в IT-платформу, колл-центр и прочие ноу-хау.
Это логичный и понятный шаг при желании создать технологичную компанию, которую легко будет масштабировать по франшизе. Тот же Озон 22 года подряд убыточен, и ничего — феерично взлетел на IPO.
👉 На конец 2020 года у Додо 679 точек продаж в 14 странах. Из них только 35 своих и 644 — франшизные. Рост к 2019 году +18%.
По акциям
Перспективы
👉 Компания тестирует два новых формата — Дринкит и Донер 42, которые, если будут выстроены на базе той же технологической платформе и не потребуют больших затрат на инфраструктуру, могут серьёзно увеличить обороты и маржинальность компании. Но пока это просто эксперименты.
👉 Компания недавно приняла решение покинуть рынок Китая, не выдержав конкуренции. Но активно развивает сеть в Великобритании.
👉 Смущает: выручка собственных точек — 1 млрд рублей. Делим на 35 точек — получаем 28,6 млн в год или 2,4 млн в месяц.
При этом если поделить выручку всех точек за март 2021 и поделить на 698 пиццерий- то получится 3,7 млн руб. Странно, что у них самих показатели хуже, чем у франчайзи. Понятно, что это «средняя температура по больнице», но разница существенная.
Короче, компания небезынтересная. Много вопросов, но и огромный потенциал. Тем интереснее будет наблюдать за развитием и будущим IPO.