Sota state of the art что это
#1 Art-tech collaboration project | State of the Art | SOTA
Уважаемое Хабр сообщество,
Я студент Чешского технического университета в Праге. И с самого детства меня интересует слияние технологий и искусства. Сейчас я стремлюсь устранить границы между искусством и инженерией, чтобы стимулировать творчество и инновации.
В последние годы я организовываю мероприятия по преодолению социальных барьеров между иностранным и коренным населением Чешской Республики, начиная от лекций на различные темы, заканчивая многоязычными концертами и концептуальными художественными проектами, в которых принимают участие до 30 художников.
State of the Art | Project
Пару лет назад мне пришла в голову идея гибридного фестиваля современного высокотехнологичного искусства и кросс-индустриального взаимодействия, который объединил бы технологии, различные типы мышления и опыта, а также способности разных людей создавать арт-инсталляции. В этом проекте я хочу объединить людей из сферы образования, науки, бизнеса и культуры.
Основной целью проекта, я определяю, стимуляцию кооперации технологически-образованных сообществ на локальном и глобальном уровне для повышения процента населения городов, вовлеченных в соврменный технологический и научный дискурсс.
В ходе этого проекта я хотел бы объединить хакерские пространства по всему миру и сообщества в одно движение по популяризации науки и техники, поощряя граждан присоединиться к крафтингу и хакерству. На одном из этапов, произойдет интеграция с городскими некоммерческими организациями, которые занимаются курированием хосписов, домов престарелых и детских домов.
Очевидно, что у межотраслевого сотрудничества и обмена знаниями есть будущее, которое будет развиваться в новых формах, в том числе продолжая интеграцию новых технологий в повседневную жизнь не только путем продуктов потребления, но и путем общих инструментов исследования проектирования и производства.
В своём блоге на Хабре я буду делиться тем, как развивается проект, с какими трудностями я сталкиваюсь и как их преодолеваю.
Некоторые из моих созданных и актуальных проектов:
«Belhack», Прага, Brmlab — это хакатон по поиску решений для помощи людям, пострадавшим от полицейского насилия в Беларуси, а также людям, пострадавшим в результате взрыва в морском порту в августе 2020 года в Ливане. Прага, Brmlab.
EXAM — State-of-the-art метод классификации текста
Классификация текста — одна из наиболее распространенных задач в NLP и обучении с учителем, когда датасет содержит текстовые документы, а метки используются для тренировки текстового классификатора.
С точки зрения NLP, задача классификация текста решается путем обучения представления на уровне слов с использованием встраивания слов и последующего обучения представления на уровне текста, используемого в качестве функции для классификации.
Тип методов, основанных на кодировании, игнорирует мелкие детали и ключи для классификации (поскольку общее представление на уровне текста изучается путем сжатия представлений на уровне слов).
Методы для классификации текста с сопоставлением на уровне текста, основанные на кодировании
EXAM — новый метод классификации текста
Исследователи из Университета Шаньдун и Национального университета Сингапура предложили новую модель классификации текста, которая включает сигналы сопоставления на уровне слов в задачу классификации текста. В их методе используется механизм взаимодействия для введения в процесс классификации детальных подсказок на уровне слов.
Чтобы решить проблему включения более точных сигналов сопоставления на уровне слов, исследователи предложили явно вычислить оценки соответствия между словами и классами.
Основная идея состоит в том, чтобы вычислить матрицу взаимодействия из представления на уровне слов, которая будет нести соответствующие ключи на уровне слов. Каждая запись в этой матрице — оценка соответствия между словом и конкретным классом.
Предлагаемая структура для классификации текста, названная EXAM — EXplicit interAction Model (GitHub), содержит три основных компонента:
Архитектура EXAM
В прошлом, кодировщики на уровне слов широко исследовались в сообществе NLP, появились очень мощные кодировщики. Авторы используют соверменный метод в качестве кодировщика на уровне слов, и в своей работе они подробно описывают два других компонента своей архитектуры: уровень взаимодействия и агрегации.
Слой взаимодействия, основной вклад и новизна в предлагаемом методе основаны на хорошо известном механизме взаимодействия. Исследователи используют обучаемую матрицу представлений для кодирования каждого из классов, чтобы позже иметь возможность вычислять оценки взаимодействия между классами. Окончательные оценки проставляются с использованием точечного произведения в качестве функции взаимодействия между целевым словом и каждым классом. Более сложные функции не рассматривались из-за увеличения сложности вычислений.
Визуализация работы слоя
Наконец, в качестве слоя агрегации они используют простой полносвязный двухслойный MLP. Они также упоминают, что здесь можно использовать более сложный уровень агрегации, включающий CNN или LSTM. MLP используется для вычисления окончательных классификационных логитов с использованием матрицы взаимодействия и кодировок на уровне слов. Кросс-энтропия используется как функция потерь для оптимизации.
Оценки
Чтобы оценить предложенную фреймворк для классификации текста, исследователи провели обширные эксперименты как в мультиклассовых, так и в мультитеговых условиях. Они показывают, что их метод значительно превосходит современные соответствующие современные методы.
Статистика используемых датасетов для оценки
Для оценки они устанавливают три различных базовых типа моделей:
Выводы
Эта работа является важным вкладом в области обработки естественного языка (NLP). Это первая работа, которая вводит более точные подсказки соответствия на уровне слов в классификацию текста в модели глубоких нейронных сетей. Предложенная модель обеспечивает state-of-the-art показатели для нескольких наборов данных.
State-of-the-art мышления: вероятностное, коннективистское.
Можно сильно поднять скорость и качество (то есть доступность и полезность) этих вычислений, если переложить их на вычислительные ускорители. Раньше этого было нельзя сделать, ибо не было самих ускорителей. Теперь во всех roadmap вероятностных языков и пакетов стохастических алгоритмов стоит «адаптировать для использования с GPU».
Это я продолжаю линию вчерашнего поста про «гармонией алгебру поверить» (https://ailev.livejournal.com/1383892.html), где «гармония» я применил просто для красного словца, чтобы подчеркнуть противопоставление «компьютера» как воплощения дискретной математики (алгебры, в том числе булевой алгебры) и «компьютера» как вероятностного вычислителя.
Уже прошло 17% двадцать первого века. Для меня было большим удивлением узнать, что фундаментальные работы E.T.Jaynes по байесовскому выводу как логике науки (см. «логические основания рационального мышления», http://ailev.livejournal.com/1311261.html) относительно свежи: выход его книги «Теория вероятности: логика науки» был в 1995 году.
Не всё так драматично, конечно. Булеву алгебру как алгебру логики никто не отменял (это ж просто частный случай байесианства), как никто не отменял законы Ньютона со становлением Стандартной Модели. Проблемы в том, что булева логика и законы Ньютона применимы отнюдь не ко всем ситуациям. В самых интересных случаях они врут. И нужно чётко знать, что в этом случае делать: учить матчасть, в двадцать первом веке она успела измениться, в ней много новенького.
Machine Learning: State of the art
В 2015 году в мир искусства вошло новое слово: «инцепционизм» (inceptionism). Машины научились перерисовывать картины, а уже в 2016 Prisma скачали миллионы людей. Сегодня мы поговорим об искусстве, машинном обучении и искусственном интеллекте с Иваном Ямщиковым, автором нашумевшей «Нейронной Обороны».
Знакомьтесь: Иван Ямщиков. Получил PhD по прикладной математике в Бранденбургском Технологическом университете (Котбус, Германия). На данный момент — научный сотрудник Института Макса Планка (Лейпциг, Германия) и аналитик/консультант Яндекса.
— Neurona, Нейронная оборона и Пианола — как началось столь серьезное увлечение творческим ИИ? В какой момент Вы решили действительно всерьез заниматься этой темой?
Иван Ямщиков: Я бы не стал называть это серьезным увлечением творческим искусственным интеллектом. Просто однажды Алексей Тихонов поделился своими идеями по нейро-поэту, и летом 2016 мы вместе решили записать альбом «Нейронной обороны». С тех пор стало понятно, что область существенно шире, и сейчас я занимаюсь темой искусственного интеллекта на постоянной основе.
Это невероятно интересная тема и именно сейчас она находится в движении: в истории ИИ было несколько «зим», периодов разочарования от неоправданных и завышенных ожиданий; сейчас уже третий период чрезвычайного интереса к ИИ и, возможно, что мы скоро вновь столкнемся со схожей проблемой. Несмотря на это, есть действительно качественный скачок в работе многих систем: машинный перевод, системы агрегации, автономные системы.
— Идея совместить матмодели и музыку/живопись не нова, но почему подход выстрелил именно сейчас?
Иван Ямщиков: Это, пожалуй, одна из моих любимых тем: когда в 90-е годы вы играли в шутеры, вы неосознанно помогали развитию ИИ.
Видеокарты (GPU) апргейдились для развития графических интерфейсов и игр, но в какой-то момент люди разобрались, что их можно использовать для параллельных вычислений, появилась CUDA. Изначально, в научной сфере в гидрогазодинамике, где ряд моделей можно хорошо обсчитывать на графической карте, подобный расчет на CPU вышел бы в несколько раз дороже. А через несколько лет выяснилось, что нейронные сети тоже отлично параллелизуются и обучаются с использованием графических карт. И этот бум развития научных вычислений позволил создавать нейронные сети таких размеров, которые раньше были недоступны.
Определенную роль также сыграли облачные вычисления: сейчас даже не обязательно покупать GPU, его можно взять в аренду; таким же образом можно арендовать нужное количество CPU. Это снизило порог вхождения, а в технологиях всегда так: когда порог ниже — результаты появляются существенно быстрее.
Что касается живописи, ключевая статья здесь — Neural Artistic Style, написанная исследователями из Тюбингена. В результате экспериментов выяснилось, что на одном из слоев нейронной сети собрались признаки, отвечающие за стиль (как нарисовано), а на другом — за семантику (что находится — содержание). Из этой статьи родилось известное приложение Prisma.
А мы решили заниматься музыкой, потому что любим литературу и поэзию. А Егора Летова выбрали, потому что любим его и нам хотелось попробовать сымитировать его стиль. В общем, это исключительно эстетические предпочтения.
В целом, работа с музыкой куда более прагматичная, чем с текстом: когда ты работаешь со словарем, то в основе его лежит one-hot encoding (все слова нумеруются, и i-ое слово — это вектор, где на i-ой позиции стоит 1, а не всех остальных — 0). После обработки набора документов получается пространство очень большой размерности. Далее размерность искусственно снижается с помощью ряда методов, например, word2vec (https://ru.wikipedia.org/wiki/Word2vec; https://habrahabr.ru/post/249215/).
Так или иначе, мы говорим о пространстве размерности в несколько сотен, а не трех- или четырехмерном. Обычно с пространством такой размерности тяжело работать: одни области имеют высокую плотность данных, а другие, наоборот, слишком разреженные — структура получатся очень сложной. А если мы говорим о музыке и берем ноты, то каждая нота — это комбинация октавы и ноты; 12 нот (с диезами/бемолями) в октаве и 4-5 октав. И с этой точки зрения у этого пространства куда более низкая размерность.
А если подходить к мелодии в целом, можно отмасштабировать данные так, что пространство параметров будет плотным: будет мало лакун. Когда мы экспериментировали с нейросетями для разных типов данных, мы обнаружили, что указанное свойство музыки позволяет лучше и быстрее понимать, работает вообще обучаемая модель или нет, так что это было прагматичным решением.
— С чего лучше всего начать техническому человеку знакомство с творческим ИИ, есть по этой теме хорошие ресурсы, курсы, лекции?
Курсов по творческому ИИ как таковому еще нет — сама тема лежит на пересечении науки и искусства; и большинство вопросов тут, на стыке, открытые.
Что действительно рекомендую посмотреть и на что потратить время — так это на курсы по машинному обучению (cм. выше), в том числе и глубокому.
— Многие говорят, что современные методы машинного обучения всего лишь копируют куски из уже созданных произведений и комбинируют их согласно найденным канонам, было ли что-то такое, что действительно удивило Вас в произведениях, созданных ИИ?
Иван Ямщиков: В целом это, конечно, разумная и оправданная критика, но у меня на нее есть два контраргумента: технический и философский.
Начнем с технического. Раньше мы не умели и этого — а теперь научились. И то, что мы сейчас можем технически создать такие штуки — уже прорыв. Может быть, не с точки зрения искусствоведения, но с чисто технической — точно.
С философской стороны: постмодернист делает то же самое. И если мы живем в эпоху постмодернизма, то фактически любой автор в некотором смысле копирует, имитирует или вдохновляется опытом. И в целом, если рассмотреть проблему обучения (конечно, не для всего есть полностью формализованный мат. аппарат), то это преобразование потока информации в знания. А знания — это отфильтрованная, организованная и ранжированная определенным образом информация. И если посмотреть глубже, то в основе любого обучения, в том числе и человеческого, лежит опыт, скомбинированный и преобразованный. И кажется, что получилось что-то новое, но в реальности оно вытекает из комбинации опыта, полученного ранее.
Что касается удививших вещей. У меня есть любимая строчка из Нейроны (Neurona): «The God who’s always welcome to Iraq» (Бог, которому всегда рады в Ираке) — совершенно неожиданная строчка.
Есть в психологии такой термин: апофения — способность находить закономерности там, где их нет. В этом смысле творчество машин сейчас, конечно, апеллирует к апофении: чем сильнее в человеке это свойство, тем интереснее ему машинное творчество.
— Продолжая предыдущий вопрос: в матче AlphaGo vs. Le Sedol AlphaGo сыграла на 5-ой линии — ход, который бы ни один человек не сделал (что вызвало бурю в ГО сообществе) — какие есть примеры в созданных произведениях чего-то явно не присущего человеческому стилю?
Иван Ямщиков: Человеку доступен огромный массив данных: тактильные и вкусовые ощущения, запахи, и многие другие. И это огромный опыт, доступный человеку, в некотором смысле определяет сознание. У машин такого объема нет и, соответственно, их бытие куда менее разнообразное и интересное, чем у человека. Как результат тексты, написанные машиной, радикально отличаются от написанных человеком.
Фундаментальные вопросы здесь: поняли ли мы принцип, по-которому человек создает тексты. И тут в научном сообществе нет однозначного и четкого ответа. Задача о генерации дискретных последовательностей, будь то текст или музыка, — это открытый вопрос, на самой границе научного знания, и над ним бьются сейчас разные люди по всему миру.
— Ряд технических экспертов называет одной из проблем оценки работы творческого ИИ отсутствие объективных критериев качества работы: а как вообще люди оценивают качество сгенерированной музыки и нарисованных с помощью нейросетей картин?
Иван Ямщиков: Мне очень нравится этот вопрос, и если у вас есть идеи — приходите, вместе напишем статью. Я не шучу.
Сейчас рабочий критерий проверки качества основан на коллективной оценке людьми. Нейронную оборону прослушали 400 тысяч человек в первую неделю, и на основе распределения оценок и комментариев можно оценить, сильно ли это понравилось людям и насколько похожим это получилось.
Если говорить подробнее, то технически можно рассмотреть два случая: обучение с учителем и без. В первом случае у нас есть ответы — размеченные людьми или проверенные ранее, на которые алгоритм пытается ориентироваться, а во втором их нет. Если ответы есть, то для каждой конкретной задачи можно ввести некоторую метрику похожести на ответ и объективно измерить, что же получилось. А если их нет, то совершенно неочевидно, как такую метрику вводить.
— Чрезвычайно интересно, как именно были сгенерированы тексты Нейронной обороны? Можно ли интуитивно рассказать о мат. аппарате генератора?
Дальше на вход подаем автора и говорим: «Давай как этот автор». И мы подали на вход Егора Летова. Подробнее я расскажу об этом на конференции SmartData 2017, где раскрою много деталей.
Когда мы генерировали английские тексты для Neurona, поэтические эвристики уже не использовали. Леша Тихонов предложил включить в латентное пространство признаков, которое формируется внутри нейросети, фонетику слов, и алгоритм сам «понял», что можно рифмовать и как.
— ИИ уже играет в покер и ГО, перерисовывает картины и видео, пишет музыку и стихи: что же дальше? Какая следующая непокоренная вершина для творческого ИИ?
Иван Ямщиков: Уже есть и короткометражка, снятая по сюжету, созданному RNN. К сожалению, она довольно посредственная. Люди пока еще не умеют «объяснять» нейросети концепцию сюжета.
А вот с точки красивых приложений все ограничивается фантазией автора. Сейчас мне кажется наиболее перспективной возможность интерактива с сетью, то есть создания объектов, взаимодействующих со зрителем/слушателем.
В некотором смысле компьютерные игры — искусство будущего. Находясь в игре, ты проживаешь историю по-разному, т.е. опыт индивидуален. Подобная интерактивность в искусстве — это следующий шаг.
Например, когда ты слушаешь музыку, а она звучит как живой концерт и с певцом/группой/музыкой можно взаимодействовать. Простой пример: Яндекс.Музыка или Spotify могут подстраивать ритм и музыку под настроение или специально подбирать треки для, к примеру, занятия спортом.
Если вспомнить живые фотографии от Apple — это, по сути, несколько вариантов кадра. Соответственно, можно предположить, что когда музыкант будет записывать альбом, он в некоторым смысле запишет несколько версий или вариаций композиции в некоторых границах. И тогда трек сможет подстраиваться под настроение слушателя, ориентируясь на какие-то внешние данные. Аналогия здесь довольно простая — если сесть с друзьями и исполнить песню под гитару, то в зависимости от настроения одна и та же песня выйдет по-разному, но это будет одна и та же песня. Я уверен, что что-то похожее можно уже сейчас реализовать технологически и в музыке.
— Сейчас одна из самых популярных тем для обсуждения — это работа в паре машина + человек, такие игры проводятся на шахматных и ГО турнирах. Есть ли какие-то интересные примеры работы в паре человек + машина в искусстве?
Иван Ямщиков: В целом, это уже происходит: человек уже создает музыку на компьютере. Периодически обсуждаю эту тему с, так скажем, скептиками, которые обеспокоены тем, что роботы заменят людей, и рисуют апокалиптические сценарии. Я пытаюсь всех успокоить и привожу вот такой аргумент. Обычно мы создаем машину, чтобы делать то, что мы делаем плохо. Когда нужно создать машину, которая хорошо копает землю, мы создаем не огромного человека с лопатой, а экскаватор, который копает землю куда лучше, чем этот огромный человек.
Есть такая когнитивная ловушка: когда мы говорим про искусственный интеллект, мы думаем, что он будет похож на человеческий — то есть как наш, только больше!
К примеру, когда в начале XIX века фантасты пытались придумать будущее, в нем был гигантский дирижабль, а не самолет. В целом, человек легко предугадывает количественные изменения, но с трудом может представить себе качественные. Несложно вообразить, что все будет быстрее, дешевле, больше (меньше). А вот скачки технологий предугадываются плохо. И мне кажется, что то же самое происходит сейчас с искусственным интеллектом.
Но качественный (а не только количественный) прорыв уже сейчас происходит в приложениях и работах, связанных с понимаем того, что же человек хочет: что ищет, собирается купить. А на базе генерации текстов мы сможем сделать принципиально иные методы коммуникации с человеком. Человек сможет использовать новые инструменты по мере их появления. Например, у программиста появятся умные помощники написания кода, для художника это может быть система по подбору красок, а для композитора — система, дающая вдохновение и помогающая правильно передать эмоции в произведении.
Если темы машинного обучения вам близки так же, как и нам, хотим обратить ваше внимание на ряд ключевых докладов на грядущей конференции SmartData 2017, которая пройдет 21 октября в Санкт-Петербурге:
state-of-the-art
1 state-of-the-art
2 state of the art
3 state-of-the-art
4 state-of-the-art
5 state-of-the-art
6 state-of-the-art
7 state of the art
state of the art
Everything made available to the public by means of a written or oral description, by use or in any other way before the date of the patent application, or an application filed in a foreign country the priority of which is validly claimed. (Source: ECHO1)
[http://www.eionet.europa.eu/gemet/alphabetic?langcode=en]
Тематики
уровень развития техники
Достигнутый к данному моменту времени уровень технических возможностей применительно к продукции, процессам и услугам являющийся результатом обобщенных достижений науки, техники и практического опыта.
[ГОСТ 1.1-2002]
Тематики
Синонимы
8 state-of-the-art
His car/stereo equipment/computer has all the latest state-of-the art refinements. — Его машина/стереоустановка/компьютер является последним словом техники.
9 state-of-the-art
10 state-of-the-art
11 state-of-the-art
State-of-the-art computer graphics show how your kitchen could be transformed.
12 state-of-the-art
13 state-of-the-art
state-of-the-art commercial computers — компьютеры, производимые в промышленном масштабе
14 state-of-the-art
15 state of the art
state of art — уровень развития науки на; данном этапе
16 state of the art
17 state of the art
18 state of the art
19 state of the art
20 state-of the-art
См. также в других словарях:
State of the art — The state of the art is the highest level of development, as of a device, technique, or scientific field, achieved at a particular time. It also applies to the level of development (as of a device, procedure, process, technique, or science)… … Wikipedia
state of the art — Under sections 1 and 2 of the Patents Act 1977, an invention must be new to be patentable. It will not be considered new if the information was disclosed to the public anywhere in the world before the priority date. The few exceptions to this… … Law dictionary
State of the Art — (traducción aproximada: «a la última») es una histórica demo de Amiga realizada por el grupo Spaceballs. Fue la ganadora en la competición de demos “The Party” en 1992. Para la realización de esta demo los componentes del grupo utilizaron la… … Wikipedia Español
state of the art — state of the art, adj. the latest and most sophisticated or advanced stage of a technology, art, or science. [1960 65] * * * … Universalium
State of the Art — Mit dem Ausdruck State of the Art bezeichnet man im englischen Sprachraum den höchsten verfügbaren Entwicklungszustand einer bestimmten Technologie. Umgangssprachlich wird damit meist das höchstentwickelte verfügbare technische Gerät (z. B.… … Deutsch Wikipedia
state-of-the-art —
state-of-the-art —
state of the art — 1. adjective At the highest level of development at a particular time; cutting edge. state of the art technology Syn: SOTA 2. noun The condition of scientific or technical knowledge, particularly the the peak or highest level thereof, at a… … Wiktionary
state of the art — Date: 1910 the level of development (as of a device, procedure, process, technique, or science) reached at any particular time usually as a result of modern methods • state of the art adjective … New Collegiate Dictionary
state-of-the-art — adjective see state of the art … New Collegiate Dictionary