Как картинки влияют на мозг
Как мозг обрабатывает зрительную информацию
Человеческий мозг сначала воспринимает изображение, затем сравнивает его с неким «шаблоном», хранящимся в памяти, а после уже оценивает увиденное — принимает решение. На этом этапе и сосредоточили внимание петербургские учёные.
Специалисты Институт физиологии им. И. П. Павлова РАН и Военно-медицинской академии исследуют области головного мозга, анализирующие изображение. Они установили, что форму наблюдаемого объекта определяют несколько участков фронтальной коры головного мозга. Учёные применили новый метод — трактографию проводящих путей в головном мозге живого человека. Он позволяет установить, как происходит взаимодействие между различными областями фронтальной коры и какие области мозга посылают туда информацию после предварительной обработки. Работу учёных поддержал РФФИ.
Главным образом, специалистов интересовало, один или несколько центров принятия решений существуют в головном мозге человека.
Для ответа на этот вопрос исследователи создали аппаратно-программный комплекс, который позволяет проводить электрофизиологические и психофизические измерения, функциональную магнитно-резонансную томографию для пространственного картирования активированных областей мозга, а также анатомическую магнитно-резонансную томографию и математическое моделирование. Испытуемым показывали голографические изображения — решётки различной ориентации, которые надо было определить.
После сложного анализа многочисленных данных учёные предположили, что в первые 100 мс в затылочной коре происходит оценка первичных физических характеристик изображения, таких как яркость, контраст и ориентация. Примерно через 200 мс происходит восприятие более сложных характеристик стимула: целостного изображения и ориентации. Через фронтальные доли определяют, что им показывают, и, наконец, через решение принято окончательно.
Исследователи выяснили, какие участки фронтальной коры определяют структуру изображения. Частично эти зоны совпадают с теми, которые осуществляют выбор между разными объектами, но отличаются от зон, которые реагируют на эмоциональные стимулы. Очень важно, что различные задачи, возникающие при оценке изображения, решают разные участки коры и что фронтальная кора головного мозга содержит несколько областей, которые оценивают ориентацию элементов изображения.
NAME] => URL исходной статьи [
Ссылка на публикацию: STRF.ru
Код вставки на сайт
Как мозг обрабатывает зрительную информацию
Человеческий мозг сначала воспринимает изображение, затем сравнивает его с неким «шаблоном», хранящимся в памяти, а после уже оценивает увиденное — принимает решение. На этом этапе и сосредоточили внимание петербургские учёные.
Специалисты Институт физиологии им. И. П. Павлова РАН и Военно-медицинской академии исследуют области головного мозга, анализирующие изображение. Они установили, что форму наблюдаемого объекта определяют несколько участков фронтальной коры головного мозга. Учёные применили новый метод — трактографию проводящих путей в головном мозге живого человека. Он позволяет установить, как происходит взаимодействие между различными областями фронтальной коры и какие области мозга посылают туда информацию после предварительной обработки. Работу учёных поддержал РФФИ.
Главным образом, специалистов интересовало, один или несколько центров принятия решений существуют в головном мозге человека.
Для ответа на этот вопрос исследователи создали аппаратно-программный комплекс, который позволяет проводить электрофизиологические и психофизические измерения, функциональную магнитно-резонансную томографию для пространственного картирования активированных областей мозга, а также анатомическую магнитно-резонансную томографию и математическое моделирование. Испытуемым показывали голографические изображения — решётки различной ориентации, которые надо было определить.
После сложного анализа многочисленных данных учёные предположили, что в первые 100 мс в затылочной коре происходит оценка первичных физических характеристик изображения, таких как яркость, контраст и ориентация. Примерно через 200 мс происходит восприятие более сложных характеристик стимула: целостного изображения и ориентации. Через фронтальные доли определяют, что им показывают, и, наконец, через решение принято окончательно.
Исследователи выяснили, какие участки фронтальной коры определяют структуру изображения. Частично эти зоны совпадают с теми, которые осуществляют выбор между разными объектами, но отличаются от зон, которые реагируют на эмоциональные стимулы. Очень важно, что различные задачи, возникающие при оценке изображения, решают разные участки коры и что фронтальная кора головного мозга содержит несколько областей, которые оценивают ориентацию элементов изображения.
Влияние визуальных элементов на восприятие
Почти вся информация, которую мы видим, сознательно или бессознательно, обрабатывается нашим мозгом. Эта информация значительно на нас влияет при принятии решений. Людям проще воспринимать картинки. Чтобы в этом убедиться, достаточно вспомнить, как быстро приобретают популярность направления, основанные на визуальном восприятии. Например, youtube, instagram, tumblr.
Недавние исследования SSRN доказали, что примерно 65% людей—визуалы и предпочитают взаимодействовать с визуальной информацией.
Скорость восприятия данных
Одно из самых быстрых и продуктивных способов передачи данных в мозг—зрительное восприятие. При использовании визуальных составляющих (цвета, иллюстрации, иконки), информация обрабатывается мозгом на подсознательном уровне и в результате обрабатывается гораздо быстрее. Например, если посмотреть на иллюстрацию ниже, человек сначала оценивает ее на подсознательном уровне и только в случае необходимости подключает логическое мышление.
Иллюстрация Dana Gartmana на Dribble.com
На сайте diesel-tula.ru визуальная информация скомбинированна с текстом для наиболее продуктивного изучения контента
Но уровень распознавания одинаков не для всех пользователей. Исследование «From icons perception to mobile interaction» показало, что с возрастом возможность распознавания уменьшается. Среди участников исследования старше 60 лет уровень распознавания составил менее 60%, в то время как у участников в возрасте от 20 до 30 лет этот показатель составил почти 90%.
Это же исследование показало, что иконки, иллюстрирующие реальные объекты, более распознаваемы, чем субъективные и символические иконки. Это еще раз говорит о том, что важно понимать пользовательское восприятие.
Память
Люди могут запомнить изображение на долгое время, даже если видели его всего раз. Исследование «Learning 10000 pictures» показало, что память на изображения превосходить вербальную память. Это происходит, потому что память на изображения практически не ограничена и потому что изображения распознаются быстрее, чем текст. Стоит отметить, что яркие образы лучше откладываются в памяти, чем нормальные. Безусловно, различные факторы влияют на распознавание, но использование визуальных компонентов—самый мощный инструмент для того, чтобы донести до пользователя информацию, особенно если речь идет о сложной информации, которая требует сосредоточенности и повышенного внимания.
Яркая картинка на сайте matruecannabis.com/en отложится в памяти лучше, чем привычная
Эмоции
В ходе исследования Петра Винкельмана участники наблюдали за изображениями, во время мониторинга их реакции. Некоторые изображения легко распознавались, для распознавания других необходимо приложить немного усилий. Результаты исследования показали, что люди демонстрировали легкую улыбку, когда показывались легко распознаваемые изображения, которые можно распознать на подсознательном уровне.
Иллюстрация от Sofy Dubinska, Dribble
Внимание
В исследовании компания FreshBooks.com добавляет к себе на сайт фото всей своей команды. После чего было выявлено, что пользователи потратили на 10% больше времени на просмотр фотографий команды, чем на чтение текста. По карте взглядов можно понять, что пользователь спешил и просто хотел получить краткий обзор команды.
Это одна длинная страница, разделенная на 3 части и показывающая, как двигался взгляд пользователя.
Пользователи уделяют больше времени информации, которая сопровождается визуальными элементами. Если изображения актуальны, к ним будет приковано больше внимания, чем к самому тексту.
Универсальность
Визуальные элементы делают сайт более доступным, особенно если им пользуются люди, говорящие на разных языках. Использование иконок или наглядных иллюстраций увеличивают общее понимание и расширяют возможности людей с расстройствами восприятия текста.
«Взлом» мозга при помощи «картинок-противоречий»
Разработчики из Google Brain доказали, что «противоречивые» изображения могут провести как человека, так и компьютер; и возможные последствия — пугающие.
На картинке выше — слева вне всякого сомнения кот. Но можете ли вы сказать однозначно, кот ли справа, или просто собака, которая выглядит похожей на него? Разница между ними в том, что правая сделана при помощи специального алгоритма, который не даёт компьютёрным моделям, называемым «сверточными нейросетями» (CNN, convolutional neural network, далее СНС) однозначно сделать вывод, что на картинке. В данном случае СНС считают, что это скорее пёс, нежели кот, но что самое интересное — большинство людей думают точно так же.
Это пример того, что называется «картинкой-противоречием» (далее КарП): она специально изменена так, чтобы обмануть СНС, не дать верно определить содержимое. Исследователи из Google Brain хотели понять, можно ли таким же способом заставить сбоить биологические нейросети в наших головах, и в итоге создали варианты, которые одинаково влияют и на машины, и на людей, заставляя их думать, что они смотрят на что-то, чего на самом деле нет.
Что такое «противоречивые изображения»?
Практически повсеместно для распознавания в СНС используются алгоритмы визуальной классификации. «Показывая» программе большое количество разных иллюстраций с пандами, можно натренировать её на узнавание панд, так как она учится путём сравнения с целью выделить общий признак для всего представленного множества. Как только СНС (также их называют «классификаторами») наберёт достаточный массив «панда-признаков» на обучающих данных, то сможет распознать панду на любых новых картинках, которые ей предоставят.
Мы же узнаём панд по абстрактным характеристикам: маленькие чёрные уши, большие белые головы, чёрные глаза, мех, и всякое такое прочее. СНС поступает иначе, что неудивительно, поскольку объём информации об окружающем, который люди интерпретируют каждую минуту, значительно больше. Поэтому, с учётом специфики моделей, возможно воздействовать на изображения таким образом, чтобы сделать их «противоречивыми» путем смешения с тщательно высчитанными данными, после чего результат для человека будет выглядеть почти как оригинал, но совершенно иным для классификатора, который начнёт ошибаться при попытке определить содержимое.
Вот пример с пандой:
Изображение панды, скомбинированное с возмущением, может убедить классификатор, что на самом деле это гиббон.
Источник: OpenAI
Классификатор на базе СНС уверен, что слева панда, примерно на 60%. Но если слегка дополнить («создать возмущение») исходник добавлением того, что выглядит просто хаотичными шумом, тот же классификатор будет на 99.3 процента уверен, что теперь он смотрит на гиббона. Маленькие изменения, которые даже нельзя толком увидеть, порождают весьма успешную атаку, но сработает она только на конкретной компьютерной модели и не проведёт те, которые могли быть «научены» на чём-то другом.
Чтобы создать контент, вызывающий неверную реакцию у большого и разнородного количества искусственных аналитиков, следует действовать грубее — крошечные поправки не повлияют. То, что срабатывает надёжно, не получалось сделать «малыми средствами». Иными словами, если захочется получить работающее с любых ракурсов и дистанций наполнение, то придётся вмешаться существенней, или как сказал бы человек, очевидней.
В прицеле — человек
Вот два примера грубоватых КарП, где человек легко обнаружит помеху.
Источник: Open AI слева, Google Brain справа
Картинка кота слева, которая СНС определяется как компьютер, сделана при помощи «ломаной геометрии». Если взглянуть поближе (или даже не слишком близко), то будет видно, что намечено несколько угловатых и коробкообразных конструкций, которые могут напоминать очертания системного блока. А изображение банана справа, которое распознаётся как тостер, устойчиво даёт ложное срабатывание с любой точки обзора. Люди в момент найдут здесь банан, однако странная штуковина рядышком имеет некоторые признаки тостера — и это дурит технику.
Когда ты делаешь гарантированно подходящее «противоречивое» изображение, которым нужно обыграть целую компанию распознающих моделей, то очень часто это приводит к появлению «человеческого фактора». Другими словами, то, что собьёт с толку одиночную нейросеть, может быть человеком и вовсе не воспринято за проблему, а когда пытаешься получить ребус, однозначно подходящий для обмана пяти или десяти сразу, то выходит, что он работает на основе механизмов, которые в случае людей совершенно бесполезны.
Как следствие, совершенно незачем пытаться заставить человека считать, что угловатый кот это корпус компьютера, а сумма банана и странной мазни смахивает на тостер. Гораздо лучше при создании КарП, предназначенных для нас с вами, сразу ориентироваться на использование моделей, воспринимающих мир так же, как и люди.
Обманывая глаз (и мозг)
СНС с глубоким обучением и человеческое зрение чем-то схожи, но в основе своей нейросеть «смотрит» на вещи «по-компьютерному». Например, когда ей скармливают картинку, она «видит» статичную решётку из прямоугольных пикселей, одновременно. Глаз же работает по-другому, человек воспринимает высокую детализацию в секторе примерно пять градусов в каждую сторону от линии взгляда, но за пределами этой зоны внимание к деталям линейно снижается.
Таким образом, в отличие от машины, скажем, размывание краёв изображения не сработает с человеком и останется просто-напросто незамеченным. Исследователи смогли смоделировать эту особенность, добавив «слой сетчатки», который изменил данные, подаваемые СНС, так, как они выглядели бы для глаза, с целью ограничить нейросеть теми же рамками, в которых работает обычное зрение.
Следует отметить, что человек справляется со своими недостатками восприятия тем, что взгляд не направлен в одну точку, а постоянно перемещается, осматривая изображение целиком, но и это оказалось возможным скомпенсировать условиями постановки эксперимента, нивелирующими различия между СНС и людьми.
Примечание из самой работы:
Каждый опыт начинался с установочного перекрестия, показывавшегося в центре экрана в течение 500-1000 миллисекунд, и каждый субъект был проинструктирован зафиксировать взгляд на перекрестии.
Использование «сетчаточного слоя» стало последним шагом, который пришлось предпринять в рамках «тонкой подгонки» машинного обучения под «человеческие особенности». При генерации образцов их прогоняли через десять различных моделей, каждая из которых должна была однозначно назвать, скажем, кота, например, собакой. Если результат был «10 из 10 ошиблись», то материал передавался для тестирования на людях.
Работает ли это?
В эксперименте задействовались три группы картинок: «питомцы» (кошки и собаки), «овощи» (кабачки и брокколи) и «угрозы» (пауки и змеи, хотя как хозяин змеи я бы предложил другой термин для оценки). Для каждой группы, успех засчитывался, если тестируемый выбирал неправильно — называл собаку кошкой, и наоборот. Участники сидели перед монитором, на котором демонстрировалось изображение в течение примерно 60 или 70 миллисекунд, и они должны были нажать одну из двух кнопок, обозначающую объект. Поскольку изображение показывалось очень недолго, это сглаживало разницу между тем, как ощущают мир люди и нейросети; иллюстрация в заголовке, кстати, поразительна своей устойчивостью ошибки.
То, что показывали испытуемым, могло быть немодифицированным изображением (image), «обычная» КарП (adv), «перевёрнутая» (flip) КарП, на которой шум был перевёрнут вверх ногами перед наложением, или «ложная» КарП, на которой слой с шумом был применён к картинке, не относящейся ни к одному из типов в группе (false). Два последних варианта использовались для контроля характера возмущения (будет структура шума влиять иначе в перевёрнутом виде, или просто «есть-нет»?), плюс давали возможность понять, действительно ли помехи напрочь обманывают людей или просто немного снижают точность.
Примечание из самой работы:
«ложная»: условие было добавлено для того, чтобы принудить испытуемого ошибиться. Мы добавили его, поскольку если исходные изменения уменьшают точность работы наблюдателя, это может происходить по причине снижения непосредственного качества изображения. Чтобы показать, что КарП действительно срабатывают в каждом классе, мы внесли варианты, где ни один выбор не может быть правильным и соответственно их точность равна 0, и наблюдали за тем, какой именно «верный» ответ был в таком случае. Мы демонстрировали произвольные картинки из ImageNet, к которым было применено воздействие от одного или другого класса в группе, но не подходившие при этом ни к одному. Участник эксперимента должен был определить, что перед ним. Для примера, мы могли показать картинку самолёта, искажённую путём наложения «собачьего» шума, хотя в течение опыта субъект должен был узнать только кошку или собаку.
Вот пример, показывающий в процентном соотношении количество людей, которые смогли чётко определить картинку как собаку, в зависимости от того, как зашумление было использовано. Напомню, было всего 60-70 миллисекунд, чтобы взглянуть и принять решение.
Источник: Google Brain
Оригинальная картинка с собакой; КарП с собакой, принятая и человеком, и компьютером за кошку; контрольная картинка с перевёрнутым вверх ногами слоем шума.
А вот итоговые результаты:
Источник: Google Brain
Результаты исследования, насколько верно люди идентифицируют настоящие картинки с сравнении с искажёнными.
Диаграмма показывает точность соответствия. Если вы выбираете кота и это действительно кот, точность растёт. Если вы выбираете кота, но это на самом деле собака, превращённая шумом в подобие кота, точность снижается.
Как можно видеть, люди гораздо более корректны в выборке нескорректированных изображений или с перевёрнутыми шумовыми слоями, чем в выборке «противоречивых». Это доказывает, что принцип атаки на восприятие может быть перенесён с компьютеров на нас.
Мало того, что воздействия бесспорно эффективны, они ещё и тоньше, чем ожидается — никаких коробкокотов или псевдотостеров, или чего-то такого плана. Поскольку мы видели и слои с шумом, и изображения до и после обработки, надо разобраться, что именно в этом сбивает нас с толку. Хотя исследователи осторожничают, заявляя что «наши примеры специально сделаны, чтобы дурить голову, поэтому стоит быть аккуратными, используя людей как подопытных для изучения эффекта».
Команда постарается в будущем вывести некоторые общие правила для определённых категорий модификации, включая «разрушение кромок объекта, в особенности путём воздействий средней степени, по перпендикуляру к линии кромки; коррекция граничащих областей путём путем увеличения контраста с одновременным текстурированием границы; изменение текстуры; использование тёмных частей изображения, на которых уровень воздействия на восприятие получается высоким даже несмотря на крохотные возмущения». Ниже показаны примеры, где красным обведены области, в которых описанные способы видны лучше всего.
Источник: Google Brain
Примеры картинок с разными принципами искажения
А что в итоге?
Суть в том, что это больше, значительно больше, чем просто ловкий трюк. Ребята из Google Brain подтвердили, что они могут создать эффективную технику обмана восприятия, но не до конца и сами понимают, почему она работает, с учётом уровня абстракции, и возможно, что это буквально базовый уровень действительности:
Наш проект ставит фундаментальные вопросы о том, как воздействуют КарП, как работают нейросети и мозг. Удалось ли перенести атаки с СНС на мозг потому, что смысловые представления информации в них схожи? Или потому, что оба эти представления соответствуют некоей общей смысловой модели, которая естественным образом существует в окружающем мире?
В завершение, если вы и правда хотите немножко запараноить, то исследователи с радостью сделают вам одолжение, указав на то, что «визуальное распознавание объектов… сложно дать объективную оценку. Правда ли „Рис.1“ объективно собака, или это объективно кошка, которая может заставить людей думать, что она собака?» Иначе говоря, превращается ли картинка действительно в предмет, или просто заставляет тебя думать иначе?
Жутковато здесь то (и я всерьёз говорю «жутковато»), что в итоге можно получить способы воздействия на любые факты, потому что дистанция между манипулированием СНС и манипулированием человеком, очевидно, не слишком большая. Соответственно, технологии машинного обучения потенциально могут быть использованы для искажения картинок или видео в нужном ключе, который подменит наше восприятие (и соответствующую реакцию), и мы даже не поймём, что произошло. Из доклада:
Для примера, кластер моделей с глубинным обучением можно натренировать на оценках людьми уровня доверия к определённым типам лиц, чертам, выражениям. Станет возможным сгенерировать «противоречивые» возмущения, которые будут увеличивать или уменьшать ощущение «достоверности», и такие «подправленные» материалы могут быть использованы в новостных роликах или политической рекламе.
Разумеется, такие методы можно использовать и «во благо», и уже предложен ряд вариантов, вроде «обострить характерные особенности изображений, дабы повысить уровень сосредоточенности, например, при контроле за воздушной обстановкой или анализе рентгеновских снимков, поскольку этот труд является монотонным, а последствия невнимательности могут быть ужасными». Также, «дизайнеры пользовательских интерфейсов могут использовать возмущения, чтобы разработать более интуитивные интерфейсы». Хммм. Это безусловно здорово, но я как-то больше обеспокоен насчёт той штуки со взломом моего мозга и выставлением уровня доверия к людям, понимаете?
Некоторые из поставленных вопросов станут предметом будущих исследований — возможно, выяснится, что именно делает конкретные картинки более подходящими, чтобы передать ошибку к человеку, и это может дать новые зацепки для понимания принципов работы мозга. А это, в свою очередь, поможет создать более совершенные нейросети, которые станут учиться быстрее и лучше. Но нам стоит быть осторожными и помнить, что, как и компьютеры, нас порой не так-то и сложно обмануть.
Проект «Adversarial Examples that Fool both Human and Computer Vision, by Gamaleldin F. Elsayed, Shreya Shankar, Brian Cheung, Nicolas Papernot, Alex Kurakin, Ian Goodfellow, and Jascha Sohl-Dickstein, from Google Brain», можно скачать из arXiv. А если вам нужны ещё спорные картинки, которые работают на людях, то вспомогательный материал тут.