Макияж по подсказкам нейросети обошел систему распознавания лиц

20 добровольцев, воспользовавшихся помощью алгоритма, снизили точность распознавания своего лица системой с 47,5 до 1,2%. Препринт статьи, как ученые вводили в заблуждение системы распознавания лица, доступный на сервисе arXiv. Системы распознавания лиц обычно используются для идентификации увиденных камерой наблюдения лиц, занесенных в «белый» список, или оповещения о лицах, внесенных в «черный» список. Последовательность кадров с камер попадает в руки алгоритма, а тот в свою очередь создает ориентиры на лицах. Эта предварительная обработка превращает каждого человека на картинке индивидуально под входное изображение, которое передается для анализа нейросети, которые сравнивают эти ориентиры с другими изображениями в своей базе. В конечном итоге личность человека определяется на основе высокого показателя сходства, превышающий определенный порог. Такие методы активно используются в общественных местах, включая метро, ​​аэропорты, а также на предприятиях вместо пропусков.

Впрочем, нейросети, используемые в системах распознавания, можно обмануть, а способы ввести их в заблуждение можно разделить на две категории. К первой категории относятся цифровые манипуляции, например, добавление к изображению некоторого тщательно обработанного шума. Ко второй категории относятся способы обмана уже в реальной плоскости, когда алгоритм обманывают непосредственно тем, что он видит. Это может быть, например, печать специальных узоров на оправе очков, наклейки на лице, яркий макияж.

Израильские и японские исследователи разработали нейросеть, которая может подсказать, где применить макияж, чтобы обмануть системы распознавания лиц. Ее работа состоит из двух этапов. Сначала алгоритм пытается повторить за системами распознавания и ищет на лице те же ориентиры, которые можно считать уникальными. В результате в виде тепловой карты на изображении лица человека выделяются области, которые, по мнению систем распознавания лиц, лучше идентифицируют человека. Затем эта цифровая тепловая карта используется для создания цифровой проекции макияжа, которую можно использовать как инструкцию для нанесения макияжа в реальном мире, чтобы не дать себя узнать. Важно отметить, что нейросеть не полагается на яркие цветные палитры, а ограничивается использованием природных оттенков макияжа. Чтобы изображение выглядело естественно, разработчики использовали только тени, румяна и помаду, а также контурирование и изменение формы бровей. То есть макияж использовался для рисования узоров на лице, которые могут привлечь внимание, но синий, зеленый, белый и другие цвета, которые обычно не используются в повседневном макияже не брались во внимание. Это важно, ведь это позволяет одновременно избегать узнавания, не привлекая к себе внимания окружающих.

Тестирование проводилось на десяти мужчинах и десяти женщинах в возрасте от 20 до 28 лет. Каждый участник был внесен в черный список экспериментальной системы. Во время испытания, ученые использовали три фронтальных изображения каждого участника, два из которых были предварительно зарегистрированы. Третий использовался для создания двух дополнительных изображений одно из макияжа, предложенным алгоритмом, а другое со случайным. Использование предложенного нейросетью макияжа снизило показатель успешности распознавания лиц с 42,6% до 0,9% у женщин и с 52,5% до 1,5 у мужчин.

Исследователи не впервые ищут способы сбить алгоритмы с толку. Например, они проверяли сверхточные нейросети на устойчивость к оптическим иллюзиям и выяснили, что небольшое количество свернутых слоев делает нейросети такими же уязвимыми, как и людей. Так же нейросети для обработки изображений поддались на стереотипы и на примерах из интернета дополнили мужские портреты костюмами, а женские — глубоким декольте или бикини. Наделенная первичной зрительной корой нейросеть не поддалась на обман и правильно идентифицировала даже искаженные шумом изображения, а обученный обращать внимание на зрачки глаз, алгоритм отличил настоящее фото от сгенерированного.

Перевод материала nauka.ua