Искусственный интеллект отличил боевик от фильма ужасов по саундтреком

В стремлении исследовать наше восприятие кино через музыку, американские инженеры дали алгоритм послушать 110 саундтреков самых кассовых фильмов разных жанров и посмотрели на то, как музыка характеризует кино. Исследования утверждают, что разные жанры фильмов имеют характерно различные средние значения яркости и контрастности: комедии и мелодрамы обычно отличаются более контрастной картинкой, тогда как фильмы ужасов, фантастика и боевики визуально темнее. Затем яркость и насыщенность цветов на экране связали с ощущениями «красоты» и «приятности» у зрителей, а отсутствие цвета были, наоборот, связанные с «уродством» и «неприятностью». Однако, неотъемлемой частью является и музыкальное сопровождение — руководства по созданию музыки для фильмов существовали еще с эпохи немого кино начала 20 века. Поэтому с появлением новых лучших вычислительных мощностей, исследователи взялись испытывать звук из фильмов на выявление эмоционального содержания. В одном из крупнейших исследований, с помощью алгоритмов удалось проанализировать звуковые характеристики, такие как темп, танцевальность саундтреков с более 40 000 фильмов и телешоу. В этой работе разработчики из Калифорнийского университета попытались классифицировать жанры более сотни самых кассовых фильмов, выпущенных с 2014 по 2019 год по их музыкальным сопровождением. Это интересная задача для искусственного интеллекта, ведь ему придется не только вычленять различия между фильмами различных жанров через саундтреки, а и вслепую классифицировать их только на основе выразительных, учитывая, что фильмы редко бывают моно жанровыми. По словам ученых, хотя здесь они и уделяли основное внимание тому, как музыка используется для поддержки определенных эмоций в кино, ее можно расширить и для другого медиаконтента.

С избранных 110 фильмов (в том числе и «Звездные войны») с помощью жанровых тегов с сервиса IMDb, ученые выбрали боевики, комедии, драмы, фильмы ужасов, мелодрамы и научную фантастику. Чтобы определить важность различных музыкальных характеристик для предсказания алгоритмом каждого жанра фильма, исследователи использовали метод обучения Permutation Feature Importance (PFI). PFI определяет важность каждого параметра, оценивая, как ухудшается производительность прогнозирования после случайной перестановки значений этого параметра во всех примерах набора для анализа.

Также исследователи проанализировали, связанные визуальные особенности, которые касаются жанра, с музыкой, которую алгоритм относит к определенному виду кино. Для этого полученные им данные сравнили с яркостью и цветом картинки тех частей роликов, из которых брали музыкальное сопровождение для прослушивания алгоритма. Например, если модель обнаруживает, что музыка из определенного фильма очень характерна для комедии (независимо от фактических жанровых ярлыков фильма), разработчики давали ей рассмотреть и визуальные характеристики, чтобы сравнить. Такие сравнения помогли проанализировать, соответствуют ли музыкальные паттерны, которые модель считает характерными для каждого жанра, визуальным. И вообще, хотя в большинстве эти показатели совпадали, музыкальные стили, которые модель научилась ассоциировать с каждым жанром, не всегда совпадали.

Также ранее мы рассказывали, как искусственный интеллект распознал мелодию за активностью мозга, а прослушивание музыки перед сном ухудшило его качество за того, что мозг не прекращал обрабатывать информацию.

Перевод материала nauka.ua