Исследователи из Массачусетского технологического института и MIT-IBM Watson AI Lab создали модель машинного обучения, использующую пространственную акустику для наблюдения и моделирования окружающей среды. Это несёт в себе преимущество в отличие от стандартного компьютерного зрения, например, в точном определении местоположения объектов под водой.
Акустическое зрение ИИ имеет много достоинств: определение базовой трёхмерной геометрии объектов окружающей среды, отображение точных визуальных эффектов для её реконструкции, а также улучшение визуализации в виртуальной и дополненной реальностях. В отличие от компьютерного зрения, акустическое не подвержено фотометрической согласованности, то есть оно видит больше подробностей о предмете в зависимости угла восприятия. И построить подобную модель машинного обучения для учёных было проблемой.
Но они её решили, прибегнув к двум функциям: взаимность и локальное геометрическое картирование. Первая означает, что при смене положения динамика и слушателя звук останется прежним, а вторая включает объединение взаимности в нейронном акустическом поле (NAF) для захвата объектов и других архитектурных компонентов. Чтобы запустить алгоритм, ему нужно передать видеоданные и спектрограммы, содержащие образцы того, как будет звучать звук, исходя из указанных местоположений для источника и слушателя. Следуя данным, модель точно определяет, как изменится звук, когда слушатель сменит свою позицию.
В дальнейшем команда желает усовершенствовать модель, чтобы она могла визуализировать более крупные и сложные среды, такие как здание или даже целый город. Подробнее о разработке можно почитать по ссылке.
