Инженер и разработчик Диего Трухильо Писанти из Мексики представил проект Blind Camera («слепая камера») на базе Raspberry Pi 3 B. Портативное устройство с помощью бортовой ИИ-системы генерирует фотографию по звуку окружающего мира. Камере не нужно подключение к внешним системам для создания изображения.
Blind Camera работает аналогично обычной камере: вы наводите гаджет на то, что хотите снять, и нажимаете кнопку, чтобы создать изображение. В этом случае, однако, у Blind Camera есть большой рупор спереди, который помогает усилить процесс улавливания звуков. Пользователи должны направить устройство в направлении того места, что они хотят сфотографировать, прежде чем нажимать кнопку генерации картинки. Затем камера анализирует звук через ИИ-фильтр и создаёт изображение в общих чертах.
По словам Писанти, специально для этого проекта он разработал свою нейронную сеть и обучил ИИ на собственной модели на основе набора видеороликов, снятых в Мехико. Нейросеть сравнивает звуки с ранее известными ей связками видеокадров и аудио и создаёт свою собственную ассоциацию.
Модель искусственного интеллекта, используемая для обучения Blind Camera, была создана с использованием Python 3. Она предназначена для работы с Tensorflow 2 и работает на Raspberry Pi с использованием TFLite.
Устройство Blind Camera имеет небольшой экран, который служит своего рода видоискателем. Также экран позволяет узнать статус обработки изображений и обеспечивает предварительный просмотр сгенерированных фото. Камера и экран размещены внутри специального корпуса, напечатанного на 3D-принтере.
Примеры созданных слепой камерой фото приведены ниже (сначала место съёмки, потом картинка с камеры).
В конце мая инженер Бьёрн Карманн представил промт-камеру Paragraphica без объектива и привычных механизмов для фотооборудования на базе Raspberry Pi 4. Вместо всего этого устройство генерирует изображение на основе данных о местоположении. Paragraphica выполнена в корпусе обычной камеры, но вместо объектива установлена заглушка, напоминающая паука. На экране устройства всегда можно посмотреть актуальное местоположение и промт, по которому будет генерироваться фотография.
