Подключённые к Wi-Fi устройства вокруг нас постоянно обмениваются сигналами пространственно ориентированных радиоволн. Эти радиоволны отражаются от стен, мебели и других предметов в пространстве, формируя информацию о местоположении этих объектов. Такой набор данных или информацию о состоянии канала Wi-Fi (Wi-Fi CSI) ранее научились использовать для построения грубых эскизов помещений, и точность этих эскизов можно повысить при помощи искусственного интеллекта.
Разработчики, участвовавшие в исследовании, предполагали, что использование инструментов ИИ сократит время выполнения задач на 24%. Однако на практике использование инструментов, таких как Cursor Pro (доступ к которому был предоставлен примерно половине участников), привело к увеличению времени выполнения на 19%. Это означает, что разработчики работали медленнее, используя ИИ-инструменты.
Примечательно, что только 56% участников имели опыт работы с Cursor, основным инструментом ИИ, использованным в исследовании. Хотя почти все разработчики (94%) имели опыт использования веб-ориентированных больших языковых моделей (LLM) в своих рабочих процессах, для некоторых участников это исследование стало первым опытом работы именно с Cursor. Несмотря на проведённое обучение, результаты оказались неожиданными.
Исследователи METR предполагают несколько причин, объясняющих замедление работы разработчиков. Значительное время тратилось на формулировку запросов к ИИ и ожидание ответа, что отнимало время от непосредственно написания кода. Кроме того, ИИ испытывал трудности при работе с большими и сложными базами, которые использовались в эксперименте.
Авторы исследования подчёркивают, что полученные результаты не должны интерпретироваться как полное отрицание преимуществ ИИ-инструментов. Они признают существование других масштабных исследований, демонстрирующих повышение производительности разработчиков при использовании таких инструментов. Также отмечается быстрый прогресс в области ИИ и вероятность получения других результатов даже через три месяца. METR подтверждает значительное улучшение способностей ИИ-инструментов к выполнению сложных задач в последние годы.
Тем не менее, исследование добавляет ещё один аргумент к существующим сомнениям в отношении заявленных преимуществ инструментов кодирования на основе ИИ. Известно, что такие инструменты могут вносить ошибки и, в некоторых случаях, создавать уязвимости безопасности. Поэтому, несмотря на обещания повышения производительности, результаты исследования показывают, что разработчикам не следует ожидать мгновенного увеличения скорости работы при использовании ИИ-инструментов.
