Новое исследование представило математическое доказательство того, что большие языковые модели (LLM) не способны выполнять вычислительные и агентные задачи выше определенного уровня сложности. Работа отца и сына Вишала и Варина Сикка ставит под сомнение ключевую ставку ИИ-индустрии на достижение полной автономности моделей через бесконечное увеличение объемов данных.
Исследование, изначально опубликованное без особого резонанса, привлекло внимание после материала Wired. Вывод работы достаточно прост, хотя для его обоснования авторы используют сложные математические выкладки. Суть в том, что определенные промпты или задачи потребуют от LLM более сложных вычислений, чем модель способна обработать. В таких случаях модель либо не сможет завершить запрошенное действие, либо выполнит задачу некорректно.
Человек с психическим заболеванием подал в суд на OpenAI после того, как ChatGPT довел его до психоза
Выводы исследователей серьезно охлаждают энтузиазм вокруг агентного ИИ – моделей, которым можно поручить многоэтапные задачи для полностью автономного выполнения без человеческого надзора. Многие компании рассматривают такие системы как путь к созданию искусственного общего интеллекта (AGI). Математические доказательства Сикка устанавливают гораздо более низкий потолок возможностей технологии, чем готовы признать ИИ-компании в своих оптимистичных прогнозах.
Авторы не первые, кто указывает на фундаментальные ограничения LLM, но их работа подкрепляет интуитивные опасения скептиков реальной математикой. В прошлом году исследователи Apple опубликовали работу, согласно которой LLM неспособны к настоящему рассуждению или мышлению (что очевидно, так как LLM по сути большие и сложные алгоритмы предсказания следующих слов), несмотря на создание такой видимости. Бенджамин Райли, основатель компании Cognitive Resonance, заявлял, что из-за принципов работы LLM никогда не достигнут того, что мы считаем "интеллектом". Другие исследования тестировали способность ИИ-моделей производить оригинальный творческий контент – с довольно неубедительными результатами.
56% директоров компаний признались, что ИИ не принёс им финансовых выгод
Новое исследование Сикка добавляет четкие доказательства в растущую стопку опасений относительно того, что текущие ИИ-технологии вряд ли превзойдут человеческий интеллект в ближайшее время, как недавно заявил глава Tesla Илон Маск. Работа демонстрирует, что какими бы впечатляющими ни были возможности современных языковых моделей, существуют теоретические пределы их вычислительной мощности, которые нельзя преодолеть простым масштабированием.
