Генеральный директор Coinbase Брайан Армстронг заявил, что для снижения затрат при использовании искусственного интеллекта они перенаправляют запросы на более дешёвые модели. Армстронг отметил, что в некоторых случаях это позволяет примерно удерживать расходы на стабильном уровне, несмотря на быстрое увеличение использования токенов, сохраняя при этом эффективность.
Он подчеркнул, что хотя новейшие модели обладают мощными возможностями, они потребляют больше токенов. По его словам, пользователи обращаются к этим моделям только тогда, когда требуется максимальная вычислительная мощность.
Генеральный директор прогнозирует, что в течение следующих 12–18 месяцев 80% рабочих нагрузок будут выполняться на моделях, которые дешевле на 99%. По мнению Армстронга, самые продвинутые модели будут использоваться преимущественно в специализированных областях, таких как научные прорывы и управление агентами искусственного интеллекта.
В оценке Армстронга выделяется мнение, что ограничивающим фактором в области искусственного интеллекта всё больше становятся не улучшенные модели, а энергия и вычислительные ресурсы. Такой подход отличается от широко распространённого в технологической среде принципа «используй больше токенов».
Его заявление привлекло внимание некоторых известных фигур в технологической сфере. Марк Андриссен отметил, что находит этот подход интересным, а соучредитель Hugging Face Жюльен Шомон подчеркнул, что перенаправление моделей в последнее время быстро развивается.
Генеральный директор Box Аарон Леви считает, что цифры Армстронга несколько преувеличены, но согласен, что в ближайшие годы использование искусственного интеллекта будет разделяться на высокоуровневые и крупномасштабные задачи. Соучредитель Harvey Уинстон Вайнберг также отметил, что «распределение интеллекта» в ИИ станет крайне важным.
Ранее в технологических кругах был популярен подход, ориентированный на более высокое использование токенов, однако в последнее время набирает силу взгляд, ориентированный на контроль затрат. В сообществе Y Combinator предпринимателей призывали не бояться использования токенов, а некоторые основатели считали, что сокращение токенов не нужно.
Соучредитель Glean Тони Джентилкор также поддержал мнение Армстронга. Он отметил, что технические специалисты уже знакомы с этой ситуацией, а главная неопределённость заключается в том, что финансовые рынки бесконечно предполагают цены Opus.