Оказывается, не так уж и сложно делать то, что делает OpenAI, за меньшие деньги.

от

Несмотря на постоянные заявления OpenAI о том, что создание искусственного интеллекта общего назначения требует огромных денежных и энергетических вложений, независимые исследователи добиваются успехов, используя технологии с открытым исходным кодом для воспроизведения производительности своих самых мощных моделей, тратя при этом значительно меньше денег.

В прошлую пятницу я наткнулся на объявление от совместной группы из Стэнфордского университета и Вашингтонского университета. Они поделились своими достижениями в разработке экономически эффективной большой языковой модели, которая преуспевает как в математике, так и в кодировании, соперничая по производительности с моделями рассуждений OpenAI o1 и DeepSeek R1. Это чудо было создано с минимальными затратами в размере 50 долларов США в виде кредитов облачных вычислений. Сообщается, что команда взяла существующую базовую модель и доработала ее, перенеся основные знания из экспериментальной модели Gemini 2.0 Flash Thinking от Google в свою меньшую модель, процесс, известный как дистилляция ИИ. Этот метод включает в себя извлечение соответствующей информации для выполнения определенной задачи из более крупной модели ИИ и применение ее к более компактной.

📊 Хочешь понимать, куда дует ветер на рынке? ТопМоб — мощная аналитика, без воды и хайпа. Не прозевай разворот!

Включай мозг — подписывайся

Кроме того, исследователи из Hugging Face представили во вторник конкурента Deep Research от OpenAI и эквивалентным инструментам Google Gemini под названием Open Deep Research. Им удалось создать этот инструмент в течение 24 часов. В своем анонсе они заявили, что, хотя большие языковые модели теперь доступны через платформы с открытым исходным кодом, OpenAI не раскрыла многого о структуре принятия решений, лежащей в основе Deep Research. Поэтому они взялись за 24-часовой проект, чтобы воспроизвести результаты и сделать основную структуру общедоступной в процессе. Говорят, что инструмент будет стоить около 20 долларов в облачных вычислительных кредитах и ​​может быть обучен менее чем за 30 минут.

Недавно я заметил, что модель Hugging Face достигла точности 55% на бенчмарке General AI Assistants (GAIA). Для контекста, этот бенчмарк используется для оценки возможностей автономных систем ИИ. Интересно, что Deep Research от OpenAI набрал от 67% до 73% в зависимости от конкретных используемых методов реагирования. Хотя модель Hugging Face не совсем соответствует производительности OpenAI, важно отметить, что она была обучена без необходимости в миллиардах долларов или энергии, эквивалентной выходу средней европейской страны.

Эти действия последовали за сообщениями в январе о том, что группа из Калифорнийского университета в Беркли Sky Computing Lab успешно обучила свою модель рассуждений Sky T1 примерно за 450 долларов, используя кредиты облачных вычислений. Модель Sky-T1-32B-Preview команды продемонстрировала сопоставимую производительность с первоначальной версией модели рассуждений o1-preview. Поскольку появляется все больше конкурентов с открытым исходным кодом, бросающих вызов лидерству OpenAI на рынке, само их существование ставит под сомнение, является ли стратегия компании по инвестированию полутриллиона долларов в строительство центров обработки данных ИИ и объектов производства энергии оптимальным решением.

Смотрите также

2025-02-06 21:57