Оказывается, не так уж и сложно делать то, что делает OpenAI, за меньшие деньги.
В прошлую пятницу я наткнулся на объявление от совместной группы из Стэнфордского университета и Вашингтонского университета. Они поделились своими достижениями в разработке экономически эффективной большой языковой модели, которая преуспевает как в математике, так и в кодировании, соперничая по производительности с моделями рассуждений OpenAI o1 и DeepSeek R1. Это чудо было создано с минимальными затратами в размере 50 долларов США в виде кредитов облачных вычислений. Сообщается, что команда взяла существующую базовую модель и доработала ее, перенеся основные знания из экспериментальной модели Gemini 2.0 Flash Thinking от Google в свою меньшую модель, процесс, известный как дистилляция ИИ. Этот метод включает в себя извлечение соответствующей информации для выполнения определенной задачи из более крупной модели ИИ и применение ее к более компактной.
