Я наконец-то попробовал большую языковую модель с открытым исходным кодом от OpenAI, состоящую из 120 миллиардов параметров, — и без необходимости тратить тысячи долларов на оборудование.

Языковая модель с 120 миллиардами параметров.

Обычно модель с открытым исходным кодом, подобная этой, запускается локально с помощью инструментов, таких как Ollama или LMStudio. Однако благодаря реализации DuckDuckGo, она доступна всем, что позволяет вам использовать её в приватном порядке бесплатно.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В чем здесь важность? Если бы вы захотели интегрировать gpt-oss:120b с его впечатляющими 120 миллиардами параметров в Ollama для достижения оптимальной производительности, потребовалось бы количество видеопамяти, которое даже две графические карты RTX 5090, объединенные вместе, не смогли бы обеспечить.

Учитывая размер в 65 ГБ, запуск этого программного обеспечения может быть сложным для обычного потребительского оборудования, если у вас нет мощной видеокарты или высокопроизводительного ПК, оснащенного унифицированной памятью AMD Strix Halo для более плавной работы.

Особенно сложно запустить и обеспечить стабильную работу.

Duck.ai предлагает использовать эту модель бесплатно, однако вместо запуска на вашем личном компьютере они используют свои собственные серверы. Учитывая, что она предоставляется компанией DuckDuckGo, известной своей приверженностью к конфиденциальности, можно ожидать, что этот инструмент будет довольно надежным среди подобных онлайн-сервисов.

DuckDuckGo ясно заявляет, что все разговоры анонимны и не требует регистрации для пользователей. В отличие от других бесплатных сервисов, вам не нужно создавать учетную запись или предоставлять адрес электронной почты. Вместо этого просто откройте их веб-сайт и начните задавать вопросы без какой-либо предварительной настройки.

Как тебе это кажется? Это невероятно быстро. Однако имей в виду, что это работает на огромной аппаратной сети где-то в другом месте, а не у тебя дома. За короткое время, которое я с этим экспериментировал, скорость его ответа сопоставима со скоростью 20b модели на моей RTX 5090 — Duck.ai не отображает статистику токенов в секунду — но есть одна уникальная особенность, в которой я все еще не уверен.

Как любитель технологий, я был очарован тем, как gpt-oss:120b работает в Duck.ai. Вместо того, чтобы наблюдать сам процесс мышления, он просто выдаёт решение. Со временем я оценил возможность наблюдать эту информацию, так как это углубляет моё понимание принципов его работы.

Мне может быть интересно наблюдать за процессом, приводящим к результату работы модели, так как это часто проливает свет на области, где могли возникнуть ошибки. Я думаю, понимание того, как работают эти модели, важно и даже может быть полезным. Было бы здорово, если бы Duck.ai предоставил пользователям возможность просматривать или скрывать эту информацию в своих настройках.

Модель не поддерживает загрузку личных файлов, таких как документы или образцы кода, для использования с ней. Хотя другие альтернативы предлагают возможность загрузки изображений, ни одна из них, насколько я вижу, не предоставляет такую функцию. Это может быть связано с проблемами конфиденциальности, но это ограничивает способы использования инструмента.

В целом, это действительно хорошо, и поскольку это построено внутри веб-приложения, которое очень напоминает ChatGPT или Google Gemini, оно приветливо и просто в использовании. Оно сохраняет ваши недавние чаты в боковой панели, а настройки позволяют детально настроить желаемый формат ответов. Всё это, конечно, относится к любой из моделей, которые вы используете на Duck.ai, а не только к gpt-oss:120b.

Как любитель технологий, я думаю, что, возможно, наткнулся на что-то особенное в моём наборе инструментов искусственного интеллекта — GPT-oss:120b. Но прежде чем я смогу окончательно сказать, что это сокровище, мне нужно провести с ним некоторое время. Пока же я просто рад, что могу поэкспериментировать с этой мощной моделью без необходимости в огромной ферме графических процессоров или NVIDIA Blackwell Pro!

Смотрите также

2025-09-11 13:10