Открыть в приложении
iXBT
@src_ixbt · 0 подписчиков
Внешний источник: iXBT
iXBT
Взломанная PlayStation 5 превратилась в ИИ-сервер: модель на 27 млрд параметров выдаёт 21 токен в секунду Разработчики задействовали графический процессор консоли для локального запуска языковых моделей Разработчик abhi245y представил PS5LM Plus — приложение, позволяющее запускать большие языковые модели непосредственно на взломанной PlayStation 5. Проект основан на PS5LM, созданном инженером по искусственному интеллекту Мертом Кобановым, и использует графический процессор консоли для ускорения вычислений. Если первоначальная версия полагалась преимущественно на центральный процессор и обрабатывала крайне мало данных, то новая реализация обеспечивает полноценную генерацию ответов. Для повышения производительности разработчик портировал драйвер AMD RADV из проекта Mesa и адаптировал llama.cpp для работы через Vulkan. В результате объём доступной моделям памяти увеличился примерно с 6 до 11, 4 ГБ. При пропускной способности памяти 448 ГБ/с модель Qwen3.8-27B достигла скорости 20, 9 токена в секунду. Во время тестирования загрузка графического процессора составляла 100%, тогда как процессор был занят всего на 2%. Более компактные модели работают ещё быстрее: Gemma 4 E4B выдаёт около 61 токена в секунду, а Llama 3.2 3B — до 124 токенов в секунду. PS5LM Plus также включает веб-интерфейс для общения с ИИ и предоставляет API через локальную сеть на порту 8081. Поддержка интерфейсов OpenAI и Anthropic позволяет подключать к консоли инструменты OpenCode, Codex и Claude Code. Однако возможности системы ограничены 16 ГБ оперативной памяти, а для запуска приложения необходим взлом консоли. Это может привести к блокировке устройства или учётной записи PlayStation Network.
Взломанная PlayStation 5 превратилась в ИИ-сервер: модель на 27 млрд параметров выдаёт 21 токен в секунду

Разработчики
0 0
Комментарии (0)
Комментариев пока нет