Инструмент для запуска языковых моделей на картах Intel Arc получил поддержку новейшей B70 Pro
adblock check

Инструмент для запуска языковых моделей на картах Intel Arc получил поддержку новейшей B70 Pro

Проект по развёртыванию ИИ на аппаратном обеспечении Intel Arc получил обновление vllm-0.14.0-b8.2, которое поддерживает флагманский графический ускоритель
Обложка: Neowin

Intel LLM-Scaler — это инструмент для развертывания больших языковых моделей на оборудовании Intel Arc, поставляемый в виде Docker-контейнера. Особый упор делается на поддержку графических ускорителей серии Battlemage последнего поколения, в том числе конфигураций с несколькими картами в рамках инициативы Project Battlematrix, запущенной в прошлом году.

Кроме добавления поддержки недавно анонсированной видеокарты Arc Pro B70, образ платформы был обновлен до версии 26.18.8.2 и получил несколько небольших изменений переменных окружений.

Этот профессиональный ускоритель лишь недавно поступил в продажу и при стоимости менее 1000 долларов является конкурентоспособным среди графических решений с объёмом памяти 32 гигабайта и более.

Новая версия LLM Scaler выложена на GitHub в виде исходных кодов и доступна через Docker Hub.

Источник

Limows
@Limows
Автор
Линуксоид, техно-ретро-блоггер со стажем
Консольщик
Компьютеры Компьютеры
21,1K участников
Вступить
ИИ ИИ
17,9K участников
Вступить
Комментариев пока нет
Оставьте комментарий...
Оставьте комментарий...