Независимый портал · не связан с NVIDIA
БлогГайды

Запуск LLM

Как поднять языковую модель на своём железе: форматы GGUF, квантование, размер контекста и выбор бэкенда. От установки до первого ответа в консоли.

В этой категории пока нет статей.