Разбор темы
Как запустить нейросеть на 295 млрд параметров на обычном ПК с 64 ГБ памяти
Движок runNburn на Rust запускает GGUF-модели, чей файл больше доступной оперативной памяти. Авторы не нашли простой связи между подгрузкой весов с диска и ошибками нехватки памяти.
Обновлено 02.08.2026
Как можно раскрыть3+
Использовать экспертный стриминг: движок подтягивает нужные веса с диска через io_uring без переквантовки.
Сравнить стабильность: там, где llama.cpp выдает ошибку нехватки памяти на Metal, runNburn продолжает генерацию.
Показать возможности для мобильной разработки: проект поддерживает Android через C ABI и экспериментальный Vulkan.
Точки зрения2+
Автор runNburn: инструмент создан для случаев, когда модель не влезает в память и лучше пусть она работает медленно, чем не работает совсем.
Сравнение с llama.cpp: если модель полностью помещается в видеопамять, классические решения все еще работают быстрее за счет оптимизированных ядер.