Как развернуть корпортивной LLM на собственном железе

Освоите запуск собственного аналога llm.2030.ru в закрытом корпоративном контуре.

Профи
LM StudioOllamaOpen WebUIOpenRouterHugging Face

Видео недоступно

Чтобы просмотреть видео, нужна подписка

Задачи

  • - Устанавливаем модели через LM Studio и AllLama
  • - Подключаем OpenWebUI и OpenRouter
  • - Используем Tuna для удалённого доступа
  • - Выбираем видеокарты RTX 4090 и A100
  • - Настраиваем оперативную память и SSD
  • - Разбираем квантование моделей
  • - Работаем с Hugging Face и интеграцией WebSearch
  •  
  • Показываем, как собрать рабочую систему для безопасного документооборота и AI