Запустить корпоративную LLM на собственном железе — задача, которая ещё пару лет назад звучала как тема для отдельной R&D-команды, а сегодня решается силами одного айтишника с правильно подобранным компьютером и Cursor под рукой. В этом материале мы разбираем стрим школы 2030ai, где Василий вместе с Азатом — основателем компании, производящей медицинские симуляторы — пошагово прошли весь путь: от постановки задачи до выбора видеокарты, оперативной памяти и блока питания. Получился развёрнутый ликбез про то, зачем компаниям нужен локальный искусственный интеллект, как устроена его инфраструктура, какие модели выбирать и сколько денег закладывать на железо.
Зачем компании локальная LLM
Азат пришёл со вполне типичной для среднего бизнеса задачей: внутри компании огромный документооборот, который сегодня обрабатывается вручную. Счета загружаются в CRM, к ним подтягиваются товарные накладные, ищется соответствие между документами, всё синхронизируется с 1С. На каждом шаге нужно человеческое время — и его уходит много.
OCR-сервисов на рынке достаточно, но у них есть два ограничения. Во-первых, они не отдают данные в готовом виде для 1С и других учётных систем. Во-вторых, они плохо справляются с реально сложными случаями: смешанным текстом, печатями, ручными подписями, рукописными пометками. А именно такие документы и составляют значительную часть потока.
Современные LLM с этим работают гораздо аккуратнее: умеют отделять печать от текста, распознавать рукописный почерк, корректно вытаскивать структурированные данные. Но есть фундаментальное ограничение: компания работает с медицинскими данными, и отправлять их в облако нельзя ни при каких условиях.