Зачем компании локальный LLM-сервер? Он запускает языковую модель внутри периметра, поэтому документы, переписка и персональные данные не уходят в зарубежное облако. С 1 июля 2025 года 152-ФЗ прямо запрещает при сборе хранить данные граждан РФ в иностранных базах. Выбор оборудования начинается с размера модели, числа пользователей и сценария.
Это руководство подготовила инженерная команда Beijing Huamei Xuntong Technology Co., Ltd. (TouchVision) — производителя, основанного в 2012 году, который разрабатывает и выпускает промышленные дисплеи, встраиваемые платы, HMI-панели, промышленные шлюзы и граничные ИИ-компьютеры.
Главное
- Локальный LLM-сервер держит запросы, документы и ответы модели внутри компании.
- С 01.07.2025 ч. 5 ст. 18 152-ФЗ запрещает при сборе хранить ПДн граждан РФ в иностранных базах данных.
- Железо подбирают по размеру модели, квантованию, числу пользователей и длине контекста, а не только по TOPS.
- База знаний (RAG) требует аккуратной подготовки документов и разграничения доступа.
- Для ввоза и продажи в ЕАЭС проверьте соответствие ТР ТС 004/2011 и ТР ТС 020/2011.
Что такое локальный LLM-сервер и кому он нужен?
Локальный LLM-сервер — это устройство или сервер, на котором большая языковая модель работает полностью внутри компании: запросы, документы и ответы не покидают корпоративную сеть. Такой формат ещё называют on-premise LLM или приватной LLM, в отличие от облачных сервисов, куда текст отправляется по API.
Чаще всего локальный LLM-сервер нужен там, где в запросах неизбежно оказываются чувствительные сведения: договоры и коммерческая тайна, медицинские и кадровые документы, обращения клиентов, техническая документация производства. Второй мотив — предсказуемость: нет подписки с оплатой за токены, нет зависимости от доступности зарубежного сервиса и ограничений на его использование.
Что изменилось в 152-ФЗ с 1 июля 2025 года?
С 1 июля 2025 года действует новая редакция ч. 5 ст. 18 Федерального закона № 152-ФЗ: при сборе персональных данных граждан РФ их запись, систематизация, накопление, хранение, уточнение и извлечение с использованием баз данных за пределами России не допускаются. Изменения внесены Федеральным законом от 28.02.2025 № 23-ФЗ.
Раньше закон формулировал обязанность оператора использовать российские базы данных; теперь это прямой запрет на иностранные базы на этапе сбора, и, как отмечают юристы, он распространяется и на лиц, обрабатывающих данные по поручению оператора. Для ИИ это означает простую вещь: если сотрудник вставляет в облачный чат-бот за рубежом резюме кандидата или обращение клиента с ФИО и телефоном, компания рискует нарушить требования о локализации персональных данных. Трансграничная передача после первичного сбора в РФ по-прежнему возможна, но требует соблюдения отдельных процедур, включая уведомление Роскомнадзора (портал персональных данных).
Локальная обработка ПДн на собственном сервере снимает этот вопрос на уровне архитектуры: модель, векторная база и журналы запросов физически находятся в России, на вашем оборудовании. Это не отменяет остальных обязанностей оператора (политика обработки, меры защиты, согласия), но убирает главный риск.
Какое оборудование нужно для локальной языковой модели?
Требования к железу определяются размером модели, допустимой точностью (квантованием), числом одновременных пользователей и длиной контекста; для отдела из нескольких человек хватает граничного устройства, для всей компании нужен стоечный сервер.
| Сценарий | Типичная модель | Класс оборудования |
|---|---|---|
| Ассистент отдела, ответы по базе знаний | Компактные модели 7–8 млрд параметров, квантование INT8/INT4 | Граничное устройство с ИИ-ускорителем, десятки TOPS |
| Корпоративный чат-бот, несколько отделов | Модели 14–32 млрд параметров | Стоечный сервер с несколькими ИИ-процессорами |
| Дообучение на своих данных, множество сервисов | Несколько моделей, включая крупные | Кластер или несколько серверов 2U |
Обращайте внимание не только на пиковую производительность в TOPS, но и на объём памяти под модель, поддерживаемые форматы (INT8, FP16, BF16), энергопотребление и шум: устройство на 17 Вт можно поставить в офисный шкаф, а стоечный сервер требует серверной. Обязательно попросите у поставщика замер скорости генерации (токенов в секунду) на вашей модели и вашем типичном запросе.
Как работает база знаний (RAG) на своём сервере?
Корпоративная база знаний на основе RAG индексирует ваши документы в векторную базу, а языковая модель отвечает на вопрос, опираясь на найденные фрагменты; на локальном сервере и документы, и индекс остаются внутри компании.
Типичный процесс: загрузка регламентов, инструкций и договоров в форматах PDF, DOCX, PPTX или TXT; разбиение на фрагменты и построение индекса; поиск релевантных фрагментов при каждом вопросе; генерация ответа со ссылкой на источник. Качество зависит прежде всего от подготовки документов и разграничения доступа: бухгалтерия не должна получать ответы из кадровых приказов. Проверьте, умеет ли решение работать с правами пользователей и вести журнал запросов.
DeepSeek, Qwen или другая модель?
Для локального запуска выбирают открытые модели с хорошим качеством на русском языке и разрешительной лицензией; на практике чаще всего тестируют семейства DeepSeek и Qwen.
Сравнивайте модели на собственных задачах, а не по общим рейтингам: возьмите 30–50 реальных вопросов сотрудников и оцените точность, полноту и склонность к выдумыванию. Учитывайте лицензию модели, возможность квантования без заметной потери качества и поддержку модели на выбранном ИИ-ускорителе — не каждая модель сразу запускается на каждом чипе.
Какие требования ЕАЭС к самому устройству?
Сервер — это электротехническое изделие, поэтому при ввозе и продаже в странах ЕАЭС учитываются технические регламенты ТР ТС 004/2011 о безопасности низковольтного оборудования и ТР ТС 020/2011 об электромагнитной совместимости.
Конкретная форма подтверждения соответствия (сертификат или декларация) зависит от изделия и его блока питания, поэтому уточняйте её у поставщика или импортёра до закупки партии. Для малых пилотных партий заранее обсудите, кто выступает заявителем.
Какой локальный LLM-сервер TouchVision выбрать?
У TouchVision три уровня: граничный сервер YZ-B033 для отдела, компактный ИИ-хаб AI Super Agent и стоечный ИИ-сервер 2U до 576 TOPS для всей компании.
- YZ-B033 на ускорителе SOPHGO BM1684X: 32 TOPS INT8, смешанная точность FP32/FP16/BF16/INT8, предварительная адаптация под DeepSeek и Qwen, вопросы и ответы по закрытой базе знаний (PDF, TXT, DOCX, PPTX), анализ до 32 видеопотоков, типичное потребление 17 Вт, работа от −20 до +70 °C, два порта LAN.
- AI Super Agent — корпоративный ИИ-хаб размером с ладонь для быстрого старта.
- Стоечный ИИ-сервер 2U объединяет несколько процессоров SOPHGO: до 576 TOPS INT8 на устройство, модели DeepSeek, QwQ-32B и Qwen2.5, а также частные модели и дообучение.
Инференс, индексация базы знаний и обработка запросов выполняются локально, без облачной подписки.
О TouchVision. С 2012 года TouchVision разрабатывает и производит промышленные сенсорные дисплеи, встраиваемые платы, панельные ПК, IoT-шлюзы и граничные ИИ-компьютеры — от серийных моделей до полноценных OEM/ODM-проектов. На серийную продукцию действует гарантия 3 года с момента поставки. О заказных разработках читайте на нашей странице услугах OEM/ODM (сайт TouchVision OEM/ODM) или в разделе о компании.
Вопросы и ответы
Можно ли использовать зарубежный облачный чат-бот с персональными данными?
Рискованно. С 1 июля 2025 года ч. 5 ст. 18 152-ФЗ запрещает при сборе записывать и хранить персональные данные граждан РФ в базах за пределами России. Безопаснее обрабатывать такие запросы на локальном LLM-сервере.
Сколько стоит владение локальным LLM-сервером по сравнению с облаком?
Основные затраты — покупка оборудования и внедрение; платы за токены нет. При постоянной нагрузке отдела или компании локальное решение обычно окупается быстрее, чем подписка, но точный расчёт зависит от числа пользователей и выбранной модели.
Какие модели работают на YZ-B033?
Устройство предварительно адаптировано под семейства DeepSeek и Qwen; другие открытые модели можно оценить по запросу.
Нужен ли интернет для работы локальной LLM?
Нет. Инференс, индексация базы знаний и обработка запросов выполняются внутри сети компании; интернет нужен только для обновлений, если вы их разрешаете.
Какие документы нужны для ввоза ИИ-сервера в Россию?
Как правило, подтверждение соответствия техническим регламентам ЕАЭС ТР ТС 004/2011 и ТР ТС 020/2011. Форму (сертификат или декларация) уточняют для конкретного изделия и блока питания.
Источники и нормативные акты
- КонсультантПлюс: ст. 18 Федерального закона № 152-ФЗ «О персональных данных»
- Lidings: с 01.07.2025 вступает в силу закон, ужесточающий требования о локализации ПДн (23-ФЗ)
- Роскомнадзор: портал персональных данных
- ЕЭК: ТР ТС 004/2011 «О безопасности низковольтного оборудования»
- ЕЭК: ТР ТС 020/2011 «Электромагнитная совместимость технических средств»
Нужна рекомендация для вашего проекта?
Отправьте задачу, объёмы и условия эксплуатации через форму запроса, и инженер TouchVision предложит конфигурацию, коммерческое предложение и план поставки образцов. Также можно позвонить или написать в WhatsApp: +86 135 0532 6001, e-mail: sales@ecovox.uk.