Всё чаще руководители спрашивают: можно ли поставить нейросеть на обычный VDS и не платить за внешние сервисы. Короткий ответ — кое-что можно, но совсем не то, что показывают в роликах про ChatGPT. Разберём, какие задачи реально решаются на сервере без видеокарты, где начинаются ограничения и когда разумнее подключить сотрудников к готовым облачным нейросетям.
Коротко
- Обычный VDS — это процессор и оперативная память без видеокарты. Большие языковые модели на нём не работают или работают слишком медленно для живого общения.
- Небольшие модели в сжатом виде запускаются и на процессоре: для черновиков, классификации обращений, поиска по своим документам, распознавания речи из записей.
- Главное ограничение — оперативная память и скорость ответа, особенно когда сервером пользуются несколько человек одновременно.
- Если сотрудникам нужен уровень ChatGPT или Claude, обычно проще и дешевле дать им доступ к облачным нейросетям, а не строить свой сервер.
Почему без видеокарты всё сложнее
Нейросеть, которая пишет тексты, — это огромная таблица чисел. Их называют параметрами, и у современных моделей их миллиарды. Чтобы получить каждое следующее слово ответа, компьютер перемножает большую часть этой таблицы. Видеокарта делает такие вычисления тысячами параллельно, процессор — гораздо скромнее. Отсюда разница в скорости, которая у крупных моделей превращает ответ за секунды в ответ за минуты.
Вторая причина — память. Модель целиком загружается в оперативную память, и пока она там не поместилась, она не запустится вовсе. На VDS память — один из самых дорогих ресурсов тарифа, поэтому именно она обычно и ограничивает выбор.
Есть приём, который делает запуск на процессоре возможным, — квантование. Это сжатие модели: числа хранятся с меньшей точностью, файл становится в несколько раз меньше, а качество ответов снижается незначительно. Большинство моделей для запуска «у себя» распространяются именно в таком сжатом виде.
Что реально можно запустить на обычном VDS
Ниже — задачи, которые в принципе решаются на процессоре. Насколько комфортно это будет работать, зависит от конкретной модели, объёма данных и нагрузки, поэтому начинайте с теста.
| Задача | Что используется | Насколько реально без видеокарты |
|---|---|---|
| Черновики писем, краткие пересказы, ответы по шаблону | Небольшая языковая модель в сжатом виде | Реально, но медленнее облачных сервисов; качество ниже, чем у крупных моделей |
| Разметка обращений: «жалоба», «заказ», «вопрос по оплате» | Небольшая модель или классификатор | Хорошо подходит: ответ короткий, нагрузка небольшая |
| Поиск по своим документам по смыслу, а не по словам | Модель для «векторов» (числового описания смысла текста) и база для поиска | Реально: такие модели маленькие, тяжёлая часть — один раз обработать документы |
| Расшифровка аудиозаписей звонков и совещаний | Модель распознавания речи | Реально для записей «в фоне»; в реальном времени на процессоре — сложно |
| Генерация картинок | Модели для изображений | Технически возможно, практически слишком медленно для работы |
| Обучение своей модели с нуля или дообучение | Большие вычисления | Без видеокарты — нет |
Для запуска моделей на процессоре есть бесплатные программы, например llama.cpp и Ollama. Они берут на себя загрузку модели и дают простой способ отправлять ей запросы. Конкретные шаги установки и выбор модели лучше смотреть в их документации: и программы, и модели обновляются часто.
Сколько ресурсов понадобится
Точные цифры зависят от модели и способа сжатия, поэтому дадим логику, а не таблицу тарифов.
- Оперативная память. Ориентир — размер файла модели плюс запас для системы и самой программы. Модель на несколько миллиардов параметров в сжатом виде обычно занимает несколько гигабайт. Если памяти не хватает, сервер начинает использовать диск вместо памяти, и работа становится очень медленной.
- Процессор. Чем больше ядер и чем они быстрее, тем быстрее ответ. Но рост не бесконечный: упор часто идёт в скорость памяти. На тарифах с переподпиской, когда ядра делятся с соседями, скорость может заметно плавать.
- Диск. Модели — это файлы на гигабайты, их удобно держать несколько для сравнения. Быстрый диск ускоряет загрузку модели, но на скорость ответа почти не влияет.
- Число одновременных пользователей. Один человек и пять человек — разная нагрузка. Запросы выстраиваются в очередь, и пятый ждёт, пока сервер ответит первым четырём.
Все цифры здесь — ориентиры. Реальная потребность зависит от модели, длины запросов и нагрузки. Возьмите сервер на месяц, проверьте на своих задачах и только потом решайте, подходит ли такой вариант.
Ограничения, о которых стоит знать заранее
- Качество. Небольшие модели заметно уступают крупным облачным: чаще ошибаются в фактах, хуже понимают длинные инструкции, слабее пишут по-русски. Для черновика это терпимо, для итогового текста клиенту — нужна проверка человеком.
- Скорость. Ответ появляется по словам, и на длинный текст уходит ощутимое время. Если ждать ответа будут несколько сотрудников сразу, их опыт будет хуже, чем у облачного сервиса.
- Обслуживание. Свой сервер с нейросетью — это ещё одна система, которую нужно обновлять, защищать и резервировать. Если доступ к ней открыт из интернета без пароля, им может воспользоваться кто угодно.
- Ожидания. Самая частая проблема — сравнение с ChatGPT. Своя маленькая модель на процессоре решает узкие задачи, а не заменяет универсального помощника.
Когда свой сервер оправдан
Своя модель на VDS имеет смысл в нескольких случаях:
- данные нельзя или не хочется отправлять во внешний сервис, а задача узкая и повторяющаяся — разметка обращений, поиск по внутренней базе знаний;
- нужно обработать большой архив «в фоне», без спешки — например, расшифровать записи совещаний за прошлый год;
- хочется попробовать технологию и понять, полезна ли она компании, прежде чем вкладываться в сервер с видеокартой.
Если же задача звучит как «нужен умный помощник, который пишет тексты, отвечает на вопросы и помогает с таблицами», своим VDS без видеокарты её не решить на привычном уровне качества.
Когда проще подключиться к облачным нейросетям
Для большинства офисных задач лучше работают крупные облачные модели: ChatGPT, Claude и подобные. Они отвечают быстро, хорошо понимают русский и не требуют своего железа. Сложность в другом: из России доступ к ним ограничен, и сотрудники ищут обходные пути на рабочих компьютерах, что плохо и для безопасности, и для порядка.
Вариант для компании — отдельный сервер, через который сотрудники работают с зарубежными сервисами. Такой сервер не считает нейросеть сам, ему не нужна видеокарта: он лишь даёт стабильный доступ. Например, есть готовая аренда сервера для работы с зарубежными нейросетями — доступ к ChatGPT и Claude для сотрудников компании.
Перед тем как отправлять во внешний сервис документы с персональными данными клиентов или коммерческой тайной, согласуйте правила с юристом и запишите их для сотрудников: что можно отправлять, а что нельзя.
Как принять решение: короткий чек-лист
- Сформулируйте задачу одной фразой: что на входе, что на выходе, сколько раз в день.
- Определите, можно ли отправлять эти данные во внешний сервис.
- Если можно и нужно высокое качество — облачная нейросеть с организованным доступом.
- Если нельзя и задача узкая — тест небольшой модели на VDS с достаточным запасом памяти.
- Если нельзя, а нужно качество крупной модели и быстрые ответы — это уже сервер с видеокартой и отдельный бюджет.
- Решите заранее, кто будет обслуживать новый сервер.
Частые вопросы
Можно ли запустить ChatGPT на своём VDS
Нет. Модели ChatGPT принадлежат компании-разработчику и работают только в её облаке. На своём сервере можно запустить другие, открытые модели, но небольшие из них заметно уступают по качеству.
Сколько памяти нужно для нейросети на VDS
Ориентируйтесь на размер файла выбранной модели плюс запас для системы. Для небольших моделей в сжатом виде это обычно несколько гигабайт, для крупных — десятки. Точнее покажет только тест на ваших задачах.
Будет ли нейросеть на процессоре работать для нескольких сотрудников
Будет, но запросы встанут в очередь, и каждый будет ждать дольше. Для пары человек и коротких задач это терпимо, для отдела, который весь день общается с ботом, обычно нет.
Нужна ли видеокарта, чтобы просто открыть ChatGPT через сервер
Нет. Сервер доступа к облачным нейросетям ничего не вычисляет сам, он только передаёт запросы. Видеокарта нужна, когда модель работает на вашем собственном железе.