Как спланировать корпоративную инфраструктуру инференса ИИ
Практический подход к описанию моделей, нагрузки и условий площадки для выбора оборудования и согласования приёмки.
Начните до составления списка оборудования
Запрос на «достаточную мощность ИИ» оставляет открытыми ключевые решения о закупке. Корпоративный помощник, визуальная инспекция и пакетная обработка документов создают разные нагрузки на одинаковое оборудование. Сначала опишите бизнес-сервис, затем превратите спрос в проверяемый профиль нагрузки. Это даст закупщикам и инженерам общую основу для сравнения предложений.
Опишите сервис измеримыми параметрами
Укажите модель и версию, точность, длину контекста, типичные размеры входных и выходных данных, число параллельных запросов и часы работы. Для интерактивного сервиса согласуйте целевое время ответа и метод измерения. Для пакетной обработки задайте объём и допустимое окно выполнения. Опишите программный стек и необходимость дообучения одновременно с инференсом. Репрезентативный набор тестов полезнее одного показателя вычислительной мощности.
Используйте спецификации ускорителя как исходные данные
В каталоге есть NVIDIA L40S, которую производитель позиционирует для инференса, обучения и графики. Официальная спецификация включает 48 ГБ памяти GDDR6. Этот параметр сам по себе не определяет производительность приложения или число обслуживаемых пользователей. До выбора конфигурации проверьте потребление памяти моделью, драйверы, совместимость сервера и результаты тестов на целевой нагрузке.
Свяжите вычисления с условиями площадки
Для каждого узла определите место в стойке, питание, охлаждение, сетевые подключения и доступ к данным. Предел мощности ускорителя отличается от потребления полностью оснащённого сервера. Уточните размещение моделей и документов, процедуру обновления и права доступа. Мониторинг и восстановление нужно спланировать вместе с первой установкой.
Согласуйте проверяемое предложение
Добавьте в запрос описание нагрузки, прогноз роста, адрес площадки, свободное место в стойках и ограничения питания и охлаждения. В предложении должны быть точные модели, допущения, лицензии и нерешённые вопросы. До закупки согласуйте тесты времени ответа, стабильности и восстановления. Решение о расширении принимайте на основе измерений первой очереди.
Документация производителя
О проектировании
Статья служит для обсуждения проекта и не является проверенным составом оборудования. Совместимость, цены и результаты на площадке уточняются отдельно. Обложка является концептуальной иллюстрацией темы.