Хранилище для ИИ: проектируйте путь данных, а не только ёмкость
Разделите активные наборы данных, общие файлы и защищённые копии, чтобы согласовать хранилище с рабочими процессами ИИ.
Проследите путь набора данных
Путь данных ИИ обычно начинается с загрузки, проходит подготовку и повторные чтения и заканчивается хранением результатов или архивом. Покупка одной лишь ёмкости не учитывает ожидание данных на каждом этапе. Изобразите путь от источника к вычислительному узлу и отметьте одновременно работающие этапы. Так можно понять, что нужно улучшить сначала: локальное рабочее хранилище, общий сервис или сетевое соединение.
Разделите скорость и длительное хранение
Измерьте размеры файлов, характер чтения и записи, активный объём, рост и число параллельных задач. Для мелких случайных чтений и крупных последовательных передач нужны разные предположения о производительности. При необходимости выделите быстрый рабочий уровень и ёмкий уровень хранения. Оставьте место для метаданных, восстановления массива и эксплуатации: весь установленный объём не равен доступному приложению.
Проверяйте платформу вместе с накопителями
Представленная в каталоге Supermicro SSG-121E-NES24R — платформа хранения 1U с поддержкой 24 позиций E1.S NVMe согласно производителю. Наличие позиций не означает включённые накопители, ёмкость или лицензию ПО. До расчёта полезной ёмкости и предложения проверьте артикулы накопителей, прошивки, требования к ресурсу записи и поддержку программного обеспечения.
Заложите защиту и восстановление
Согласуйте допустимую потерю данных и время недоступности сервиса. На их основе спланируйте защиту, резервное копирование и тесты восстановления. Резервные компоненты и репликация решают иные задачи, чем восстанавливаемая резервная копия. Определите ответственного за резервирование и способ отделения копий от рабочей среды. До приёмки выполните восстановление репрезентативных данных.
Передайте эксплуатационный контекст в запросе
Укажите текущую и будущую ёмкость, размеры файлов, параллельные задачи, клиентские интерфейсы и существующую сеть. Добавьте цели восстановления, сроки хранения и ограничения площадки. В предложении нужно разделить исходную и полезную ёмкость, предположения о скорости, лицензии и поддержку. Приёмка должна проверять реальный путь данных при параллельной работе, а не опираться только на тест отдельного устройства.
Документация производителя
О проектировании
Статья служит для обсуждения проекта и не является проверенным составом оборудования. Совместимость, цены и результаты на площадке уточняются отдельно. Обложка является концептуальной иллюстрацией темы.