Кластер "Уран"

Адрес кластера "Уран" umt.imm.uran.ru

Аннотация

Суперкомпьютер «Уран» собран на базе Blade серверов фирмы Hewlett-Packard. Он состоит из 81 вычислительного узла, которые установлены в модулях с высокой плотностью упаковки.
Вычислительные узлы оснащены процессорами Intel Xeon, работающими на частотах 2.2-3.1 ГГц, 48-384 гигабайтами оперативной памяти и графическими ускорителями NVIDIA Tesla.
В общей сложности пользователям доступно 1542 вычислительных ядра CPU, 167 платы GPU и 13 Тбайт оперативной памяти. Система хранения суперкомпьютера «Уран» позволяет разместить до 140 Тбайт данных.
Для передачи данных между вычислительными узлами используется высокоскоростные сети Infiniband с пропускной способностью 20 Гбит/с и 100 Гбит/с. Доступ к суперкомпьютеру «Уран» осуществляется через городскую сеть УрО РАН в Екатеринбурге по технологии 10Gi Ethernet со скоростью 10 Гбит/c.

Для проведения научных и инженерных расчетов на суперкомпьютере установлено базовое программное обеспечение, включающее:

• Операционная система Linux;
• Система запуска задач Slurm;
• Языки программирования C, C++, Fortran;
• Компиляторы Intel, GNU, PGI;
• Библиотека Math Kernel Library (MKL) Intel;
• Реализации MPI: OpenMPI и MVAPICH2;
• Пакеты Matlab, ANSYS CFX Academic Research.

По заявкам пользователей на суперкомпьютере могут быть установлены компиляторы, библиотеки и пакеты программ, свободно распространяемые научным сообществом.

Краткое описание кластера

Кластер выполнен на базовых блоках (ББ) фирмы Hewlett-Packard . Каждый базовый блок объединяет вычислительные и коммуникационные модули.

Вычислительные узлы

Используются узлы нескольких типов, которые образуют основные разделы (partition) кластера. Внутри разделов (кроме debug) узлы связаны между собой высокоскоростной сетью Infiniband. Узлы разных разделов связаны между собой 1 Гбит/c Ethernet.

Раздел hiperf

1 узел tesla-v100 (2020.01)

•  два 18-и ядерных процессора Intel(R) Xeon(R) Gold 6240 CPU @ 2.60GHz; 
•  оперативная память 384 GB;
•  8 GPU Nvidia Tesla V100 (32 ГБ Global Memory)

1 узел tesla-a100 (2022.06)

•  два 24-х ядерных процессора Intel(R) Xeon(R) Gold 6240R CPU @ 2.40GHz; 
•  оперативная память 376 GB;
•  8 GPU Nvidia Tesla A100 (40 ГБ Global Memory)

1 узел tesla-a101 (2022.09)

•  два 12-и ядерных процессора Intel(R) Xeon(R) Gold 6246 CPU @ 3.30GHz; 
•  оперативная память 251 GB;
•  2 GPU Nvidia Tesla A100 (40 ГБ Global Memory)

Раздел apollo

16 узлов apollo[1-16] (2017.02)

•  два 18-и ядерных процессора Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz; 
•  оперативная память 256 GB;
•  кэш-память 45 MB SmartCache;
• локальный жесткий диск 1 TB

20 узлов apollo[17-36] (6 — 2019.12, 1 — 2020.01, 5 — 2020.01, 4 — 2021.11, 4 — 2022.10 )

•  два 18-и ядерных процессора Intel(R) Xeon(R) Gold 6254 CPU @ 3.10GHz; 
•  оперативная память 384 GB;

Узлы раздела apollo объединены высокоскоростной сетью Infiniband нового поколения 100 Гбит/с.

Раздел all

20 узлов tesla[1-20]

•  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
•  оперативная память 48 GB  
•  кэш-память 2 x 12 MB Level 2 cache
• локальный жесткий диск 120 GB

10 узлов tesla[21-30]

•  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
•  оперативная память 192 GB  
•  кэш-память 2 x 12 MB Level 2 cache 
•  8 GPU Tesla M2090 (6 ГБ Global Memory)
• локальный жесткий диск 400 GB 

13 узлов tesla[33-45]

•  два 8-и ядерных процессора Intel® Xeon® E5-2660 (2.2 GHz)
•  оперативная память 96 GB  
•  кэш-память 2 x 20 MB Level 2 cache 
•  8 GPU Tesla M2090 (6 ГБ Global Memory)
• локальный жесткий диск 400 GB

5 узлов tesla[48-52]

•  два 8-и ядерных процессора Intel® Xeon® E5-2650 (2.6 GHz)
•  оперативная память 64 GB  
•  кэш-память 2 x 20 MB Level 2 cache 
•  3 GPU Tesla K40m (12 ГБ Global Memory)
• локальный жесткий диск 400 GB

Узлы раздела all объединены высокоскоростной сетью Infiniband 20 Гбит/с.

Раздел debug

4 узла tesla[31-32,46-47]

•  два 8-и ядерных процессора Intel® Xeon® E5-2660 (2.2 GHz)
•  оперативная память 96 GB  
•  кэш-память 2 x 20 MB Level 2 cache 
•  8 GPU Tesla M2090 (6 ГБ Global Memory)
• локальный жесткий диск 400 GB

Узлы раздела debug объединены сетью 1 Гбит/c Ethernet.

Коммуникационная счетная среда

В качестве MPI – интерконнекта использована хорошо себя зарекомендовавшая технология Infiniband (IB). В качестве коммутатора IB использован 144 – портовый коммутатор Qlogic 9120.

Коммуникационная среда ввода/вывода

В качестве I/O – интерконнекта использована выделенная сеть Gigabit Ethernet. Сеть имеет двухуровневую структуру. Первый уровень организован на коммутирующих модулях GbE2c Ethernet Blade Switch for HP c-Class BladeSystem, установленных в шасси ББ. К коммутирующему модулю каждого ББ внутренними гигабитными каналами подключены вычислительные модули и модуль управления. Коммутирующий модуль каждого ББ подключен к коммутатору Ethernet HP ProCurve Switch 4208v1-192. К нему подключены все ВМ, порты Host – машин, консоль управления и мониторинга.

Управляющий сервер (HOST- машина)

Управляющий сервер ВС - HP DL180G5 на основе процессоров Intel Xeon 5430.
Управляющий сервер содержит:

•  два четырёхъядерных процессора с тактовой частотой 2,6 ГГц;
• 16 ГБ оперативной памяти;
• дисковую подсистему RAID5, состоящую из 5 дисков SATA объемом 500 ГБ каждый ;
• 10/100/1000 Base-T Ethernet интерфейс;
•  видеоадаптер, порт USB 2, порты мыши, клавиатуры.