Кластер "Уран"

Аннотация

Суперкомпьютер «Уран» собран на базе Blade серверов фирмы Hewlett-Packard. Он состоит из 178 вычислительных узлов, установленных в модулях с высокой плотностью упаковки.
Вычислительные узлы оснащены  Intel  Xeon,  работающими на частотах 2.2-3 ГГц, 16-200 гигабайтами оперативной памяти и графическими ускорителями NVIDIA Tesla.
В общей сложности пользователям доступно 1768 вычислительных ядра CPU, 362 платы GPU и 4 Тбайт оперативной памяти. Система хранения суперкомпьютера «Уран» позволяет разместить до 10 Тбайт данных.
Для передачи данных между вычислительными узлами используется высокоскоростная сеть Infiniband с пропускной способностью 20 Гбит/сек. Доступ к суперкомпьютеру «Уран» осуществляется через городскую сеть УрО РАН в Екатеринбурге по технологии 10Gi Ethernet со скоростью 10 Гбит/c.

Для проведения научных и инженерных расчетов на суперкомпьютере установлено базовое программное обеспечение, включающее:

  • Операционная система Linux;
  • Система запуска задач Slurm;
  • Языки программирования C, C++, Fortran;
  • Компиляторы Intel, GNU, PGI;
  • Библиотека Math Kernel Library (MKL) Intel;
  • Реализации MPI: OpenMPI и MVAPICH2;
  • Пакеты Matlab, ANSYS CFX Academic Research.

По заявкам пользователей на суперкомпьютере могут быть установлены компиляторы, библиотеки и пакеты программ, свободно распространяемые научным сообществом.

Краткое описание кластера

Кластер выполнен на базовых блоках (ББ) фирмы Hewlett-Packard . Каждый базовый блок объединяет вычислительные (ВМ) и  коммуникационные модули.

Вычислительные модули

Используются ВМ нескольких типов.

128 узлов

  •  два 4-х ядерных процессора Intel® Xeon® E5450 (3.0 GHz); 
  •  оперативная память 16 GB PC2-5300, Registered DDR2-667;
  •  кэш-память 2 x 6 MB Level 2 cache (5400 Sequence);
  • локальный жесткий диск 120 GB

20 узлов

  •  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
  •  оперативная память 48 GB  
  •  кэш-память 2 x 12 MB Level 2 cache
  •  8 GPU Tesla M2050 (3 ГБ Global Memory).
  • локальный жесткий диск 120 GB

10 узлов

  •  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
  •  оперативная память 192 GB  
  •  кэш-память 2 x 12 MB Level 2 cache 
  •  8 GPU Tesla M2090 (6 ГБ Global Memory)
  • локальный жесткий диск 400 GB 

18 узлов

  •  два 8-и ядерных процессора Intel® Xeon® E5-2660 (2.2 GHz)
  •  оперативная память 96 GB  
  •  кэш-память 2 x 20 MB Level 2 cache 
  •  8 GPU Tesla M2090 (6 ГБ Global Memory)
  • локальный жесткий диск 400 GB

 

6 узлов

  •  два 8-и ядерных процессора Intel® Xeon® E5-2650 (2.6 GHz)
  •  оперативная память 64 GB  
  •  кэш-память 2 x 20 MB Level 2 cache 
  •  3 GPU Tesla Tesla K40m0 (12ГБ Global Memory)
  • локальный жесткий диск 400 GB

 

Коммуникационная счетная среда

В качестве MPI – интерконнекта использована хорошо себя зарекомендовавшая технология Infiniband (IB). Коммутаторы в шасси ББ HP Blade Systems образуют первый уровень IB - коммутации. В качестве коммутатора IB второго уровня использован 144 – портовый коммутатор Qlogic 9120.

Коммуникационная среда ввода/вывода

В качестве I/O – интерконнекта использована выделенная сеть Gigabit Ethernet. Сеть имеет двухуровневую структуру. Первый уровень организован на коммутирующих модулях GbE2c Ethernet Blade Switch for HP c-Class BladeSystem, установленных в шасси ББ. К коммутирующему модулю каждого ББ внутренними гигабитными каналами подключены вычислительные модули и модуль управления. Коммутирующий модуль каждого ББ подключен к коммутатору Ethernet HP ProCurve Switch 4208v1-192. К нему подключены все ВМ, порты Host – машин, консоль управления и мониторинга.

Управляющий сервер (HOST- машина)

Управляющий сервер ВС - HP DL180G5 на основе процессоров Intel Xeon 5430.
Управляющий сервер содержит:

  •  два четырёхъядерных процессора с тактовой частотой 2,6 ГГц;
  • 16 ГБ оперативной памяти;
  • дисковую подсистему RAID5, состоящую из 5 дисков SATA объемом 500 ГБ каждый ;
  • 10/100/1000 Base-T Ethernet интерфейс;
  •  видеоадаптер, порт USB 2, порты мыши, клавиатуры.