Вычислительные ресурсы

ИММ УрО РАН предоставляет пользователям для работы следующие вычислительные средства:

  1. "Уран" — гибридный вычислитель кластерного типа;
  2. МВС1000/17ЕК — многопроцессорный вычислитель кластерного типа.

п/п
Имя*
вычислителя
Год
Кол-во
ядер 
Процессор
Объем
ОП
Коммуникационная среда
ОС
Пиковая
производ-сть
(Tflop/s)
Производительность
на тесте Linpack
(Tflop/s)
1
2013
1864 CPU
352 GPU
Xeon
(3.0 ГГц)
NVIDIA Tesla
6976 ГБ
Infiniband, GiEthernet
Linux
216.56
105.36
2
МВС 1000/17ЕК
(um32)
2004
2x16
Xeon
(2.4 ГГц)
64 ГБ
GiEthernet x2
Linux
0.153
0.108

* —  в скобках указано доменное имя управляющей машины в домене imm.uran.ru.

Кластер um32 — с февраля 2010 года используется для обучения студентов.

Все вычислители доступны пользователям по каналам Интернет и инфраструктуру городской сети УрО РАН круглосуточно.

Кластер "Уран"

Аннотация

Суперкомпьютер «Уран» собран на базе Blade серверов фирмы Hewlett-Packard. Он состоит из 155 вычислительных узлов, установленных в модулях с высокой плотностью упаковки.
Вычислительные узлы оснащены процессорами Intel Xeon, работающими на частотах 2.2-3 ГГц, 16-256 гигабайтами оперативной памяти и графическими ускорителями NVIDIA Tesla.
В общей сложности пользователям доступно 1940 вычислительных ядра CPU, 314 платы GPU и 4 Тбайт оперативной памяти. Система хранения суперкомпьютера «Уран» позволяет разместить до 10 Тбайт данных.
Для передачи данных между вычислительными узлами используется высокоскоростные сети Infiniband с пропускной способностью 20 Гбит/с и 100 Гбит/с. Доступ к суперкомпьютеру «Уран» осуществляется через городскую сеть УрО РАН в Екатеринбурге по технологии 10Gi Ethernet со скоростью 10 Гбит/c.

Для проведения научных и инженерных расчетов на суперкомпьютере установлено базовое программное обеспечение, включающее:

  • Операционная система Linux;
  • Система запуска задач Slurm;
  • Языки программирования C, C++, Fortran;
  • Компиляторы Intel, GNU, PGI;
  • Библиотека Math Kernel Library (MKL) Intel;
  • Реализации MPI: OpenMPI и MVAPICH2;
  • Пакеты Matlab, ANSYS CFX Academic Research.

По заявкам пользователей на суперкомпьютере могут быть установлены компиляторы, библиотеки и пакеты программ, свободно распространяемые научным сообществом.

Краткое описание кластера

Кластер выполнен на базовых блоках (ББ) фирмы Hewlett-Packard . Каждый базовый блок объединяет вычислительные (ВМ) и  коммуникационные модули.

Вычислительные модули

Используются ВМ нескольких типов.

16 узлов apollo[1-16] (февраль 2017)

  •  два 18-и ядерных процессора Intel(R) Xeon(R) CPU E5-2697 v4 @ 2.30GHz; 
  •  оперативная память 256 GB;
  •  кэш-память 45 MB SmartCache;
  • локальный жесткий диск 1 TB

Узлы раздела apollo объединены высокоскоростной сетью Infiniband нового поколения 100 Гбит/с.

20 узлов tesla[1-20]

  •  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
  •  оперативная память 48 GB  
  •  кэш-память 2 x 12 MB Level 2 cache
  • локальный жесткий диск 120 GB

10 узлов tesla[21-30]

  •  два 6-и ядерных процессора Intel® Xeon® X5675 (3.07GHz)
  •  оперативная память 192 GB  
  •  кэш-память 2 x 12 MB Level 2 cache 
  •  8 GPU Tesla M2090 (6 ГБ Global Memory)
  • локальный жесткий диск 400 GB 

16 узлов tesla[31-46]

  •  два 8-и ядерных процессора Intel® Xeon® E5-2660 (2.2 GHz)
  •  оперативная память 96 GB  
  •  кэш-память 2 x 20 MB Level 2 cache 
  •  8 GPU Tesla M2090 (6 ГБ Global Memory)
  • локальный жесткий диск 400 GB

 

6 узлов tesla[47-52]

  •  два 8-и ядерных процессора Intel® Xeon® E5-2650 (2.6 GHz)
  •  оперативная память 64 GB  
  •  кэш-память 2 x 20 MB Level 2 cache 
  •  3 GPU Tesla Tesla K40m0 (12ГБ Global Memory)
  • локальный жесткий диск 400 GB

92 узла umt[49-144]

  •  два 4-х ядерных процессора Intel® Xeon® E5450 (3.0 GHz); 
  •  оперативная память 16 GB PC2-5300, Registered DDR2-667;
  •  кэш-память 2 x 6 MB Level 2 cache (5400 Sequence);
  • локальный жесткий диск 120 GB

Коммуникационная счетная среда

В качестве MPI – интерконнекта использована хорошо себя зарекомендовавшая технология Infiniband (IB). Коммутаторы в шасси ББ HP Blade Systems образуют первый уровень IB - коммутации. В качестве коммутатора IB второго уровня использован 144 – портовый коммутатор Qlogic 9120.

Коммуникационная среда ввода/вывода

В качестве I/O – интерконнекта использована выделенная сеть Gigabit Ethernet. Сеть имеет двухуровневую структуру. Первый уровень организован на коммутирующих модулях GbE2c Ethernet Blade Switch for HP c-Class BladeSystem, установленных в шасси ББ. К коммутирующему модулю каждого ББ внутренними гигабитными каналами подключены вычислительные модули и модуль управления. Коммутирующий модуль каждого ББ подключен к коммутатору Ethernet HP ProCurve Switch 4208v1-192. К нему подключены все ВМ, порты Host – машин, консоль управления и мониторинга.

Управляющий сервер (HOST- машина)

Управляющий сервер ВС - HP DL180G5 на основе процессоров Intel Xeon 5430.
Управляющий сервер содержит:

  •  два четырёхъядерных процессора с тактовой частотой 2,6 ГГц;
  • 16 ГБ оперативной памяти;
  • дисковую подсистему RAID5, состоящую из 5 дисков SATA объемом 500 ГБ каждый ;
  • 10/100/1000 Base-T Ethernet интерфейс;
  •  видеоадаптер, порт USB 2, порты мыши, клавиатуры.

Ограничения по ресурсам на вычислителях

umt

1. Размер дисковой квоты для пользователей ограничен 50 ГБ.
Уточнить размер квоты и места на диске, занимаемого пользователем, можно с помощью соответствующих команд quota и du
(см. инструкцию Базовые команды ОС UNIX).
Внимание! Возможно появление ошибок при запуске задач, если квота дискового пространства исчерпана.
Рекомендуется удалять ненужные файлы, а нужные результаты переписывать на свою машину.
Так будет надежнее, т.к. гарантии сохранности файлов на вычислителях нет.

2. Одновременно считающиеся задачи пользователя могут занимать до 1024 CPU (вычислительных ядер).

3. Максимальное время, выделяемое для счета задачи:
20 часов - в будние дни,
85 часов - на выходные,
100 часов - на выходные с праздниками.
Если пользователь не закажет время, то по умолчанию для решения задачи будет выделено 30 минут.
(Подробнее в инструкции Запуск задач на кластере в системе SLURM, п. Команды запуска задач) .

Замечание.
Дополнительная информация об ограничениях может выдаваться при входе на кластер.