Вычислительные ресурсы

ИММ УрО РАН предоставляет пользователям для работы следующие вычислительные средства:

  1. "Уран" — гибридный вычислитель кластерного типа;
  2. МВС1000/17ЕК — многопроцессорный вычислитель кластерного типа.

п/п
Имя*
вычислителя
Год
Кол-во
ядер 
Процессор
Объем
ОП
Коммуникационная среда
ОС
Пиковая
производ-сть
(Tflop/s)
Производительность
на тесте Linpack
(Tflop/s)
1
2013
1864 CPU
352 GPU
Xeon
(3.0 ГГц)
NVIDIA Tesla
6976 ГБ
Infiniband, GiEthernet
Linux
216.56
105.36
2
МВС 1000/17ЕК
(um32)
2004
2x16
Xeon
(2.4 ГГц)
64 ГБ
GiEthernet x2
Linux
0.153
0.108

* —  в скобках указано доменное имя управляющей машины в домене imm.uran.ru.

Кластер um32 — с февраля 2010 года используется для обучения студентов.

Все вычислители доступны пользователям по каналам Интернет и инфраструктуру городской сети УрО РАН круглосуточно.

Кластер "Уран"

Аннотация

Суперкомпьютер «Уран» собран на базе Blade серверов фирмы Hewlett-Packard. Он состоит из 155 вычислительных узлов, установленных в модулях с высокой плотностью упаковки.
Вычислительные узлы оснащены процессорами Intel Xeon, работающими на частотах 2.2-3 ГГц, 16-256 гигабайтами оперативной памяти и графическими ускорителями NVIDIA Tesla.
В общей сложности пользователям доступно 1940 вычислительных ядра CPU, 314 платы GPU и 4 Тбайт оперативной памяти. Система хранения суперкомпьютера «Уран» позволяет разместить до 10 Тбайт данных.
Для передачи данных между вычислительными узлами используется высокоскоростные сети Infiniband с пропускной способностью 20 Гбит/с и 100 Гбит/с. Доступ к суперкомпьютеру «Уран» осуществляется через городскую сеть УрО РАН в Екатеринбурге по технологии 10Gi Ethernet со скоростью 10 Гбит/c.

Для проведения научных и инженерных расчетов на суперкомпьютере установлено базовое программное обеспечение, включающее:

По заявкам пользователей на суперкомпьютере могут быть установлены компиляторы, библиотеки и пакеты программ, свободно распространяемые научным сообществом.

Краткое описание кластера

Кластер выполнен на базовых блоках (ББ) фирмы Hewlett-Packard . Каждый базовый блок объединяет вычислительные (ВМ) и  коммуникационные модули.

Вычислительные модули

Используются ВМ нескольких типов.

16 узлов apollo[1-16] (февраль 2017)

Узлы раздела apollo объединены высокоскоростной сетью Infiniband нового поколения 100 Гбит/с.

20 узлов tesla[1-20]

10 узлов tesla[21-30]

16 узлов tesla[31-46]

 

6 узлов tesla[47-52]

92 узла umt[49-144]

Коммуникационная счетная среда

В качестве MPI – интерконнекта использована хорошо себя зарекомендовавшая технология Infiniband (IB). Коммутаторы в шасси ББ HP Blade Systems образуют первый уровень IB - коммутации. В качестве коммутатора IB второго уровня использован 144 – портовый коммутатор Qlogic 9120.

Коммуникационная среда ввода/вывода

В качестве I/O – интерконнекта использована выделенная сеть Gigabit Ethernet. Сеть имеет двухуровневую структуру. Первый уровень организован на коммутирующих модулях GbE2c Ethernet Blade Switch for HP c-Class BladeSystem, установленных в шасси ББ. К коммутирующему модулю каждого ББ внутренними гигабитными каналами подключены вычислительные модули и модуль управления. Коммутирующий модуль каждого ББ подключен к коммутатору Ethernet HP ProCurve Switch 4208v1-192. К нему подключены все ВМ, порты Host – машин, консоль управления и мониторинга.

Управляющий сервер (HOST- машина)

Управляющий сервер ВС - HP DL180G5 на основе процессоров Intel Xeon 5430.
Управляющий сервер содержит:

Ограничения по ресурсам на вычислителях

umt

1. Размер дисковой квоты для пользователей ограничен 50 ГБ.
Уточнить размер квоты и места на диске, занимаемого пользователем, можно с помощью соответствующих команд quota и du
(см. инструкцию Базовые команды ОС UNIX).
Внимание! Возможно появление ошибок при запуске задач, если квота дискового пространства исчерпана.
Рекомендуется удалять ненужные файлы, а нужные результаты переписывать на свою машину.
Так будет надежнее, т.к. гарантии сохранности файлов на вычислителях нет.

2. Одновременно считающиеся задачи пользователя могут занимать до 512 CPU (вычислительных ядер).

3. Максимальное время, выделяемое для счета задачи:
20 часов - в будние дни,
85 часов - на выходные,
100 часов - на выходные с праздниками.
Если пользователь не закажет время, то по умолчанию для решения задачи будет выделено 30 минут.
(Подробнее в инструкции Запуск задач на кластере в системе SLURM, п. Команды запуска задач) .

Замечание.
Дополнительная информация об ограничениях может выдаваться при входе на кластер.