Пользователи и учёт

В Slurm есть две системы учёта пользователей. Первая система основана на системных учётных записях, хранит в служебных файлах обобщённую статистику истории запуска задач и используется для простой системы вычисления приоритетов - share. Вторая система - полноценная система биллинга использует БД для хранения полной истории запуска задач, системы учётных групп (account), ограничений ресурсов (QOS) и т.п.

Первая система не требует использования БД и сохраняет текущую информацию в файлах в каталоге, заданном параметром StateSaveLocation:

assoc_mgr_state, assoc_usage, clustername, dbd.messages,
fed_mgr_state,  job_state, last_config_lite, layouts_state_base,
node_state, part_state, priority_last_decay_ran, qos_usage, resv_state, trigger_state

Для запуска задач в первой системе достаточно завести пользователя на уровне ОС. Для второй системы необходимо зарегистрировать его в БД:

sacctmgr -i add user testuser DefaultAccount=root 

Ассоциация (Association)

Учёт ресурсов в Slurm ведётся на основе учётных ассоциаций, каждая из которых объединяет четыре понятия:

• кластер;
• учетную группу (account);
• имя пользователя;
• необязательное имя раздела (partition).

Существует порядок создания учетных ассоциаций. Сначала описываются кластеры, потом учетные группы, и лишь потом пользователи. Пользователь при создании ассоциируется с существующей учетной группой, и эта ассоциация применяется по умолчанию для учета его задач.

Создание кластера

Кластер описывается в двух местах: в конфигурации Slurm и в учётной базе данных.

slurm.conf

AccountingStorageType=accounting_storage/slurmdbd
AccountingStoreJobComment=YES
ClusterName=uran

Создание записи в базе:

sacctmgr add cluster uran

Создание учетных групп

• Учетная группа (account) используется для подсчёта ресурсов, использованных для запуска задач в рамках какого-либо договора, проекта и т.п.;
• Накопленные данные об использованных ресурсах влияют на приоритет задач, запускаемых от имени учетной группы;
• Учетная группа может быть использована для установки уровня обслуживания (QOS) задач, запускаемых от имени учетной группы;
• С учетной группой может быть связано произвольное количество пользователей, в том числе ни одного;
• Учетные группы могут быть организованы в иерархическое дерево путём назначения группе родительской группы;
• Верхний уровень иерархии имеет стандартное имя root;
• Имя учетной группы должно быть уникальным и не может быть использовано повторно в другой ветви иерархии учетных групп;
• При подсчете приоритетов учитывается положение группы в иерархии;
• Пользователь может связан с несколькими учетными группами, но должен иметь группу по умолчанию (DefaultAccount).

Примеры команд для создания иерархии организации и иерархии внешних пользователей, работающих по договорам:

sacctmgr add account imm Description="Институт математики и механики" Organization=imm
sacctmgr add account imm_opo Description="Отдел программного обеспечения" Organization=imm_opo parent=imm
sacctmgr add account imm_opo_sector_1 Description="Сектор системного программирования" Organization=imm_opo parent=imm_opo

sacctmgr add account external Description="Внешние пользователи" Organization=external
sacctmgr add account dogovor_10 Description="Договор N10" Organization=external
sacctmgr add account dogovor_11 Description="Договор N11" Organization=external

Отображение созданных учетных записей:

sacctmgr show account format=Account%30,Description%60
sacctmgr show account -s   # Показывает ассоциации связанные с аккаунтами

При добавлении или изменении учетной группы доступны следующие параметры:

• Cluster= добавить учетную группу в указанные кластеры. По умолчанию учетная группа добавляется ко всем существующим кластерам.
• Description= описание учетной группы. (По умолчанию - имя учетной группы)
• Name= имя учетной записи.
• Organization= организация на которую зарегистрирована учетная группа. По умолчанию это организация родительской учетной группы, если родительская учетная группа не является корневой. Если родитель root, то при создании по умолчанию используется имя учетной группы.
• Parent= сделать эту учетную группу дочерним элементом другой учетной группы (уже существующей).

Создание пользователей

Создание пользователя Slurm с именем xxx и учетной группой по умолчанию (обязательно) yyy:

sacctmgr create user name=xxx DefaultAccount=yyy

При необходимости пользователи могут также добавляться в дополнительные учетные группы, например:

sacctmgr add user xxx Account=zzzz

Имя учетной группы может указываться в пакетных заданиях пользователя, например, с помощью sbatch :

-A <account> или --account=<account> 

Список пользователей:

sacctmgr show user #показывает пользователей и их учетные группы по умолчанию
sacctmgr show user -s #показывает пользователей и все их ассоциации
sacctmgr show user -s test_user #выдает учетные группы пользователя test_user

При добавлении или изменении пользователя доступны следующие параметры:

• Account= Учетная группа(ы) для добавления пользователя (см. также DefaultAccount ).
• AdminLevel= Это поле используется, чтобы позволить пользователю добавлять учетные привилегии этому пользователю. Возможные варианты:
  • None
  • Operator - может добавлять/изменять/удалять любой объект базы данных (пользователь, учетная запись и т. Д.) и добавлять других операторов. На SlurmDBD, обслуживаемом slurmctld, эти пользователи могут: просматривать информацию, которая блокируется для регулярного использования флагом PrivateData; создавать/изменять/удалять бронирование.
  • Admin - эти пользователи имеют тот же уровень привилегий, что и оператор в базе данных. Они также могут изменять что-либо в slurmctld, как если бы они были пользователем slurm или root.
• Cluster= добавлять к ассоциациям только на этих кластерах (по умолчанию все кластеры)
• DefaultAccount= учетная группа по умолчанию. (обязательный параметр).
• DefaultWCKey= пользовательский ключ по умолчанию для пользователя, используемый, когда не указан WCkey при отправке задания. (Используется только при отслеживании WCkey .)
• Name= имя пользователя
• Partition= Название раздела Slurm, к которому относится данная ассоциация.

Изменение и удаление объектов

При изменении свойств объектов и при их удалении можно задавать параметры в стиле SQL, используя ключевые слова WERE и SET. Некоторые параметры, например имя объекта, изменить нельзя. Типичная команда имеет следующий вид:

sacctmgr modify <entity> set <options> where <options>

Например:

sacctmgr modify user set DefaultAccount=none where DefaultAccount=test

меняет у пользователей учетную группу по умолчанию "test" на "none".

Удаление пользователя из учетной группы:

sacctmgr remove user brian where Account=imm_opo

Удаление пользователей означает, в первую очередь, удаление ассоциаций.

После того, как объект был добавлен, изменен или удален, соответствующие изменения отправляются соответствующим демонам Slurm и мгновенно становятся доступными для использования.

Примечание. В большинстве случаев удаленные объекты сохраняются, но помечены как удаленные. Если объект существовал менее 1 дня, то он будет удален полностью. Такое поведение предназначено для защиты от опечаток.

Печать объектов

sacctmgr show cluster|account|user [-s] format=account%20,description%40  [<name>]
sacctmgr show cluster|account|user [-s] [-n] -p [<name>]

• -s показывает связанные объекты
• format= задает список полей и количество символов, отводимых на поле
• -n - без строки заголовка
• -p - формат удобный для программного разбора

Использованы материалы со страницы https://wiki.fysik.dtu.dk/niflheim/Slurm_accounting

Для ограничения ресурсов необходимо включить в slurm.conf строку:

AccountingStorageEnforce=limits

TRES

Ресурсы, который можно отслеживать и использовать для ограничения, называются TRES. TRES - это комбинация типа и имени. В настоящий момент используются следующие типы TRES:

• пакетные буферы - burst buffers (BB)
• ЦПУ (CPU)
• энергия (Energy)
• GRES
• лицензии (License)
• память (Mem)
• узлы (Node)
• вычисляемый (Billing)

Вычисляемый TRES рассчитывается из TRESBillingWeights раздела. Он предварительно вычисляется во время планирования для каждого раздела, чтобы обеспечить соблюдение лимитов. После завершения задачи он пересчитывается по реально использованным ресурсам. Пример TRESBillingWeights:

TRESBillingWeights="CPU=1.0,Mem=0.25G,GRES/gpu=2.0"

Установка ограничений на пользователя:

sacctmgr modify user xxx set MaxTRES=cpu=1000 MaxTRESMinsPerJob=6000 GrpTRESMins=60000

Ограничения с префиксом Max - обозначают максимальный ресурс на одну задачу, с префиксом Grp - суммарное количество ресурсов на все задачи, когда либо запущенные пользователем (на самом деле, история потихоньку очищается и предел не является абсолютным) . В данном примере задано ограничение счёта одной задачи в 100 часов на 1000 процессорах и суммарное время в 1000 часов.

QOS

Качество обслуживания (QOS) объединяет несколько ограничений на TRES. Конфигурация QOS должна иметь как минимум стандартное значение QOS с названием normal. Дополнительные QOS'ы могут переопределять ограничения.

Например, QOS high256 с высоким приоритетом и ограничением на количество ЦПУ :

sacctmgr add qos high256 priority=10 MaxTRESPerUser=cpu=256

Просмотр существующих QOS:

sacctmgr show qos 

Назначение пользователю DefaultQOS:

sacctmgr -i modify user where name=XXXX set DefaultQOS=normal

Назначение дополнительных QOS пользователю:

sacctmgr -i modify user where name=XXXX set QOS=normal,high
sacctmgr -i modify user where name=XXXX set QOS+=high

Для того, чтобы воспользоваться дополнительным QOS пользователи должны указывать его в параметрах sbatch, например:

sbatch --qos=high256 ... 

Иерархия ограничений

Ограничения Slurm применяются в следующем порядке:

1. QOS раздела (partition)
2. QOS задания
3. Ограничение ассоциации пользователя (user+account+cluster)
4. Ограничение ассоциации учетной группы (account+cluster), по возрастанию иерархии
5. Ассоциация root_account+cluster
6. Ограничения раздела
7. Нет ограничений

Запросить информацию по заданиям, используя следующие команды:

• sacct - отображает данные всех заданий (завершившихся/считающихся/ждущих очереди);
• sreport [options] - генерирует отчеты из данных учета Slurm;
• sstat <JobID> - отображает информацию (использование памяти, ЦПУ и т.д) о считающейся задаче по её JobID ;
• seff <JobID> - отображает эффективность использования ЦПУ и памяти завершившейся задачей по её JobID ;
• scontrol show jobs - отображает состояние запущенных задач;
• scontrol show assoc_mgr - отображает текущее содержимое внутреннего кэша slurmctld для пользователей, ассоциаций и/или qos.

sacct

Просмотр задач конкретного пользователя:

sacct -u user

Просмотр задач всех пользователей:

sacct -a

Начало и конец периода:

sacct --start=2018-07-01 --end=2018-07-15

sreport

Примеры использования sreport для создания отчетов:

sreport cluster UserUtilizationByAccount
sreport cluster AccountUtilizationByUser 

Показать статистику в виде дерева учетных карточек (accounts):

sreport cluster AccountUtilizationByUser tree 

Выбрать один аккаунт

sreport Accounts=extusers

Вывести отчета в виде таблицы с разделителем '|' для дальнейшей обработки скриптами:

sreport -p ... 

Выбор диапазонов дат:

sreport ... start=2018-06-01 end=2018-06-30
sreport ... start=`date -d "last month" +%D` end=`date -d "this month" +%D`

Изменение формата даты/времени в заголовке отчета (форматы в man strftime):

env SLURM_TIME_FORMAT = "%d-%b-%Y_%R" sreport ... 

Задание единиц времени, отображаемых в потреблении ресурсов (по умолчанию - минуты):

sreport -t hourper ... 

Задание TRES, отображаемых в потреблении ресурсов -T, tres= (по умолчанию - cpu):

sreport -T cpu,mem,gres/gpu ... 

Выдача биллинга в У.Е.:

 sreport  --tres=billing ...

Показать учетные записи пятидесяти самых активных пользователей за 2017 год:

sreport user top start=2017-01-01 end=2017-12-31 TopCount=50 -t hourper --tres=cpu,GRES/gpu 

Отчет об использовании кластера:

sreport -t hourper cluster Utilization

Отчет об использовании кластера по пользователям, сгруппированным в ассоциации:

sreport cluster AccountUtilizationByUser  start=2019-04-01 end=2019-05-21 --tres=cpu,GRES/gpu,billing

Большинство таблиц содержат колонки: время создания, время модификации, признак удаления - creation_time, mod_time, deleted.

tres_table Словарь ресурсов TRES

• creation_time
• deleted
• id Числовой идентификатор - ключ
• type Тип ресурса
• name Имя

Для резервирования первых 999 id под системные нужды в таблицу внесена запись id=1000, type=dynamic_offset, помеченная как удаленная. При обращении из sreport к пользовательским TRES, tres type пишется заглавными буквами:

 sreport cluster AccountUtilizationByUser  start=2019-04-01 end=2019-05-21 --tres=GRES/gpu

acct_table Таблица учетных групп

• name,description,organization

user_table Таблица пользователей

• name, admin_level

super_assoc_table Таблица ассоциаций пользователь-учетная группа на кластере

• id_assoc - уникальный номер
• deleted - операция acctmgr remove удаляет запись, если она была создана несколько минут назад, иначе помечает, как удаленную.
• user,acct - пара пользователь-учетная группа. У учетной группы поле user пустое, поле acct пустым не бывает.
• parent_acct - родительская учетная группа. Бывает только у учетной группы.
• lft,rgt - загадочные поля.

super_job_table Таблица заданий на кластере super

• job_db_inx - уникальный индекс. Введён, поскольку id_job назначается за пределами DB.
• id_job - числовой id задачи
• account - текстовое имя учетной группы. Используется sacct при формировании списка заданий учетной группы.
• id_assoc - номер ассоциации
• id_user, id_group - системные UID,GID без привязки к assoc_table
• nodelist - список узлов в формате slurm (node[3-5,7]). Есть особое значение 'None assigned'
• nodes_alloc - число узлов
• node_inx - список узлов в виде их числовых индексов (3-5,108-212)
• work_dir - рабочий каталог. Поле появилось с какой то версии Slurm. До того пустой.
• time_submit, time_start, time_end - времена в формате unix timesatmp.
  В SQL функция UNIX_TIMESTAMP('2018-09-01 12:00:00'). Обратное преобразование FROM_UNIXTIME(1447430881);
• state - числовое значение состояния задачи

Значения state

enum job_states {
  JOB_PENDING,   /* queued waiting for initiation */
  JOB_RUNNING,   /* allocated resources and executing */
  JOB_SUSPENDED, /* allocated resources, execution suspended */
  JOB_COMPLETE,  /* completed execution successfully */
  JOB_CANCELLED, /* cancelled by user */
  JOB_FAILED,    /* completed execution unsuccessfully */
  JOB_TIMEOUT,   /* terminated on reaching time limit */
  JOB_NODE_FAIL, /* terminated on node failure */
  JOB_PREEMPTED, /* terminated due to preemption */
  JOB_BOOT_FAIL, /* terminated due to node boot failure */
  JOB_DEADLINE,  /* terminated on deadline */
  JOB_OOM,       /* experienced out of memory error */
  JOB_END        /* not a real state, last entry in table */
};

super_step_table Таблица параллельных задач (step), сформированных командами srun в рамках одного задания. Один srun - одна задача (step).

• job_db_inx - связь с таблицей job_table
• id_step - номер шага от 0 и далее, -2 - особый случай batch - формируется через sbatch.
• time_start, time_end - индивидуальные времена шагов. job.time_start=min(step.time_start), job.time_end=max(step.time_end).
• task_cnt - количество запущенных srun процессов (каждый из которых может занимать несколько ядер).

Извлечение задач на кластере super по номеру задания

select j.id_job,j.job_name,s.step_name,j.nodelist,s.nodelist,j.nodes_alloc,s.nodes_alloc,s.id_step
   from super_job_table as j
   join super_step_table as s
     on j.job_db_inx=s.job_db_inx
  where j.id_job=24747; 

Задания на кластере super, не сумевшие стартовать задачу

select j.id_job
  from super_job_table as j
  left join super_step_table as s
    on j.job_db_inx=s.job_db_inx
  where s.job_db_inx IS NULL

super_assoc_usage_month/day/hour_table Агрегированные данные по использованию кластера super. Используются при выдаче статистики через sreport. Похоже, что в основном используется таблица super_assoc_usage_day_table

• creation_time
• mod_time
• deleted
• id - фактически это id_assoc - номер ассоциации
• id_tres - код ресурса. Берется из таблицы tres_table
• time_start - время старта задачи, округленное до месяца/дня/часа
• alloc_secs - выделенное время

Существует несколько путей для интеграции Linux компьютеров в домен. Часть из них построена на использовании специализированной программ winbind из пакета Samba, а часть использует автономные PAM и NSS модули для непосредственного взаимодействия с сервером домена.