Структура БД Slurm

Большинство таблиц содержат колонки: время создания, время модификации, признак удаления - creation_time, mod_time, deleted.

tres_table Словарь ресурсов TRES

• creation_time
• deleted
• id Числовой идентификатор - ключ
• type Тип ресурса
• name Имя

Для резервирования первых 999 id под системные нужды в таблицу внесена запись id=1000, type=dynamic_offset, помеченная как удаленная. При обращении из sreport к пользовательским TRES, tres type пишется заглавными буквами:

 sreport cluster AccountUtilizationByUser  start=2019-04-01 end=2019-05-21 --tres=GRES/gpu

acct_table Таблица учетных групп

• name,description,organization

user_table Таблица пользователей

• name, admin_level

super_assoc_table Таблица ассоциаций пользователь-учетная группа на кластере

• id_assoc - уникальный номер
• deleted - операция acctmgr remove удаляет запись, если она была создана несколько минут назад, иначе помечает, как удаленную.
• user,acct - пара пользователь-учетная группа. У учетной группы поле user пустое, поле acct пустым не бывает.
• parent_acct - родительская учетная группа. Бывает только у учетной группы.
• lft,rgt - загадочные поля.

super_job_table Таблица заданий на кластере super

• job_db_inx - уникальный индекс. Введён, поскольку id_job назначается за пределами DB.
• id_job - числовой id задачи
• account - текстовое имя учетной группы. Используется sacct при формировании списка заданий учетной группы.
• id_assoc - номер ассоциации
• id_user, id_group - системные UID,GID без привязки к assoc_table
• nodelist - список узлов в формате slurm (node[3-5,7]). Есть особое значение 'None assigned'
• nodes_alloc - число узлов
• node_inx - список узлов в виде их числовых индексов (3-5,108-212)
• work_dir - рабочий каталог. Поле появилось с какой то версии Slurm. До того пустой.
• time_submit, time_start, time_end - времена в формате unix timesatmp.
  В SQL функция UNIX_TIMESTAMP('2018-09-01 12:00:00'). Обратное преобразование FROM_UNIXTIME(1447430881);
• state - числовое значение состояния задачи

Значения state

enum job_states {
  JOB_PENDING,   /* queued waiting for initiation */
  JOB_RUNNING,   /* allocated resources and executing */
  JOB_SUSPENDED, /* allocated resources, execution suspended */
  JOB_COMPLETE,  /* completed execution successfully */
  JOB_CANCELLED, /* cancelled by user */
  JOB_FAILED,    /* completed execution unsuccessfully */
  JOB_TIMEOUT,   /* terminated on reaching time limit */
  JOB_NODE_FAIL, /* terminated on node failure */
  JOB_PREEMPTED, /* terminated due to preemption */
  JOB_BOOT_FAIL, /* terminated due to node boot failure */
  JOB_DEADLINE,  /* terminated on deadline */
  JOB_OOM,       /* experienced out of memory error */
  JOB_END        /* not a real state, last entry in table */
};

super_step_table Таблица параллельных задач (step), сформированных командами srun в рамках одного задания. Один srun - одна задача (step).

• job_db_inx - связь с таблицей job_table
• id_step - номер шага от 0 и далее, -2 - особый случай batch - формируется через sbatch.
• time_start, time_end - индивидуальные времена шагов. job.time_start=min(step.time_start), job.time_end=max(step.time_end).
• task_cnt - количество запущенных srun процессов (каждый из которых может занимать несколько ядер).

Извлечение задач на кластере super по номеру задания

select j.id_job,j.job_name,s.step_name,j.nodelist,s.nodelist,j.nodes_alloc,s.nodes_alloc,s.id_step
   from super_job_table as j
   join super_step_table as s
     on j.job_db_inx=s.job_db_inx
  where j.id_job=24747; 

Задания на кластере super, не сумевшие стартовать задачу

select j.id_job
  from super_job_table as j
  left join super_step_table as s
    on j.job_db_inx=s.job_db_inx
  where s.job_db_inx IS NULL

super_assoc_usage_month/day/hour_table Агрегированные данные по использованию кластера super. Используются при выдаче статистики через sreport. Похоже, что в основном используется таблица super_assoc_usage_day_table

• creation_time
• mod_time
• deleted
• id - фактически это id_assoc - номер ассоциации
• id_tres - код ресурса. Берется из таблицы tres_table
• time_start - время старта задачи, округленное до месяца/дня/часа
• alloc_secs - выделенное время