В стандартной файловой системе (ФС) ОС Unix могут храниться объекты нескольких типов:

• обычные файлы
• каталоги
• символические ссылки
• специальные файлы - точки доступа к драйверам устройств
• коммуникационные объекты FIFO
• сокеты UNIX

Все эти объекты используют единую систему имен и имеют идентичные атрибуты, характеризующие права доступа.

Имя файла и его атрибуты (тип объекта, права доступа, информация о его расположении на носителе и т.п.) хранятся независимо друг от друга. Имена хранятся в каталогах, а атрибуты - в специальных структурах - inode.

Для хранения атрибутов файлов в ФС используется массив индексированных узлов inode (Indexed Node). Индекс - это целое число, указывающее порядковый номер inode в массиве. Для каждого файла в пределах одного раздела на диске индекс inode уникален. При этом, на разных дисках или на разных разделах одного диска ведётся своя независимая нумерация inode - так, например, индекс 2 может использоваться для корневого каталога каждого из разделов диска. Для объединения нескольких дисков в единую ФС используется виртуальная файловая система, которая пересчитывает номера inode так, чтобы обеспечивалась их уникальность. Если в Unix используется сторонняя ФС (например FAT или NTFS) то структура inode эмулируется на уровне виртуальной файловой системы.

Связь между именем и атрибутами осуществляется через объекты-каталоги. Каталоги в Unix - это таблицы, хранящие имя файла и индекс inode в массиве атрибутов. Один файл может иметь несколько имен, т.е. в различных каталогах или даже в одном каталоге могут быть записи, связывающие различные имена с одним inode.

Права доступа (R)ead, (W)rite, e(X)ecute определены по отдельности для трех категорий пользователей (U)ser,(G)roup, (O)ther. Дополнительно к правам доступа есть флаг смены владельца на время выполнения файла, смены группы на время выполнения файла и признак «липкости» (sticky bit), что бы он не означал.

Файлы можно создавать (одновременно давая имя), добавлять новые имена, удалять старые имена, а также менять права доступа к файлу (влияет на сам файл, вне зависимости от того к какому из его имен применялась операция). Администратор может еще и поменять владельца файла.

Файл, оставшийся без имени и не используемый для ввода/вывода или в качестве источника данных программы – уничтожается.

Во всех Unix-подобных ОС (FreeBSD, Linux, с некоторыми изменениями в Android и MacOS X) используется традиционная схема именования каталогов, которая описывается стандартом Filesystem Hierarchy Standard. В целом структура каталогов представляет из себя дерево с единым корнем, обозначаемым /.

В корневом каталоге находятся следующие подкаталоги:

"Базовые" каталоги, которые для правильного старта системы должны быть доступны в момент загрузки ядра:
/etc – конфигурационные файлы;
/bin – минимальный набор утилит пользователя, необходимых для запуска системы;
/sbin – минимальный набор утилит администратора, необходимых для запуска системы;
/lib – динамические библиотеки для утилит из /bin и /sbin. В Linux в каталоге /lib/modules размещаются модули ядра;
/dev – каталог, содержащий набор специальных файлов устройств – точек доступа к драйверам;
/tmp – каталог для временных файлов;

Дополнительные каталоги:
/root – «домашний» каталог администратора (пользователя root). /usr – основной каталог, содержащий программы, библиотеки, файлы документации и пр.;
/var – каталог для данных большого и часто меняющегося размера – лог-файлов, баз данных, временных файлов печати и почты и пр.;
/opt – каталог для установки коммерческих программ;
/home – каталог для размещения «домашних» каталогов пользователей.

Виртуальные файловые системы в каталогах /proc и /sys предоставляют доступ к переменным ядра ОС, оформленным в виде виртуальных файлов.

Имя каталога /usr произошло от слова User (пользователь) в те времена, когда диски были маленькими и полный комплект программ на них не входил. Каждому пользователю приходилось создавать свой рабочий набор программ на отдельном диске, который и подключался в каталог /usr. В большинстве современных Unix-подобных ОС все стандартные программы размещаются именно в каталоге /usr (Android, скорее, исключение).

В каталоге /usr находятся следующие подкаталоги:
/usr/bin, /usr/sbin, /usr/lib – по аналогии с каталогами в корне;
/usr/include – заголовочные файлы для компиляторов языков C и C++ ;
/usr/share – документация, шрифты, программы на скриптовых языках и другие неизменяемые данные, которые могут быть использованы через сетевую файловую систему с любой версией программ и для любой архитектуры процессора;

/usr/local – каталог для установки программ, не включенных в основную поставку системы. Название получил в то время, когда разработчики Unix'а активно экспериментировали с сетевыми файловыми системами. Считалось, что каталог /usr может быть подключен по сети для всех компьютеров в локальной сети, а /usr/local – расположен на локальном диске. В /usr/local находятся стандартные подкаталоги etc, bin, sbin, lib.

Каталог /var предназначен для хранения больших объемов данных. Иногда его располагают на отдельном большом разделе диска. В /var можно отметить следующие подкаталоги:
/var/log – лог-файлы;
/var/mail – почтовые ящики пользователей;
/var/tmp – общедоступный каталог для временных файлов. В некоторых системах /tmp размещается на маленьком разделе диска, в этом случае /var/tmp - это каталог в котором можно размещать большие временные файлы.

В зависимости от используемой ОС, стадии загрузки системы и прав доступа программе могут быть доступны только некоторые из перечисленных каталогов. Существуют только два элемента файловой системы, которые доступны всегда - каталог /tmp и файл управляющего терминала /dev/tty.

Управление файлами и каталогами

ls – список файлов (LiSt). По умолчанию выводится текущий каталог.
Полезные опции: -a – включать файлы с именами, начинающимися с точки; -R – рекурсивно показывать содержимое подкаталогов; -l – вывод подробной информация о файлах:

ls -l dir – подробная информация о файлах в каталоге dir
ls -ld dir – подробная информация о самом каталоге dir

touch file – если файл не существует, то он создается; иначе время модификации файла устанавливается в текущее.

rm file – удалить файл (ReMove).
Полезные опции: -R или -r – рекурсивное удаление каталогов, -i – интерактивные запросы на подтверждение удаления, -f – отмена интерактивного режима.

cp file1 file2 – копирование файла (CoPy) file1 в file2
cp file1 file2 file3 dir – копирование группы файлов в каталог dir
cp -R dir1 dir2 – копирование каталога dir1 со всеми его файлами и подкаталогами в каталог dir2

mv file1 file2 – переименование файла (MoVe);
mv file dir – перемещение файла в каталог dir. Если каталог находится в том же разделе диска, что и файл, то происходит создание новой записи в каталоге без копирования данных. Если файл и каталог находятся в разных разделах, то происходит копирование содержимого файла на новый раздел, после чего старая копия удаляется.

mkdir dir – создать каталог (MaKe DIRectory) с именем dir
rmdir dir – удалить каталог (ReMove DIRectory) dir. Удаление возможно только в том случае, когда каталог пуст.
rm -R dir – рекурсивно удалить каталог со всеми вложенными подкаталогами и файлами.

ln file1 file2 – создать имя (LiNk) file2 для file1
ln -s file1 file2 – создать символическую ссылку с именем file2, указывающую на file1
ln -s /etc/passwd – создать в текущем каталоге символическую ссылку с именем passwd , указывающую на /etc/passwd
ln -s /etc/passwd dir – создать в подкаталоге dir символическую ссылку с именем passwd, указывающую на /etc/passwd
ln -s file dir – ошибка. Подразумевается, что в подкаталоге dir будет создана ссылка с именем file, указывающая на file из текущего каталога. Но в символическую ссылку записывается не объект ФС, а текст, заданный в первом параметре. В результате команды в подкаталоге dir появится ссылка с именем file, ссылающаяся на file, т.е. сама на себя.
ln -s ../file dir – возможный вариант правильного написания предыдущей команды.

Изменение прав доступа к файлам и каталогам

Все команды этой группы с опцией -R могут применяться к каталогу. В этом случае команда применяется к каталогу, а также рекурсивно применяется ко всем файлам и подкаталогам, расположенным внутри этого каталога.

chown user file – смена владельца файла file на user. Команда может выполняться только администратором root.
chgrp group file – смена группы владельцев файла. Для успешного выполнения команды пользователь должен быть членом группы group или администратором root.
chown user:group file – одновременная смена владельца и группы.

chmod u+w file – смена прав доступа к файлу или каталогу. В данном случае добавление владельцу файла права на запись в этот файл. Право доступа может поменять владелец файла или администратор root.

Права доступа к файлу записываются выражением из трех компонентов:

• Для кого меняются права: u – пользователь (User), g – группа (Group), o – остальные (Other)
• Операция с правами: + – добавить право, - – удалить право, = – сбросить все существующие права и добавить перечисленные
• Какие права меняются: r – чтение (Read), w – запись (Write), x – исполнение (eXecute)

Управление процессами

В отличие от команд управления файлами, команды управления процессами могут сильно отличаться в разных ОС. Поэтому приведены версии команд, которые будут работать в ОС Linux.

ps – выдача списка процессов (Process liSt). По умолчанию выдаются процессы, запущенные в текущем сеансе
ps -e – выдача списка всех запущенных процессов (в коммерческих версиях Unix'а и в Linux)
ps ax – выдача списка всех запущенных процессов (FreeBSD и Linux)
ps ax --forest – группировка процессов по признаку родительский процесс/дочерний процесс (только Linux)

kill -KILL 23456 – принудительное завершение процесса с идентификатором (pid) 23456

Программы сжатия данных gzip, bzip2, xz

Программы gzip, bzip2, xz предназначены для сжатия одиночных файлов. Сжатые файлы имеют расширения .gz, bz2, xz соответственно. Кроме того, распознаются расширения .tgz, .tbz, .txz, являющиеся сокращением от двойных расширений .tar.gz, .tar.bz2, .tar.xz.

Для распаковки используются эти же программы с опцией -d (decompress).

При сжатии файла оригинальный файл удаляется и создается сжатый файл, к имени которого добавляется соответствующее расширение. При распаковке расширение отбрасывается, создается несжатый файл, а сжатый файл удаляется. Исключением являются случаи, когда имя файла не задано, вместо имени файла стоит "-" или дополнительно к имени файла опция -c. В первых двух случаях исходные данные читаются со стандартного ввода, а результат выводится на стандартный вывод, в третьем - исходные данные читаются из файла, файл не удаляется, результат выводится на стандартный вывод.

Если результат сжатия должен быть выведен на экран терминала, то программа сжатия завершается с ошибкой, чтобы не выводить данные, не предназначенные для просмотра человеком.

У программ сжатия есть альтернативные имена. Запуск по этим именам эквивалентен запуску с некоторым набором опций.
gunzip, bunzip2, unxz = запуск с опцией -d
zcat, bzcat, xzcat = запуск с опцией -c

Вспомогательные программы:
zmore file.gz = zcat file.gz | more
zgrep file.gz text = zcat file.gz | grep text
zdiff file1.gz file2.gz = zcat file1.gz > /tmp/xxfile1; zcat file2.gz > /tmp/xxfile2; diff /tmp/xxfile1 /tmp/xxfile2; rm /tmp/xxfile1 /tmp/xxfile2

Примеры

Сжатие файла
gzip file

Распаковка файла
gzip -d file.gz

Сжатие "на лету"
echo Test | gzip > test.gz

Распаковка в стандартный вывод и подсчет строк в распакованном потоке
gzip -d -c test.gz | wc -l

Архиватор tar

Архиватор tar (Tape ARchiver) изначально предназначен для создания архивов файлов на магнитных лентах. При архивировании после списка опций указываются имена файлов и каталогов, которые надо поместить в архив. Для того, чтобы указать файл архива, используется опция -f имя_файла (обычного или файла-устройства). Если вместо имени файла указан "-", то для ввода/вывода архива используется стандартный ввод/вывод.

Каждый файл в архиве предваряется заголовком, содержащим имя файла, права доступа, владельца и группу владельцев файла (в текстовом представлении) и другие атрибуты файла. При извлечении файла из архива атрибуты по возможности восстанавливаются.

Основные операции с архивом задаются соответствующими опциями :
-с – Создать архив (Create)
-t – Проверить архив и выдать список заархивированых файлов (Test)
-x – Извлечь файлы из архива (eXtract)

Дополнительные опции, используемые совместно с опциями операций:
-v – Печатать информацию о процессе архивирования/извлечения файлов
-z – Использовать gzip для дополнительного сжатия/распаковки архива
-j – Использовать bzip2 для дополнительного сжатия/распаковки архива
-J – Использовать xz для дополнительного сжатия/распаковки архива (только последние версии)

Новые версии gnutar умеют при извлечении файлов из архива определять программу сжатия автоматически. Для старых версий требуется явно указывать опцию. Версии tar из коммерческих вариантов Unix вообще не поддерживают опции сжатия и требуют построения конвейера из программы сжатия и архиватора tar.

Опции можно писать без знака минус и писать несколько опций вместе, начиная с опции операции и заканчивая опцией задания файла архива.

Примеры

Заархивировать каталог /etc в архив etc.tar
tar cf etc.tar /etc

Заархивировать каталог /etc в архив etc.tbz, на лету сжимая архив программой bzip2 и выдавая в процессе архивирования имена обрабатываемых файлов
tar cjvf etc.tbz /etc

Выдать содержимое архива etc.tbz
tar tf etc.tbz - современная версия tar
tar tjf etc.tbz - более ранние версии tar

Распаковать архив etc.tgz в современной версии tar
tar xf etc.tgz

Распаковать архив, сжатый программой xz, версией tar без встроенной поддержки этого формата
xzcat etc.txz | tar xf -

Переслать каталог с вложенными файлами и подкаталогами в домашний каталог пользователя user на компьютер remotehos.example, используя программу ssh
tar cf - mydir/ | ssh user@remotehos.example tar xf -

Архиватор cpio

Программа cpio (CoPy In/Out) предназначена для чтения файлов из архива (In) и записи файлов в архив (Out), а также для копирования файлов из каталога в каталог (Pass through). По умолчанию чтение/запись архива производится через стандартный ввод/вывод. Чтобы явно указать файл архива, используется опция -F. В программу встроены средства удаленного протокола через rsh или ssh. Для работы с архивом на удалённой машине он задаётся в формате -F user@host:file. Для администраторов Linux'a программа интересна тем, что с её помощью создаются установочные пакеты формата RPM и образы начальной загрузки initrd.

Основные опции:

cpio -i -d < <archive> – чтение архива со стандартного ввода. Дополнительная опция -d указывает, что надо создавать структуру подкаталогов, сохраненную в архиве.
find . -depth -print0 | cpio -o --null > <archive> – чтение имен файлов со стандартного ввода и вывод архива на стандартный вывод. Опция -print0 команды find и --null команды cpio указывают на то, что в качестве разделителя имён файлов используется нулевой символ '\0'. Это позволяет корректно отработать имена, содержащие пробелы, табуляции и переводы строк.
find . -name z\* -depth -print0 | cpio -p --null -d /tmp – скопировать все файлы с именами на букву z из текущего каталога с подкаталогами в каталог /tmp. Опция -d указывает, что в целевом каталоге надо создавать необходимые подкаталоги.

Для удобного просмотра текста из файла или со стандартного вывода программы используются программы постраничного пролистывания – "пэйджеры".

more

Простейшая программа для постраничного просмотра текста more используется с именем файла(ов) в качестве параметра или как последняя команда в цепочке перенаправлений ввода/вывода. С помощью опций +<число> или +/<образец текста> можно начать просмотр с интересующей строки.

# Просмотр файла file1 с 20-ой строки
more +20 file1

# Поиск в выводе программы grep подстроки 13:00 и просмотр вывода, начиная с этого места
grep ntpd /var/log/messages | more +/13:00

more умеет листать текст вперёд. Текст из файла, в принципе, можно пролистать назад, но это нетипичное использование more.

Основные интерактивные команды more похожи на команды редактора vi:

• h – help
• q – выход
• SPACE – пролистать один экран
• d – пролистать пол экрана
• RETURN – пролистать одну строку
• /pattern – пролистать до строки содержащей подстроку pattern
• n – повторить поиск подстроки
• = – показать номер текущей строки
• :n – перейти к следующему файлу
• :p – вернуться к предыдущему файлу
• :f – напечатать имя текущего файла и номер строки в нем
• ! – запуск shell-команды

Только при просмотре файлов:

• b – пролистать экран назад
• v – вызвать текстовый редактор, установив курсор на текущую строку

less

less – существенно более развитая команда для пролистывания текста. При чтении данных со стандартного ввода она создает буфер, который позволяет листать текст как вперед, так и назад, а также искать как по направлению к концу, так и по направлению к началу текста. Заполнение буфера идет блоками по 64KB, поэтому (если текст на стандартный ввод подается медленно) возможна ситуация "подвисания", когда less показывает очередные поступившие строки, но не позволяет выполнить какую-либо команду.

less понимает все команды more плюс свои.

• h – вызов справки
• q – выход
• SPACE – на экран вперёд
• b – пролистать экран назад
• k и j или стрелки вверх и вниз – вертикальная прокрутка по строке
• g – перейти на 1-ую строку
• <N>g – перейти на строку N
• G – перейти на последнюю строку
• F – перейти на последнюю строку файла и ожидать записи новых строк (аналог tail -f, не работает со стандартным вводом)
• /pattern – поиск по шаблону вперёд
• ?pattern – поиск по шаблону назад
• n – следующее совпадение
• N – предыдущее совпадение
• mбуква – отметить позицию буквой
• 'буква (апостоф и буква) – перейти на отмеченную позицию
• ! – запуск shell-команды (% – имя текущего файла, к примеру: ! cat % > /tmp/foobar.txt)

Только для файла

• v – запуск редактора

Только для стандартного ввода

• s filename – сохранить выводимый текст в файл filename

Параметры вывода текста less можно указывать как в виде опций, так и в интерактивном режиме. Повторный ввод опции в интерактивном режиме отменяет действие.

• -g – при поиске подсвечивать только текущее найденное слово (по умолчанию подсвечиваются все вхождения)
• -N – показывать номера строк

Очень многие программы для Unix, распространяемые в исходных текстах, используют для автоматической настройки под операционную систему средства autoconf и automake. Подобные программы компилируются и устанавливаются типовым образом.

Общепринятая схема сборки программы выглядит так:

• Скачать архив с программой и необходимые патчи от сторонних разработчиков. Например, с помощью консольной программы скачивания wget
  wget ftp://ftp.chg.ru/prog.tgz
wget http://home.yandex.ru/prog-my.patch

• Проверить, что архив распакуется в отдельный каталог. Если архив распаковывается в текущий каталог, то создать рабочий каталог, скопировать архив туда. ¹
  tar tzf prog.tgz

• Распаковать архив
  tar xzf prog.tgz

• Перейти в каталог с распакованными исходниками
  cd prog

• Прочитать файлы README и INSTALL :)

• Применить патч ²
  patch -p1 < ../prog-my.patch

• Настроить процесс сборки под конкретную ОС
  ./configure

• Скомпилировать программу
  make

• Установить в стандартный каталог (требуются права root'а)
  make install

Unix обладает богатым набором утилит для работы с текстом. Некоторые из них позволяют создать на основе текстовых файлов маленькое подобие базы данных. Все утилиты, рассматриваемые в этом разделе, могут работать как с файлами (наборами файлов), так и со стандартным вводом. Часть утилит может работать с двоичными файлами.

Будем рассматривать текстовые файлы как набор записей-строк, возможно, состоящих из полей, разделённых знаками препинания, слов, разделённых пробелами, и букв.

wc – подсчёт строк, слов и букв. По умолчанию выдаёт все три значения. Интересующую величину можно выбрать с помощью опции -l, -w, -c соответственно.

wc -w /etc/passwd # подсчёт слов в файле passwd
ls | wc -l  # подсчёт числа файлов в текущем каталоге

split – разбиение файла на меньшие, определённого размера. Может разбивать текстовые файлы по строкам и любые – по байтам. По умолчанию читает со стандартного ввода и создает файлы с именами вида xaa, xab и т.д. По умолчанию разбиение идёт по 1000 строк в файле.

cat – объединение файлов. Работает не только с текстовыми файлами, но и с двоичными. Возможно объединение содержимого файлов со стандартным вводом. В этом случае в качестве одного или нескольких имен файлов в командной строке указывается знак -. Пример:

echo "------------" | cat file1 - file2 #Вывод содержимого двух файлов, разделённого строкой из минусов

head – выборка первых строк (байтов) файла:

head -n 12 file  # первые  12 строк
head -c 12 file  # первые  12 байтов
head -n -12 file  # с начала, отбросив 12 строк с конца

tail – выборка последних строк (байтов) файла:

tail -n 12 file  # последние  12 строк
tail -c 12 file  # последние  12 байтов
tail -n +12 file # с 12-ой строки до конца

tail и head – объединение команд обеспечивает выборку диапазона строк:

# 24 строки, начиная с 12-ой (с 12 по 35)
tail -n +12 file | head -n 24
# или
head -n 35 file | tail -n 24

cut – выделение столбца. Довольно неудобная команда, ориентированная на файлы с колонками, разделёнными определённым символом (по умолчанию - символом табуляции), или на файлы с колонками в фиксированных позициях. Опции -f - номер колонки для вывода, -d - символ разделитель. Пример:

# Вывод списка домашних каталогов пользователей (шестое поле в файле passwd)
cut -f6 -d':' /etc/passwd

awk – альтернатива cut. Вообще-то, awk – это довольно развитый язык программирования, но в данном случае нас интересует способность awk разбирать строку на элементы, разделённые пробельными символами. Примеры:

awk '{print $9}' #Вырезание девятой колонки
awk '{print $5 $4 $3 $2 $1}'  #Перестановка местами первых пяти колонок

sort– сортировка строк. Полезные опции: -n - числовая сортировка, т.е. 2 идёт раньше чем 11; -kN - сортировка по колонке номер N. Колонки разделяются произвольным числом пробелов и табуляций. Пример:

ls -l | sort -n -k5 #Сортировка списка файлов по размеру (пятая колонка)

uniq – обработка повторяющихся строк. Умеет отбрасывать повторяющиеся строки и подсчитывать число повторов. Удобно применять вместе с sort. uniq может сравнивать строки целиком или начиная с некоторой позиции до конца строки.

grep – поиск строк по образцу. По умолчанию образец интерпретируется как регулярное выражение. Название программы происходит от команды редактора ed "g/re/p" - перейти к строке, содержащей регулярное выражение re и напечатать эту строку. Если нужно искать символы, имеющие особый смысл в регулярном выражении, то их нужно экранировать через слэш. Пример:

echo abc$ | grep c\\$  #Правильно
echo abc$ | grep 'c\$' #Правильно
echo abc$ | grep c$    #Строка не найдена

join – слияние файлов по ключевому полю. Файлы должны быть предварительно отсортированы. Пример слияния файлов file1 и file2, причем в первом файле ключ находится во второй колонке, а в о втором - ключ в третьей колонке:

join -1 2 -2 3 <(sort -k2 file1) <(sort -k3 file2)

Поиск файлов find

find [from_dir] [tests operators actions]

Команда find рекурсивно проверяет файлы и каталоги начиная с каталога from_dir на соответствие условиям tests, если какое-то условие не выполнено, то дальнейшие не проверяются и начинается проверка следующего файла/каталога. Условия могут объединяться логическими операторами, а при выполнении условий могут выполняться действия - actions.

Некоторые условия:

• -name 'pattern' - поиск имени по шаблону в стиле _sh. В отличии от sh по '*' ищутся файлы, начинающиеся с точки, а '/' не срабатывает, поскольку проверяются имена внутри одного каталога
• -regex pattern - поиск имени по регулярному выражению. Проверяется полное имя от стартового каталога.
• -type [f|d|l..] - поиск файлов, каталогов, символических ссылок и т.п.
• -mtime [+|-]n - поиск файлов по времени модификации в днях . '+' - старше чем n дней, '-' - младше чем n дней, без знака - в точности n дней назад
• -mmin [+|-]n - то же, что и -mtime, но время в минутах
• -size [+|-]n[kMG] - поиск файлов размером больше/меньше/равно n кило/Мега/Гига байт
• -user name - поиск файлов пользователя

Действия:

• -quit - немедленное завершение поиска
• -delete
• -print - печать имени начиная со стартового каталога. Рекомендуется добавлять в конец поиска если нужно просмотреть список найденных файлов
• -print0 - то же, что и -print, но в качестве разделителя имён используется символ '\0'. Рекомендуется использовать при обработке найденных командой xargs
• -printf format - печать информации о файле по формату. Разделитель имён надо вставлять в формат. %f - базовое имя без каталога, %p - полное имя с каталогом, %h - имя каталога, %s - размер.
• -exec cmd args... {} \;' - выполнение внешней команды _cmd с аргументами. Вместо '{}' - подставляется имя файла; '\;' - признак конца аргументов (экранирующий слеш съедается шеллом).

Операторы:

• -a - AND применяется по умолчанию
• -o - OR
• \! - NOT
• \(...\) - группировка условий

В \! и \(...\) экранирующие слеши будут убраны шеллом.

Примеры

Поиск файлов определённого пользователя изменившихся за последние между часом и 30 минутами ранее и печать имени и времени модификации:

find /tmp -user mike -mmin -60 -mmin +30 -printf '%p %t\n'

Поиск файлов, содержащих строку 'example':

find /tmp -type f -exec grep -q example {} \; -print

Рекурсивная смена прав доступа на файлы:

chmod -R a-x mydir/* # Неправильно. Отберёт право на доступ к каталогам
find mydir -type f -exec chmod a-x {} \; # Правильно

Параллельное кодирование видеофайлов в каталоге в 8 потоков:

find ./video -type f -name \*.avi -print0 \
    | xargs -0 -P 8 -n 1 -I {} ffmpeg  -i {} -c:v libx264 -c:a copy {}.mp4

При запуске программы в Unix указывается имя исполняемого файла и список параметров, разделённых пробелами. Дополнительно, может быть задано перенаправление стандартных файлов ввода/вывода.

В зависимости от программы, параметры могут интерпретироваться как опции, как строки или как имена файлов. Единого стандарта нет, но есть несколько популярных соглашений. Однобуквенные опции, как правило, начинаются со знака минус: -x или -x значение, опции с длинными именами - с двух минусов: --xxx-xxx или --xxx-xxx=значение. Программы, которые не работают с файлами, могут использовать опции без знака минус.

Для того, чтобы отличить имена файлов от опций, программы, принимающие в качестве аргументов имена файлов, могут дополнительно использовать следующие соглашения:

• Параметр начинающийся со знака минус, интерпретируется как опция, даже если в текущем каталоге есть файл с таким именем;
• Параметр состоящий из двух знаков минус интерпретируется как последняя опция за которой идут только имена файлов;
• Параметр состоящий из одного минуса интерпретируется как файл стандартного ввода или вывода (в зависимости от смысла выполняемого действия).

Примеры:

cat file # Команда cat интерпретирует параметр как имя файла
echo file # Команда echo интерпретирует параметр как текст
cat -n file # Обе команды интерпретируют -n как опцию
echo -n file # правда, с разным значением
cat -- -n file # Команда cat интерпретирует "--" как конец опций
echo -- -n file # Команда echo не интерпретирует "--" как конец опций
cat - file # Команда cat интерпретирует "-" как чтение из стандартного ввода
echo - file # Команда echo не читает из файлов и не придает "-" особого значения

dd if=file of=/dev/null # Команда dd использует нестандартный формат опций
ps ax --forest # Команда ps все аргументы трактует как опции. Короткие опции используются без минуса
java -version # java использует длинные опции с одним минусом

В командном языке bash операторы if и while могут использовать в качестве условия код завершения произвольной программы. Код ответа 0 интерпретируется как "истина", любой другой - как "ложь". Вместо if можно использовать операторы условного выполнения cmd1 && cmd2 - выполнить cmd2 если cmd1 завершилась успешно и cmd1 || cmd2 - выполнить cmd2 если cmd1 завершилась неуспешно.

Пример:

if grep --silent aaa file; then echo file \"file\" contain \"aaa\"; fi
grep --silent aaa file && echo file \"file\" contain \"aaa\"
grep --silent aaa file || echo file \"file\" not contain \"aaa\"

Для того, чтобы в качестве условия можно было бы писать традиционные выражения, была придумана команда test. Команда получает операторы и операнды в виде отдельных аргументов командной строки, вычисляет логическое условие и возвращает 0, 1 или 2 (в случае синтаксической ошибки).

Пример:

test "abc" = "cde" || echo "abc" not equal "cde"

Для красоты записи программа test имеет ещё одно имя - [ и вспомогательный последний аргумент ] . Две строчки ниже эквивалентны:

if test 1 -gt 0; then echo 1 \> 0;fi
if [ 1 -gt 0 ]; then echo 1 \> 0;fi

Аргументы команды test подвергаются обычным подстановкам и разбиением на слова, что часто приводит к ошибкам:

[ "A" > "B" ]       # неправильно
[ "A" \> "B" ]      # правильно
[ $A = HELLO ]      # ошибка если переменная A не определена, содержит пробелы или символы подстановки
[ "$A" = HELLO ]    # ошибка если $A начинается с минуса. Например -eq
[ x"$A" = xHELLO ]  # прием, позволяющий корректно провести сравнение

Для того, чтобы преодолеть указанные проблемы в язык введена синтаксическая конструкция [[expr]], которая разбирает выражение expr по тем же правилам, что и команда test, но при этом внутри скобок не производится подстановка имен файлов, перенаправление ввода/вывода и разбиение содержимого переменных на слова.

[[expr]] в отличие от [ expr ] не является независимой командой, что можно увидеть на примерах:

\[ -e file \]        # нормально
[ -e file ]          # то же самое
\[\[ -e file \]\]  # [[: command not found
[[ -e file ]]       # нормально

Набор операторов test и [[

Проверки объектов файловой системы: op path

• -e объект существует
• -f это файл
• -s файл не нулевого размера
• -d каталог
• -b блочное устройство (например диск)
• -c байтовое устройство (например модем)
• -p именованный канал
• -h -L символический линк

• -S сокет

• -r доступен на чтение

• -w доступен на запись
• -x доступен на выполнение

Проверка строк: op string

• -z пустая строка
• -n непустая строка

Сравнение строк: string1 op string2

• = равны
• != неравны
• > больше
• < меньше

Сравнение чисел: num1 op num2

• -eq равны
• -ne неравны
• -gt больше
• -lt меньше

Группировка: (expr)

Отрицание: ! expr

Логические операции в test: expr1 op expr2

• -a И
• -o ИЛИ

Логические операции в [[: expr1 op expr2

• && И
• || ИЛИ

Подстановка переменных в zsh

В bash постоянно приходится заботиться о переменных, содержащих пробелы (например A="$B"). Чтобы этого избежать, в zsh содержимое переменной подставляется как один аргумент и никак не интерпретируется. Следующие команды не сработают

A='*'; ls $A # Файл * не найден
A='ls -l'; $A # Команда "ls -l" не найдена 

Для совместимости с bash надо выполнить команды setopt GLOB_SUBST и setopt SH_WORD_SPLIT

base64

В Linux base64 file в MacOS base64 -i file. Команда base64 < file сработает и там и там.

Редактор vim (Vi IMprooved) является развитием vi (VIsual editor). В настоящее время в большинстве дистрибутивов под именем vi поставляется именно vim. В CentOS поставляются три пакета vim-minimal – vi, vim-enhanced – собственно vim и vim-common, набор макросов и вспомогательных программ. Благодаря набору макросов осуществляется подсветка синтаксиса для многих языков программирования, запуск программ на компиляцию, просмотр определения переменных и макросов и т.п.

Редактор имеет 5 режимов (modes):
«Нормальный»: текст не вводится, клавиши h,j,k,l (или стрелки) перемещают курсор, все остальные клавиши и их последовательности выполняют различные команды;
«Вставки/замены»: обычное экранное редактирование. Стрелки могут или не работать в зависимости от программы удаленного доступа;
«Визуальный» или «Выделения»: режим выделения текста с помощью клавиш перемещения курсора или специальных меток;
«Повтора»: после ввода числа в нормальном режиме следующая команда выполнится соответствующее количество раз. Например 5dd пять раз выполнит команду удаления строки;
«Командный»: для ввода команд, для которых не назначены управляющие клавиши.

Клавиша <Esc> (иногда – два нажатия) возвращает из любого режима в «нормальный».
i, a, R, o, O – переводит из «нормального» режима в режим «вставки».
Двоеточие из «нормального» режима переводит в «командный» режим.
Число переводит из «нормального» режима переводят в режим «повтора».
Символы v, V и Ctrl v – переводят из «нормального» режима в «визуальный».

Редактор ed - очень простой интерактивный текстовый редактор, включенный в спецификацию стандарта POSIX. Этот редактор должен присутствовать в любой Unix подобной ОС, в том числе Linux. Фактически это так и есть, но некоторые реализациях могут отклоняться от стандарта. Например, busybox в эмуляторе Unix'а MobaXterm выдает приглашение на ввод команд и лишён поддержки регулярных выражений.

Набор команд ed используется в потоковом редакторе sed, а так же в популярном редакторе vim (там они доступны после ввода управляющего символа ':' ).

Редактор ed не имеет пользовательского интерфейса и не выводит на экран текст редактируемого файла. Это позволяет работать с редактором ed на очень медленных линиях связи и при плохом отклике системы (например при чрезмерной нагрузке).

При старте редактор ed считывает редактируемый файл в буфер в оперативной памяти и выполняет все операции с этим буфером. Буфер сохраняется в файл только после явного вызова команды записи. Такой способ редактирования отличает редактор ed от потокового редактора sed и не позволяет работать в ed с большими файлами.

Запуск редактора

ed [file]

Если указано имя файла, то при старте выдаётся число прочитанных байт. В классической реализации приглашение на ввод не выдается, а вывод числа байтов можно подавить опцией '-'. В MobaXterm выдается приглашение ':', а любые опции игнорируются.

Краткий свод управляющих конструкций языка программирования bash.

Во всех управляющих конструкциях в качестве логического значения используется код возврата из программы, указанной в качестве условия. Код возврата 0 – истина, любое другое значение – ложь. Программа true – всегда завершается с кодом 0, false – всегда завершается с кодом 1. Команда test (она же [...] ) вычисляет код ответа на основе выражения, переданного через параметры командной строки.

Конструкции могут быть записаны в несколько строк, или в одну с использованием разделителя ";".

Последовательности команд. Возвращают код ответа последней выполненной команды.
; - оператор безусловного последовательного выполнения команд
&& оператор И. Правая часть не выполняется если левая выполнилась неуспешно.
|| оператор ИЛИ. Правая часть не выполняется если левая выполнилась успешно.

Оператор if – условное выполнение.
if cmd
then
command...
else
command...
fi

Запись в одну строку
if cmd ; then command1;command2…;else command3;command4…;fi

Цикл while выполняется, пока команда условие возвращает 0
while condition-is-true
do
command...
done
Запись в одну строку
while cmd; do command1; command2;done

Пример с использованием встроенной функцией test
VAR0=0; LIMIT=10
while [ "${VAR0}" -lt "${LIMIT}" ];do
echo -n "${VAR0} " # -n подавляет перевод строки
VAR0=`expr ${VAR0} + 1`
done

Пример в сочетании c арифметической подстановкой
a=1
while (( a <= LIMIT )) ; do # В (()) $ не нужен
echo -n "$a "
((a += 1)) # В арифметической подстановке есть оператор +=
done

Пример с командой read, которая read читает строки из стандартного ввода. read разбивает строку на слова и сохраняет их в указанных переменных. Если переменные не заданы, то read сохраняет всю строку в переменной REPLY. Если необходимо читать посимвольно, то команде read можно указать опцию -n 1
while read; do
echo $REPLY
done < file.txt

Цикл until аналогичен while, но выполняется пока команда завершается с ненулевым кодом возврата
until condition-is-true; do
command...
done

Цикл for выполняется путем последовательной подстановки в переменную цикла значений из списка
for ARG in LIST; do
command...
done

Простая форма
for ARG in "$VAR1" "$VAR2" "$VAR3" ; do
echo $ARG
done

В сочетании с подстановкой имен файлов по шаблону
for FILE in [ab]*; do
echo "$FILE" # В отличие от echo [ab]*, имена печатаются в отдельных строках
done

В сочетании с арифметической подстановкой
LIMIT=5
for ((a=1; a <= LIMIT ; a++)); do # $ не нужен ни перед скобками ни перед именами переменных
echo -n "$a "
done

В сочетании с программой seq
LIMIT=5
for ARG in `seq 1 $LIMIT`;do
echo -n "$ARG "
done

Оператор case выбор одного из вариантов в соответствии со значением аргумента
case "$VARiable" in
"$condition1" )
command...
;;
"$condition2" )
command...
;;
esac

Каждая символ, введенный пользователем, обрабатывается драйвером терминала, а затем интерпретатором командной строки. В разных ОС набор спецсимволов может быть различным. Здесь описаны Linux и bash.

Управление процессами (обрабатываются драйвером терминала):

• Ctrl D - символ конца файла при вводе с клавиатуры. Сообщает программе, что ввод закончился.
• Ctrl C - отправка программе сигнала на завершение. Может быть проигнорировано.
• Ctrl Z - перевод программы в фоновый режим без завершения. Работа с программой может быть продолжена после выполнения команды fg в bash.
• Ctrl S/Ctrl Q - остановка/продолжение вывода программы на экран. Дублируется клавишей ScrollLock.

Горячие клавиши bash:

• Ctrl A – курсор в начало строки.
• Ctrl E – курсор в конец строки.
• Alt F/Alt B - перемещение на слово вперёд/назад.
• Ctrl P, Ctrl N (Стрелки вверх/вниз) – просмотр истории команд.
• Ctrl R – поиск в истории команд, вводимые символы интерпретируются как уже выполнявшаяся команда. По мере нахождения соответствий делается подстановка. Повторное нажатие Ctrl R ищет предыдущее вхождение строки в истории команд. При нахождении нужного варианта можно нажать Enter для выполнения или Ctrl E для выхода из режима поиска в режим редактирования.

TAB – автодополнение. Самая функциональная клавиша в bash. При вводе имени программы нажатие TAB приводит к поиску по первым введенным буквах всех программ в каталогах перечисленных в PATH. Если результат однозначный то производится подстановка, если нет, то повторное нажатие TAB приводит к выводу всех возможностей. При вводе параметров делается попытка завершить имя существующего файла по указанному пути (если в строке нет / то в текущем каталоге).

История команд:

• !! -выполнение предыдущей команды.
• sudo !! -выполнение предыдущей команды через sudo.

Сокращения имен каталогов:

• ~ – домашний каталог пользователя
• ~– - предыдущий посещённый каталог
• ~+ – полное имя текущего каталога

Сокращение для предыдущего каталога позволяет удобно работать с двумя каталогами. Например

$cd ~/work
$cd /tmp
$cd ~-
$cd ~-
$echo ~+
/tmp

make

Утилита make автоматически определяет, какие части программы должны быть перекомпилированы и вызывает команды для их перекомпиляции. Наиболее часто make используется для компиляции C-программ и содержит особенности, ориентированные именно на такие задачи, но можно использовать make с любым языком программирования. Более того, применение утилиты make не ограничивается программами. Можно использовать еe для автоматизации любой задачи, где некоторые файлы должны автоматически порождаться из других.

Makefile

Прежде чем использовать make, необходимо создать файл, называемый make-файлом, который описывает отношения зависимости между исходными и результирующими файлами и содержит команды для пересборки результирующих файлов. В C++ исполняемый файл зависит от объектных файлов, которые, в свою очередь, зависят от исходных файлов и файлов заголовков.

Для make-файлов зарезервированы имена GNUmakefile, makefile и Makefile, причем поиск идет в указанном порядке. Если необходимо использовать нестандартное имя, то его можно передать явно через опцию -f.

Когда make-файл уже написан, для сборки проекта достаточно выполнить в каталоге, где он находится, команду make.

Простой make-файл состоит из правил (инструкций) следующего вида:

ПЕРЕМЕННАЯ = ЗНАЧЕНИЕ

ЦЕЛЬ1 ... : [ЗАВИСИМОСТЬ ...]
    КОМАНДА 1  
    КОМАНДА 2
ЦЕЛЬ2 ... : [ЗАВИСИМОСТЬ ...]
    КОМАНДА 1
    КОМАНДА 2  
...

• ПЕРЕМЕННАЯ - похожа на переменную в sh. Может использоваться для подстановки значения в целях, зависимостях и командах
• ЦЕЛЬ - обычно имя файла, который надо создать. Примерами целей являются исполняемые или объектные файлы. Цель также может быть именем выполняемого действия, как, например, clean.
• ЗАВИСИМОСТЬ - это файл, изменение которого требует персборки цели. Часто цель зависит от нескольких файлов.
• КОМАНДА - это действие, которое выполняет make, например запуск компилятора или удаление временных файлов. Каждая строка правила начинается с символа табуляции. Правило может иметь более чем одну команду - каждую на своей собственной строке. Длинные строки разбиваются на несколько с использованием обратного слэша, за которым следует перевод строки. Знак диез # является началом комментария. Строка с # до конца игнорируется. Комментарии так же могут переноситься на несколько строк с помощью обратного слэша в конце строки.

Запуск make

Синтаксис:

make [Опции] [Переменная='abc'] [Цель]

Квадратные скобки означают необязательность присутствия данной части.

• Цель - имя цели, которую надо выполнить. По умолчанию - первая цель, описанная в make-файле.
• Переменная ='abc' - переопределение переменных. Значения переменных, введенных в командной строке, имеют больший приоритет, чем определения в make-файле.

Опции:

• -f file - явное задание имени make-файла
• -n - имитация действий без реального выполнения, служит для отладки
• -t - изменение времени модификации цели без реального выполнения
• -q - проверка на необходимость обновления цели без реального выполнения.