Регулярные выражения sed. Изучаем команды Linux: sed

sed обрабатывает поток последовательно, строчка за строчкой, начиная с первой и кончая последней (конечно если в sed-скрипте не указано иного, например можно обрабатывать только первые строки, и завершить обработку после выполнения какого-нибудь условия), обычно каждая строка обрабатывается отдельно, в три этапа.

Важно

Нижеприведённая схема в дальнейшем будет часто упоминаться, к примеру "на первом этапе обработки строки" как раз и обозначает - первый этап из этой схемы.

Процедура 2.1. Обработка текста утилитой sed.

На этом этапе строка загружается в буфер. Буфером называется выделенная sed область памяти, размер которой не ограничен (для GNU версии sed, ну конечно на практике размер ограничен объёмом оперативной, и swap-памяти).

Загрузка заканчивается после чтения из потока символа новой строки (\n), или после завершения потока. При этом символ новой строки хотя и читается из потока, однако не пишется в буфер.

Обработка строки.

На этом этапе выполняется sed-скрипт, при этом содержимое буфера обычно изменяется. sed-скрипт состоит из особых sed-команд, каждая из которых представляет собой одну из букв латинского алфавита. Как обычно, малые и БОЛЬШИЕ буквы различаются: n и N это разные команды. Проще всего записывать sed-команды в командной строке, сразу после sed и её ключей, например:

Sed -n "p;p;p"

Для разделения команд используется точка с запятой (;).

Предостережение

Подсказка

\x27 »

Команды sed могут изменить содержимое буфера, но кроме того, как и в других языках программирования, в sed-скриптах можно применять команды условных и безусловных переходов (b , t , и T ), имеются также команды прерывания работы (q и Q ). Некоторые команды воздействуют не только на этап обработки строки, но и на другие этапы, кроме того, внутри скрипта можно ввести ещё одну или несколько строк из входного потока (как на первом этапе).

Важно

Перед (почти)любой командой sed вы можете поставить адресное выражение, в таком случае, команда выполнится тогда, и только тогда, когда адресное выражение истинно. В качестве адресного выражения можно использовать

Номер строки Тогда команда выполнится только для той строки, чей номер указан Диапазон номеров строк Команда выполнится для всех строк из указанного диапазона(диапазон указывается через запятую, вместо второго числа допустимо указывать `$", этот символ обозначает последнюю строку. Регулярное выражение

Команда выполнится только если в буфере найдётся данное RE.

Комбинированный диапазон.

Можно создать и более сложное условие, к примеру от заданного RE, и до строки $ (до конца). Или от первого RE до второго (включительно).

Замечание

Подсказка

Замечание

Кроме написания скрипта сразу после команды, вы можете записать его в файл, для выполнения такого файла можно использовать опцию -f , например:

$ sed -f my_script.sed test_file.txt

Эта команда выполнит sed-скрипт my_script.sed для файла test_file.txt . Кроме того, используя sha-bang

#!/bin/sed -f

вы можете заставить исполнять ваши скрипты оболочку, например, если вы дописали в ваш скрипт в первую строку этот sha-bang, и кроме того у вас есть право выполнения этого скрипта, то прошлый пример можно выполнить так:

$ ./my_script.sed test_file.txt

Предостережение

Вывод буфера
После завершения работы скрипта sed выводит содержимое буфера в выходной поток. Однако, это далеко не всегда необходимо, если вам это не нужно, воспользуйтесь опцией -n , которая блокирует вывод буфера. Кроме того, на этом же этапе происходит вывод и некоторой другой информации, если в скрипте выполнились команды a , c , и/или i . Эти команды тоже выводят информацию в выходной поток, но не во время исполнения, а в этом этапе. Существуют три команды (d , D и Q ), которые так-же подавляют вывод буфера на этом этапе.

Первые sed-скрипты.

Для начала изучения sed нам потребуется какой-нибудь простой текст, например этот:

Пример 2.1. Текст используемый для проверки скриптов.

Вы можете пожертвовать небольшую сумму яндекс-денег на счёт 41001666004238 для оплаты хостинга, интернета, и прочего. Это конечно добровольно, однако это намного улучшит данный документ (у меня будет больше времени для его улучшения). На самом деле, проект часто находится на грани закрытия, ибо никаких денег никогда не приносил, и приносить не будет. Вы можете мне помочь. Спасибо.

Редактор потоков sed – это неинтерактивный текстовый редактор, выполняющий операции на данных, поступающих из стандартного ввода или из файла. Sed редактирует информацию построчно.

В были описаны основы работы с редактором sed. Данное руководство охватывает более продвинутые приёмы.

Объединение команд

Иногда возникает необходимость передать редактору sed несколько команд одновременно. Это делается несколькими способами.

Если у вас ещё нет тестового файла для работы с sed, создайте следующее окружение:

cd
cp /usr/share/common-licenses/BSD .
cp /usr/share/common-licenses/GPL-3 .
echo "this is the song that never ends

not knowing what it was

just because..." > annoying.txt

Поскольку sed работает со стандартным вводом и выводом, можно, конечно, просто вызвать различные команды sed вместе в одной строке:

sed "s/and/\&/" annoying.txt | sed "s/people/horses/"

yes, it goes on & on, my friend
some horses started singing it
not knowing what it was
& they"ll continue singing it forever
just because...

Такой метод сработает, но несколько вызовов sed создают излишнюю нагрузку, занимают больше места и не используют встроенных возможностей sed.

Передать sed несколько команд одновременно можно при помощи опции –e, которую нужно вставить перед каждой командой:

sed -e "s/and/\&/" -e "s/people/horses/" annoying.txt

Также можно объединить команды в строку при помощи символа точки с запятой. Этот метод работает точно так же как и предыдущий.

sed "s/and/\&/;s/people/horses/" annoying.txt

Обратите внимание: при использовании флага –e возникает необходимость разрывать одиночные кавычки, а при использовании точки с запятой все команды можно перечислить в одних кавычках.

Эти два способа одновременного вызова нескольких команд достаточно удобны, однако бывают случаи, когда требуется использовать простую строку команд.

Также следует ознакомиться с оператором =. Этот оператор вставляет номер строки между каждой существующей строкой. Результат выглядит следующим образом:

sed "=" annoying.txt
1
this is the song that never ends
2
yes, it goes on and on, my friend
3
some people started singing it
4
not knowing what it was
5
and they"ll continue singing it forever
6
just because...

Теперь попробуйте отредактировать текст, чтобы понять, как меняется формат нумерации.

Команда G по умолчанию добавляет пустую строку между уже существующими строками.

sed "G" annoying.txt
_
this is the song that never ends
_
yes, it goes on and on, my friend
_
some people started singing it
_
not knowing what it was
_
and they"ll continue singing it forever
_
just because...

Попробуйте скомбинировать эти две команды. Сначала может показаться, что вывод этих команд будет содержать пустую строку между строкой текста и строкой с номером. Однако вывод выглядит так:

sed "=;G" annoying.txt
1
this is the song that never ends
_
2
yes, it goes on and on, my friend
_
3
some people started singing it
_
4
not knowing what it was
. . .
. . .

Это происходит потому, что оператор = изменяет поток вывода (это значит, что использовать полученный вывод для дальнейшего редактирования нельзя).

Это можно обойти при помощи двух вызовов sed, где первый вызов будет восприниматься как простой поток текста для второго.

sed "=" annoying.txt | sed "G"
1
_
this is the song that never ends
_
2
_
yes, it goes on and on, my friend
_
3
_
some people started singing it
. . .
. . .

Имейте в виду, некоторые из команд работают аналогичным образом, особенно если вы объединяете несколько команд и вывод отличается от ожидаемого.

Продвинутая адресация

Одним из преимуществ команд sed, поддерживающих адресацию, является то, что они могут использовать регулярные выражения в качестве критериев. Это означает, что можно работать с файлами, содержимое которых точно не известно.

sed "1,3s/.*/Hello/" annoying.txt
Hello
Hello
Hello
not knowing what it was
and they"ll continue singing it forever
just because...

Вместо этого можно использовать регулярное выражение, находящее только строки, содержащие определенный шаблон. Для этого нужно поместить шаблон поиска между двумя слешами (/) перед командой.

sed "/singing/s/it/& loudly/" annoying.txt
this is the song that never ends
yes, it goes on and on, my friend
some people started singing it loudly
not knowing what it was
and they"ll continue singing it loudly forever
just because...

В этом примере слово loudly помещается перед первым it в каждой строке, содержащей слово singing. Обратите внимание: вторая и четвёртая строки остались без изменений, поскольку они не отвечают шаблону.

Выражения для адресации можно усложнить. Это делает команды более гибкими.

Следующий пример демонстрирует, как использовать регулярные выражения для генерации адресов для других команд. Эта команда находит все пустые строки и удаляет их:

sed "/^$/d" GPL-3
GNU GENERAL PUBLIC LICENSE
Version 3, 29 June 2007
Copyright (C) 2007 Free Software Foundation, Inc.
Everyone is permitted to copy and distribute verbatim copies
of this license document, but changing it is not allowed.
Preamble
The GNU General Public License is a free, copyleft license for
. . .
. . .

Имейте в виду, что регулярные выражения могут быть использованы в любой части диапазона.

К примеру, можно удалить строки между строками START и END:

sed "/^START$/,/^END$/d" inputfile

Имейте в виду: эта команда удалит все строки от первого найденного слова START до первого найденного слова END, и если затем она снова встретит слово START, она продолжит удалять данные.

Чтобы инвертировать адресацию (то есть выбрать строки, которые не соответствуют шаблону), используйте восклицательный знак (!).

К примеру, чтобы удалить любую заполненную строку, нужно ввести:

sed "/^$/!d" GPL-3

Адрес не обязательно должен быть сложным выражением, чтобы быть инвертированным. Инверсия точно так же работает с обычной нумерацией.

Использование дополнительного буфера

Дополнительный буфер (hold buffer) увеличивает способность sed выполнять многострочное редактирование.

Дополнительный буфер представляет собой область временного хранения, которая может быть изменена путем определенных команд.

Наличие этого дополнительного буфера позволяет хранить строки во время работы над другими строками.

Команды для работы с буфером:

h: копирует текущий буфер обработки (последней совпавшей строки, с которой вы работаете) в дополнительный буфер.
H: Добавляет текущий буфер обработки в конец текущей дополнительной обработки, разделяя их символом \n.
g: Копирует текущий дополнительный буфер в текущий буфер обработки. Предыдущий буфер обработки будет утерян.
G: Добавляет текущий шаблон в текущий буфер обработки, разделяя их символом \n.
x: Подкачивает текущий шаблон и дополнительный буфер.

С контентом дополнительного буфера нельзя работать до тех пор, пока он не перемещён в буфер обработки.

Рассмотрим сложный пример.

Попробуйте соединить смежные строки при помощи следующей команды:

sed -n "1~2h;2~2{H;g;s/\n/ /;p}" annoying.txt

Примечание : На самом деле, для этого sed предлагает отдельную встроенную команду N; но для практики рассмотреть этот пример полезно.

Опция –n подавляет автоматический вывод.

1~2h – определение адреса, выполняющее последовательную замену каждой второй строки текста, начина с первой (то есть каждой нечётной строки). Команда h копирует совпавшие строки в дополнительный буфер.

Остальная часть команды взята в фигурные скобки. Это означает, что эта часть команды будут наследовать адрес, который был только что указан. Без этих скобок, наследовать адрес будет только команда H, а остальные команды будут выполняться для каждой строки.

Конечно, ранее упомянутая встроенная команда N значительно короче и проще, и возвращает такой же результат:

sed -n "N;s/\n/ /p" annoying.txt
this is the song that never ends yes, it goes on and on, my friend
some people started singing it not knowing what it was
and they"ll continue singing it forever just because...

Скрипты sed

Команды можно компоновать в скрипты. Это позволяет выполнять целый набор команд на один целевой шаблон.

К примеру, можно написать скрипт, чтобы создавать простые текстовые сообщения, которые нужно предварительно отформатировать.

Тогда вам не придётся постоянно повторять одни и те же команды для каждого сообщения. По сути, скрипт sed – это список команд, которые нужно применить на заданный объект.

Например:

s/this/that/g
s/snow/rain/g
1,5s/pinecone/apricot/g

Затем можно вызвать файл:

sed -f sedScriptName fileToEdit

Заключение

Теперь вы знаете более продвинутые методы работы с sed.

Сначала команды sed сложны для понимания, в них легко запутаться. Потому рекомендуется поэкспериментировать с ними, прежде чем использовать их на важных данных.

Tags: ,

Sed - лёгкий (бинарник весит всего 128 килобайт) и удобный инструмент обработки текста.

В этой статье я приведу несколько простых примеров использования sed и расскажу о его основных возможностях.

Sed получает входной поток данных или файл построчно, редактирует каждую строку согласно правилам, определённым в sed-скрипте, и затем выводит результат. Sed это тьюринг-полный язык программирования.

Формат команды sed

Команда sed имеет формат:

sed [ -n ] [ -e скрипт ] [ -f скрипт-файл ] [ файлы ]

Флаг -n подавляет вывод
-e - указывает на список инструкций, заданный в командной строке.
-f - указывает местонахождение файла-скрипта.

Формат команд редактирования

Скриптовый файл состоит из набора команд:

[ адрес [ , адрес ] ] команда [ аргументы ]

по одной в каждой строке.
Адреса это либо номера строк, либо специальные символы, либо регулярное выражение:

$ - последняя строка
начало~N - Каждая N -я строка, начиная с номера начало
/регулярное_выражение/ - строки, попадающие под регулярное_выражение
Примеры:

1~2 - Каждая вторая строка /REGEXP/ - все строки, в которых встречается /REGEXP/ 10,20 - строки с 10-й по 20-ю 10,+10 - строки с 10-й по 20-ю 5,~N - строки начиная с 5-й и до первой, кратной N 5,/REGEXP/ - строки, содержащие /REGEXP/ , после 5-й(не включая 5-ю)

Если адрес не указан, обрабатываются все строки.
Если указан один адрес - обрабатывается соответствующая строка
Если указаны два адреса, то выбираются строки в заданном интервале.
!команда - выполняется команда , для строк, которые небыли выбраны по адресам.

Основные команды

Рассмотрим основные команды:

[адрес] a текст - добавить новую строку с текстом после указанной строки

$ cat sed_test sed_test_1 11111 sed_test_2 22222 sed_test_3 33333 $ sed -e "2 a new_line" sed_test sed_test_1 11111 sed_test_2 22222 new_line sed_test_3 33333

[адрес [, адрес]] c текст - Удаляет выбранные строки и заменяет их на текст

$ sed -e "2 с new_line" sed_test sed_test_1 11111 new_line sed_test_3 33333 $ sed -e "/3/ с new_line" sed_test sed_test_1 11111 sed_test_2 22222 new_line

[адрес [, адрес]] d - Удаляет указанные строки.

$ sed -e "2 d" sed_test sed_test_1 11111 sed_test_3 33333 $ sed -e "2!d" sed_test sed_test_2 22222

[адрес] i текст - Вставить текст на место указанной строки.

$ sed -e "2 i new_line" sed_test sed_test_1 11111 new_text sed_test_2 22222 sed_test_3 33333

[адрес [, адрес]] p (с флагом -n ) выводит найденные строки.

$ sed -ne "2p" sed_test sed_test_2 22222

[адрес] q - выход из sed.

[адрес [, адрес]] r файл - Читает файл и выдает его содержание на выход.

[адрес [, адрес]] s/регулярное_выражение/замена/флаги - Заменяет регулярное_выражение на замена -у с учётом флагов:

g - во всей строке
i - без учёта регистра
p - выводить результат замены

$ sed -ne "s/t/T/g" sed_test sed_TesT_1 11111 sed_TesT_2 22222 sed_TesT_3 33333 $ sed -e "s//d/g" sed_test sed_test_d ddddd sed_test_d ddddd sed_test_d ddddd

[адрес [, адрес]] y/строка1/строка2/ - Заменяет все вхождения символов в строке1 соответсвующими символами из строки2 . Длины строк должны быть одинаковыми.

$ sed -ne "y/est/EST/g" sed_test SEd_TEST_1 11111 SEd_TEST_2 22222 SEd_TEST_3 33333

[адрес [, адрес]] { команды } - скобки группируют команды
[адрес] = - Выдаёт номера строк

Метки

: метка - сопоставить группе команд метку
b метка метка , если метка отсутствует, то переход в конец командного файла.

t метка - переход к команде, обозначенной меткой метка только после удачной замены с помощью команды s///

Цикл выполнения

sed работает с двумя буферами данных: основным и вспомогательным. Изначально оба буфера пусты.
Работа с этими буферами осуществляется при помощи команд:\\`h’, `H’, `x’, `g’, `G’ `D’ h - Заменить содержимое вспомогательного буфера содержимым основного
H - Добавить новую строку к вспомогательному буферу и затем добавить содержимое основного буфера к содержимому вспомогательного
x - Поменять содержимое обоих буферов местами
g - Заменить содержимое основного буфера содержимым вспомогательного
G - Добавить новую строку к основному буферу и затем добавить содержимое вспомогательного буфера к содержимому основного
D - Удалить текст основного буфера до следующего символа перевода строки
N - Добавить новую строку к основному буферу, затем добавить туда следующую обрабатываемую строку
P - Вывести содержимое основного буфера до следующего символа перевода строки.

Более сложные примеры

Следующий скрипт меняет местами строки файла (первые строки становятся последними и наоборот)

$ cat tac.sed #!/usr/bin/sed -nf # начиная со второй строки, содержимое буфера (который уже содержит # все предыдущие строки) добавляется к текущей строке. 1! G # при достижении последней строки - печатаем $ p # Заносим данные в буфер опять h sed -nf tac.sed sed_test sed_test_3 33333 sed_test_2 22222 sed_test_1 11111

Считаем строки файла (выводим номер последней строки)

$ cat count.sed #!/usr/bin/sed -nf $=

результат

$ sed -nf count.sed sed_test 3

Обращение строк

$ cat revers.sed #!/usr/bin/sed -f # пропускаем строки из одной буквы /../! b # Переворачиваем строку. Добавляем по пустой строке перед и после текущей. s/%$@~*!G4;:%#`.*$/\ &\ / # Переносим первый символ в конец # цикл работает пока в средней строке есть символы. tx:x s/$\\n.$$.*$$.\\n$/\\3\\2\\1/ tx #удаляем лишние переносы строк s/\\n//g

Этот скрипт перемещает две буквы за раз.

$ sed -f revers.sed sed_test 11111 1_tset_des 22222 2_tset_des 33333 3_tset_des

Дополнительная информация

Подробнее о формате sed-скриптов можно узнать, прочитав мануал man sed или техническую документацию info sed .

НАЗВАНИЕ

sed — потоковый редактор

СИНТАКСИС

sed [-Ealn] command

sed [-Ealn] [-e command] [-f command_file] [-i extension]

ОПИСАНИЕ

Утилита sed читает указанный файл, либо стандартный ввод, если файл не указан,модифицирует ввод,как указано в списке команд. Затем, вход пишется на стандартный выход.Одна команда может быть указана, как первый аргумент sed. Множественные команды могут быть указаны использованием опций -e или -f. Все команды применяются в порядке их указания, вне зависимости от их происхождения. Доступны следующие опции:

Интерпретирует регулярные выражения как расширенные (современные), регулярные выражения чаще, чем основные регулярные выражения. Страница документации наre_format(7) полностью описывает оба формата.

Файлы перечисленные как параметры функции «w» создаются (или удаляются)прежде, чем начнется процесс по умолчанию. Опция -a заставляет sed откладывать открытие каждого файла до тех пор, пока команда содержащая связную функцию «w» не применяется к строке ввода.

Добавляет команды редактирования определенные аргументом command, к списку команд

Добавляет команды редактирования найденные в файле command_file к списку команд. Каждая команда редактирования должна быть перечислена в отдельной строке.

Редактирует файлы с замещением, сохраняя резервную копию с указанным расширением. Если расширение не указано (нулевой длины), резервная копия не будет сохраняться. Не рекомендуется присваивать нулевое расширение к замещаемым файлам, поскольку вы рискуете полностью или частично повредить файл, когда место на диске исчерпано.

создает буфер выходных строк.

по умолчанию, каждая линия ввода выводиться на стандартный вывод, после того как были применены все команды. Опция -n отменяет это поведение.

Форма команд sed следующая:

]function

Пробелы (whitespaces) могут быть вставлены до первого адреса и частями функции команды.

Обычно sed циклически копирует строку ввода, не включая завершающий символ новойстроки, в шаблон пробелов, (до тех пор, пока кто-нибудь не оставит «D» функцию) применяет все команды с адресами которые выбрали этот шаблон, копирует шаблон на стандартный вывод, добавляя символ новой строки и удаляя шаблон.

Некоторые функции используют hold space, для сохранения всего или части шаблона для последующего поиска.

Адреса Sed

Адрес не обязателен, но если он указан, то адрес должен являться номером (который считает строки входных файлов), знаком доллара (‘$’), который указывает на последнюю введенную строку или контекстный адрес (который содержит регулярное выражение,которому предшествует, и следует за ним, разделитель).

Командная строка без адресов выбирает каждый шаблон.Командная строка с одним адресом выбирает все шаблоны, которые совпадают с адресом.

Командная строка с двумя адресами выбирает включительный диапазон. Диапазон начинается с первого шаблона который совпадает с первым адресом. Конец диапазона следующий шаблон, который совпадает со вторым адресом. Если номер второго адреса равно или меньше номера строки первого, в таком случае эта строка будет выбрана.

В случае, когда второй адрес — контекстный адрес, sed не производит повторногосравнения второго адреса с шаблоном, который совпадает с первым адресом. Начиная с первой строки, сопровождаемой выбранным диапазоном, sed начинает поиск первого адреса снова.

Редактирование команд может применяться к невыбранным шаблонам, через использование символа («!»).

Регулярные выражения sed

Регулярные выражения используемые в sed, по умолчанию, являются основными регулярными выражениями (смотрите re_format(7), для более детальной информации), но вместо них могут использоваться раширенные (новые) регулярные выражения, если будет использован флаг -E.

Вдобавок, sed имеет следующие дополнения к регулярным выражениям:

1. В контекстном адресе, любой символ отличный от обратного слеша («\») или символа новой строки, может использоваться для разграничения регулярного выражения. Так же, использование обратного слеша перед разграничительным символом, заставляет символ являться литерой. Например, в контекстном адресе xabcxdefx,разграничивающим символом в регулярном выражении является «x», второй «x» будет являться литерой, поэтому регулярное выражение будет «abcxdef».

2. последовательности
совпадает с символом новой строки, встроенным в шаблон. Вы не можете использовать литеры символа новой строки в адресе, или команде подмены.

Единственной особенностью, присущей регулярным выражениям sed, является особенность быть, по умолчанию, по отношению к последему используемому регулярному выражению. Если регулярное выражение пустое, то есть, только указан разграничивающий символ, в таком случае будет использовано последнее использовавшееся регулярное выражение. Последнее регулярное выражение определяется как последнее использовавшееся регулярное выражение, как часть адреса или команды подмены, во время запуска, а не во время компиляции. Например, команда «/abc/s//XXX/» заменит «XXX» на шаблон «abc».

Функции sed

В следующем списке команд, максимальное количество разрешенных адресов для каждой команды показывается как , , или , представляя ноль, один или два адреса. Аргумент text содержит одну или более строк. Что бы включить символ новой строки в текст, поставьте перед ним символ обратного слеша. Другие символы обратного слеша в тексте удаляются и следующие за ними символы рассматриваются как литеры.

Функции «r» и «w» берут опциональный параметр файла, который должен быть отделен от функционального символа пробелом (whitespace). Каждый файл, заданный как аргумент для sed’а, создается (или содержимое его урезается) прежде, чем начнется любая обработка ввода.

Функции «b», «r», «s», «t», «w», «y», «!», и «:» принимают дополнительные аргументы. Следующий пример показывает, какие аргументы должны быть отделены из символов функций, пробелами (whitespaces).

Две функции составляют список функций. Список функций sed разделяется символами новой строки, как показано в следующим примере:

«{» может предворяться пробелом и сопровождаться пробелом. Функции могут предворяться пробелом. Звершающая «}» может пердворяться символом новой строки или пробелом.

Function-list Запускает список функций только, когда выбран шаблон.

text Записывает text в стандартный вывод незамедлительно, до попыток прочитать строку ввода, используется ли функция «N» или начинается новый цикл.

b Разветвляет функцию «:» определенным лейблом. Если лейбл не указан, разветвление происходит в конце скрипта.

text Удаляет шаблон. С 0 или 1 адреса, или диапазон 2 адресов, text выводится на стандартный вывод.

d Удаляет шаблон и начинает новый цикл.

D Удаляет начальный сегмент шаблона через первый символ новой строки и начинает новый цикл.

g Заменяет содержимое шаблона содержимым hold space.

G Добавляет символ новой строки, сопровождаемый содержимым hold space.

h Замещает содержимое hold space, сождержимым шаблона.

H Добавляет символ новой строки, сопровождаемы содержимым шаблона

i ext Записывает text на стандартный вывод.

l (буква эль). Записывает шаблон на стандартный вывод в визуально однозначной форме. Эта форма следующая:

обратный слэш \

возврат каретки

табуляция

вертикальня табуляция v

Непечатные символы записываются, как трехзначные восмеричные номера (предваряемые обратным слешем) для каждого байта в символе (наиболее важные байты сначала).

Длинные строки переносятся с указанием точки переноса в виде обратного слеша сопровождаемого символом новой строки. Конец каждой строки указан символом «$».

n Записывает шаблон на стандартный вывод если вывод по умолчанию не был переопределен, и заменяте шаблон следующей строкой ввода.

N Добавляет следующую строку к шаблону, используя встроенный символ новой строки, для разделения добавляемого материала от оригинального содержимого.

p Записывает шаблон на стандартный вывод.

P Записывает шаблон до первого символа новой строки, на стандартный вывод.

q Разветвляет конец скрипта и выходит без загрузки нового цикла.

r file Копирует содержимое file на стандартный вывод сразу же, прежде чем произойдет следующая попытка чтения строки. Если file не может быть прочитан, по любой причине, он тихо игнорируется и состояние ошибки не устанавливается.

s/regular expression/replacement/flags

Подменяет, замещаемую строку, первым регулярным выражением в шаблоне. Любой символ отличный от обратного слеша или символа новой строки может быть использован вместо обратного слеша или символа новой строки, вместо слеша, что бы разделить регулярное выражение и замещение. Внутри регулярного выражения и замещения, разделитель регулярных выражений сам может быть использован как литера, если он предварен обратным слешем.

Амперсанд («&») появляется в замене, если замещаемая строка совпадает с регулярным выражением. Особое значение «&» в этом контексте может быть изменено, предварением амперсанда обратным слешем. Строка «#», где «#» цифра, которая замещается текстом совпавшим с передачей обратного выражения.

Строка может быть разделена добавлением символа новой строки в нее. Для определения символа новой строки в замещаемой строке, предварите ее обратным слешем.

Значение flags в заменяемой функции — ноль или одна из следующих:

N Создавать замену только для N’ повторений регулярного выражения в шаблоне.

g Создавать замену для всех неперекрывающих совпадений регулярного выражения,не только для первого.

p Записывать шаблон на стандартный вывод, если сделано замещение. Если замещаемая строка совпадает с замещаемой, она все еще расценивается как замещение.

w Добавляет шаблон к file если замещение произошло. Если замещаемая строка совпадает с замещаемой, она все еще расценивается как замещение.

Разветвление функции «:» лейбл, если любая замена была сделана с момента нового чтения строки ввода или запуска функции «t». Если лейбл не определен,разветвление идет до конца скрипта.

w file Добавляет шаблон к file.

x Меняет содержимое шаблона и hold spaces.

y/string1/string2/

Замещает все повторения символа в string1 в шаблоне с соответствующими символами из string2. Любой символ, отличный от обратного слеша или символа новой строки может использоваться вместо обратного слеша или символа новой строки для разделения строк. Внутри string1 и string2 обратный слеш сопровождается любым символам отличным от символа новой строки, который является литерой и обратный слеш сопровождаемый «n» замещается символом новой строки.

Function

Function-list

Применяет функцию или список функций только для строк которые не выбраны адресом.

Эта функция ничего не делает, она вызывает лейбл в котором команды «b» и «t» могут разветвляться.

Записывает номер строки на стандартный вывод спопровождаемый символом новой строки.

Игнорирует пустые строки.

«#» и остаток строки игнорируются (расценивается как коментарий), с единственным исключением что если первые два символа в файле являются «#n», вывод по умолчанию подавляетс. То же самое, что и определение опции -n в командной строке.

Окружение

Переменные COLUMNS, LANG, LC_ALL, LC_CTYPE и LC_COLLATE препятствуют запуску sed ,как описано в environ(7).

Состояние выхода

утилита sed выходит с установкой 0 если выход прошел успешно, и >0 если возникли

Смотрите так же

awk(1), ed(1), grep(1), regex(3), re_format(7)

Стандарт

утилита sed, как ожидается, будет в наборе спецификаций EEE Std 1003.2 («POSIX.2»)

Опции -E, -a и -i не стандартны для расширений FreeBSD и могут быть недоступны для других операционных систем.

команда sed написана L. E. McMahon, появилась в Version 7 AT&T UNIX.

Мультибайтовые символы, содержащие значение 0x5C (ASCII `\’) могут быть распознаны

некорректно как продолжение символов строки в аргументах команд `a», «c» и «i»

Мультибайтовые символы не могут использоваться как разделители с командами

Утилита sed это мощный потоковый редактор текста с поддержкой регулярных выражений. С помощью sed вы можете заменять шаблоны текста (причем непосредственно в файле!), удалять строки (элементы массива), выводить подходящие по маске строки (подобно grep ). Редактор sed поддерживает применение нескольких команд и расширенный синтаксис регулярных выражений (при котором не нужно экранировать спец. символы).

В sed нет поддержки опережающих и ретроспективных проверок в регулярках! Для замены с использованием расширенного синтаксиса regex используйте:

Внимание!

В довольно проблемно работать с символом перевода строки! Самое удобное решение — это:

В качестве разделителей можно использовать любые символы (напрмиер: ,). Match части (которые внутри круглых скобок) доступны как, .

Опции утилиты:

Флаги строки-команды (указывать в конце маски):

Примеры

Фильтрация строк

Вывести строки 1-5:

Вывести файлы соответствующие маске:

Строки длиннее 80 символов:

Замена по шаблону

Вывести вхождения (matches ) через табуляцию:

Заменить названия файлов (composer на composer-dev ):

Заменить символы (regex):

Заменить URL в файле (штука в разделителях, и для замены в файле):

Заменить параметр в конфиге:

Удалить начальные пробелы (аналог ltrim ):

Удаление строк

Удалить из файла строку подходящую шаблону:

Удалить первую строку вывода:

Удалить строки от первой до соответствующей regex :

Заменить подстроку:

Примечание

По умолчанию необходимо экранировать все спец. символы в regex’ах, что крайне затрудняет чтение масок. Для того, чтобы экранировать спец.символы только в случае описания в тексте их самих — включите расширенный режим regex выражений с помощью опции.

Удалить пустые строки:

Удалить последние N=2 символа:

Извлечение подстрок

Вырезать / запомнить последние N=4 символа:

#sed, #regexp, #bash

Изучаем команды Linux: sed

Потоковый редактор SED

Sed - лёгкий (бинарник весит всего 128 килобайт) и удобный инструмент обработки текста.

Формат команды sed

Команда sed имеет формат:

sed [ -n ] [ -e скрипт ] [ -f скрипт-файл ] [ файлы ]

Формат команд редактирования

Скриптовый файл состоит из набора команд:

[ адрес [ , адрес ] ] команда [ аргументы ]

по одной в каждой строке.
Адреса это либо номера строк, либо специальные символы, либо регулярное выражение:

Если адрес не указан, обрабатываются все строки.
Если указан один адрес - обрабатывается соответствующая строка
Если указаны два адреса, то выбираются строки в заданном интервале.
!команда - выполняется команда , для строк, которые небыли выбраны по адресам.

Основные команды

Рассмотрим основные команды:

[адрес] a текст - добавить новую строку с текстом после указанной строки

[адрес [, адрес]] c текст - Удаляет выбранные строки и заменяет их на текст

[адрес [, адрес]] d - Удаляет указанные строки.

[адрес] i текст - Вставить текст на место указанной строки.

[адрес [, адрес]] p (с флагом -n ) выводит найденные строки.

[адрес] q - выход из sed.

[адрес [, адрес]] r файл - Читает файл и выдает его содержание на выход.

g - во всей строке
i - без учёта регистра
p - выводить результат замены

[адрес [, адрес]] y/строка1/строка2/ - Заменяет все вхождения символов в строке1 соответсвующими символами из строки2 .

Длины строк должны быть одинаковыми.

[адрес [, адрес]] { команды } - скобки группируют команды
[адрес] = - Выдаёт номера строк

Метки

t метка - переход к команде, обозначенной меткой метка только после удачной замены с помощью команды s///

Цикл выполнения

Более сложные примеры

Следующий скрипт меняет местами строки файла (первые строки становятся последними и наоборот)

Считаем строки файла (выводим номер последней строки)

результат

Обращение строк

Этот скрипт перемещает две буквы за раз.

Дополнительная информация

Подробнее о формате sed-скриптов можно узнать, прочитав мануал man sed или техническую документацию info sed .

Вернуться к оглавлению

02.02.2013

Разложение строк средствами Bash в примерах (parameter expansions)

(Использовались материалы [ 1] [ 2] и [ 3])

Для работы над строками средствами Bash используются параметры разложения (parameter expansions ) Описание этого принципа можно найти в в пункте.
Описание трудновато для понимания. Намного проще понять принцип работы на примерах.

1. Удаление символов в начале или в конце строки

Любой одиночный символ обозначается как

Зададим переменную

$ STRING=aabbcc $ echo ${STRING} aabbcc Для удаления символов в начале строки используем команды: $ echo ${STRING#?} abbcc $ echo ${STRING#???} bcc для удаления символов в конце строки: $ echo ${STRING%?} aabbc $ echo ${STRING%???} aab Что бы запомнить, когда применять знак, а когда используют вот такой оригинальный способ:
Символы располагаются на клавиатуре последовательно и:
— слева от, означает с начала строки
— справа от, означает до конца строки

2. Удаление регулярных выражений в начале или в конце строки

Регулярные выражения (regular expressions или RegExp, regex) — это строка-шаблоном или «маска» задающая правило поиска.

Снова зададим переменную

$ STRING=GNULinux $ echo ${STRING} GNULinux удаляем регулярное выражение в начале строки: $ echo ${STRING#GNU} Linux удаляем регулярное выражение в конце строки: $ echo ${STRING%Linux} GNU Теперь тоже самое, но используя «*» (астериск)
удаляем регулярное выражение в начале строки (): $ echo ${STRING#*U} Linux удаляем регулярное выражение в конце строки (): $ echo ${STRING%L*} GNU

Использование регулярных выражений может быть скомбинировано с «?» (знаком любого символа) ():

$ echo ${STRING%??n*} GNU

3. Использование сдвоенных ## и %%

Если при удалении из строки регулярных выражений (*regex или regex*), при использовании «#» и «%» с «*» — удаление идёт до первого вхождения регулярного выражения , то при использовании сдвоенных «##» и «%%» — до последнего:

И снова зададим переменную

$ STRING=abcdcba $ echo ${STRING} abcdcba STRING=abcdcba ${STRING#*c} dcba ${STRING##*c} ba ${STRING%c*} abcd ${STRING%%c*} ab $ echo ${STRING#*c} dcba $ echo ${STRING##*c} ba $ echo ${STRING%c*} abcd $ echo ${STRING%%c*} ab

4.
Шпаргалка по sed

Поиск и замена

Замена первого вхождения

Глобальная замена

$ STRING=»abracadabra» $ echo «${STRING/a/O}» Obracadabra $ echo «${STRING//a/O}» ObrOcOdObrO $ echo «${STRING/#a/O}» Obracadabra $ echo «${STRING/%a/O}» abracadabrO $ echo «${STRING/a/}» bracadabra $ echo «${STRING//a/}» brcdbr

5. Извлечение подстроки используя смещение и длину

Смещение от края строки

Длина подстроки

5.1 Смещение при положительных значениях

При положительных значениях смещения первому символу строки соответствует значение «».

Примеры с положительными значениями: $ STRING=»Debian Gentoo RedHat» $ echo ${STRING:0:6} Debian $ echo ${STRING:14} RedHat $ echo ${STRING:7:6} Gentoo
5.2 Смещение при отрицательных значениях

При отрицательных значениях отсчёт ведётся от конца строки, а последнему символу строки соответствует значение равное «».

Для записи отрицательного смещения между двоеточием и знаком минус нужно оставлять пробел или брать отрицательное значение в круглые скобки.

Если не задана, то длина подстроки автоматически продляется до конца.

Примеры с отрицательными значениями: $ STRING=»Debian Gentoo RedHat» $ echo ${STRING: -6} RedHat $ echo ${STRING:(-6)} RedHat $ echo ${STRING:(-6):3} Red $ echo ${STRING:(-6):10} # длина превышает смещение RedHat
5.3 Отрицательные значения.

Если принимает отрицательное значение, то она работает как смещение от конца строки. Результатом будет подстрока между первым и вторым смещениями:

$ STRING=»Debian Gentoo RedHat» $ echo ${STRING:7:-7} Gentoo $ echo ${STRING:(-14):-7} Gentoo

Как всё это применить на практике:

Ниже представлены различные варианты кода для смены расширения с на при пакетном перекодировании аудио файлов: for i in .wav; do lame «$i» «${i%???}mp3»; done; for i in .wav; do lame «$i» «${i%wav}mp3»; done; for i in .wav; do lame «$i» «${i%.}.mp3»; done; for i in .wav; do lame «$i» «${i/wav/mp3}»; done; for i in .wav; do lame «$i» «${i:0:-3}mp3»; done;

6. Подсчёт количества символов в строке

$ STRING=»Подсчёт количества символов в строке» $ echo ${#STRING} 36
Узнать количество символов в файле: $ ARRAY=(`cat file.html`) $ echo ${#ARRAY[@]} 1158

Здесь нужно отметить, что файл читается не просто в переменную, а в массив, так как он состоит из нескольких строк. Поэтому для правильного подсчёта необходимо ставить. Если этого не сделать, то команда прочитает только первую строку из файла:

$ ARRAY=(`cat file.html`) $ echo ${#ARRAY} 7 И правда, первая строка содержит лишь тег и символ перевода строки виндовс () — и того 7 символов.

7. Изменение регистра символов

Переводит первый символ в верхний регистр

Переводит все символы в верхний регистр

Переводит первый символ в нижний регистр

Переводит все символы в нижний регистр

Инвертирует регистр первого символа

Инвертирует регистр всех символов

Теги: Linux, bash, shell, regular expressions, parameter expansions, RegExp, regex, length, offset, for, in, do. lame, done, *.wav, mp3, CR+LF, регулярные выражения, шаблон, поиск, переменная, массив, строка, символы, верхний, нижний, регистр