20 příkladů awk

V operačním systému Linux existuje mnoho obslužných nástrojů pro vyhledávání a generování zpráv z textových dat nebo souborů. Uživatel může snadno provádět mnoho typů vyhledávání, nahrazování a generování sestav pomocí příkazů awk, grep a sed. awk není jen příkaz. Je to skriptovací jazyk, který lze použít jak z terminálu, tak ze souboru awk. Podporuje proměnnou, podmíněný příkaz, pole, smyčky atd. jako ostatní skriptovací jazyky. Může číst libovolný obsah souboru řádek po řádku a oddělit pole nebo sloupce na základě konkrétního oddělovače. Podporuje také regulární výraz pro prohledávání konkrétního řetězce v textovém obsahu nebo souboru a provádí akce, pokud je nalezena shoda. Jak můžete použít příkaz awk a skript, je v tomto tutoriálu ukázáno pomocí 20 užitečných příkladů.

Obsah:

awk s printf
awk rozdělit na prázdné místo
awk změnit oddělovač
awk s daty oddělenými tabulátory
awk s daty CSV
awk regex
awk malá a velká písmena regex
awk s proměnnou nf (počet polí)
awk gensub () funkce
awk s funkcí rand ()
awk uživatelem definovaná funkce
awk pokud
awk proměnné
pole awk
awk smyčka
awk vytiskne první sloupec
awk vytiskne poslední sloupec
awk s grep
awk se souborem bash skriptu
awk se sed

Používání awk s printf

printf () Tato funkce se používá k formátování jakéhokoli výstupu ve většině programovacích jazyků. Tuto funkci lze použít s awk příkaz pro generování různých typů formátovaných výstupů. Příkaz awk se používá hlavně pro jakýkoli textový soubor. Vytvořte textový soubor s názvem zaměstnanec.txt s níže uvedeným obsahem, kde jsou pole oddělena tabulátorem ('\ t').

zaměstnanec.txt

1001 John sena 40000
1002 Jafar Iqbal 60000
1003 Meher Nigar 30000
1004 Jonnyho játra 70000

Následující příkaz awk načte data z zaměstnanec.txt soubor po řádku a po formátování vytiskněte první soubor. Tady, "% 10 s \ n”Znamená, že výstup bude mít 10 znaků. Pokud je hodnota výstupu menší než 10 znaků, budou na začátek hodnoty přidány mezery.

$ awk 'printf "% 10s \ n", $ 1 zaměstnanec.txt

Výstup:

Přejít na obsah

awk rozdělit na prázdné místo

Výchozí oddělovač slov nebo polí pro rozdělení libovolného textu je prázdné místo. Příkaz awk může brát textovou hodnotu jako vstup různými způsoby. Vstupní text je předán z echo příkaz v následujícím příkladu. Text, 'Mám rád programování'bude rozděleno ve výchozím oddělovači, prostor, a třetí slovo bude vytištěno jako výstup.

$ echo 'Mám rád programování' | awk 'print $ 3'

Výstup:

Přejít na obsah

awk změnit oddělovač

Příkaz awk lze použít ke změně oddělovače pro jakýkoli obsah souboru. Předpokládejme, že máte textový soubor s názvem telefon.txt s následujícím obsahem, kde ':' se používá jako oddělovač pole obsahu souboru.

telefon.txt

+123: 334: 889: 778
+880: 1855: 456: 907
+9: 7777: 38644: 808

Spuštěním následujícího příkazu awk změňte oddělovač, ':' podle '-' k obsahu souboru, telefon.txt.

$ kočičí telefon.txt
$ awk '$ 1 = $ 1' FS = ":" OFS = "-" telefon.txt

Výstup:

Přejít na obsah

awk s daty oddělenými tabulátory

Příkaz awk má mnoho předdefinovaných proměnných, které se používají ke čtení textu různými způsoby. Dva z nich jsou FS a OFS. FS je oddělovač vstupního pole a OFS je proměnné oddělovače výstupního pole. Použití těchto proměnných je uvedeno v této části. Vytvořit záložka samostatný soubor s názvem vstup.txt s následujícím obsahem pro testování použití FS a OFS proměnné.

Vstup.txt

Skriptovací jazyk na straně klienta
Skriptovací jazyk na straně serveru
Databázový server
Webový server

Použití proměnné FS s tabulátorem

Následující příkaz rozdělí každý řádek vstup.txt soubor založený na záložce ('\ t') a vytiskne první pole každého řádku.

$ awk 'print $ 1' FS = '\ t' vstup.txt

Výstup:

Použití proměnné OFS s tabulátorem

Následující příkaz awk vytiskne 9^th a 5^th pole 'ls -l' výstup příkazu s oddělovačem záložek po vytištění názvu sloupce “název" a "Velikost“. Tady, OFS proměnná se používá k formátování výstupu tabulátorem.

$ ls -l
$ ls -l | awk -v OFS = '\ t' 'ZAČÍT printf "% s \ t% s \ n", "název", "velikost" tisk 9 $, 5 $'

Výstup:

Přejít na obsah

awk s daty CSV

Obsah libovolného souboru CSV lze analyzovat několika způsoby pomocí příkazu awk. Vytvořte soubor CSV s názvem 'zákazník.CSV'S následujícím obsahem použít příkaz awk.

zákazník.txt

ID, jméno, e-mail, telefon
1, Sophia, [email protected], (862) 478-7263
2, Amelia, [chráněno e-mailem], (530) 764-8000
3, Emma, [chráněno e-mailem], (542) 986-2390

Čtení jednoho pole souboru CSV

'-F' volba se používá s awk příkazem k nastavení oddělovače pro rozdělení každého řádku souboru. Následující příkaz awk vytiskne název pole zákazník.CSV soubor.

$ kočičí zákazník.CSV
$ awk -F "," 'print $ 2' zákazník.CSV

Výstup:

Čtení více polí kombinací s jiným textem

Následující příkaz vytiskne tři pole zákazník.CSV kombinací textu nadpisu, Jméno, e-mail a telefon. První řádek zákazník.CSV soubor obsahuje název každého pole. NR proměnná obsahuje číslo řádku souboru, když příkaz awk analyzuje soubor. V tomto příkladu, NR proměnná se používá k vynechání prvního řádku souboru. Výstup zobrazí 2^nd, 3^rd a 4^th pole všech řádků kromě prvního řádku.

$ awk -F "," 'NR> 1 print "Jméno:" $ 2 ", e-mail:" $ 3 ", telefon:" $ 4' zákazník.CSV

Výstup:

Čtení souboru CSV pomocí awk skriptu

awk skript lze spustit spuštěním souboru awk. Jak můžete vytvořit awk soubor a spustit jej, je uveden v tomto příkladu. Vytvořte soubor s názvem awkcsv.awk s následujícím kódem. ZAČÍT klíčové slovo se ve skriptu používá k informování příkazu awk o provedení skriptu souboru ZAČÍT nejprve rozeberte část před provedením dalších úkolů. Zde oddělovač polí (FS) se používá k definování oddělovače rozdělení a 2^nd a 1^Svatý pole budou vytištěna podle formátu použitého ve funkci printf ().

awkcsv.awk
ZAČÍT FS = "," printf "% 5s (% s) \ n", $ 2, $ 1

Běh awkcsv.awk soubor s obsahem zákazník.CSV soubor následujícím příkazem.

$ awk -f awkcsv.awk zákazník.CSV

Výstup:

Přejít na obsah

awk regex

Regulární výraz je vzor, který se používá k prohledání libovolného řetězce v textu. Pomocí regulárního výrazu lze velmi snadno provádět různé typy komplikovaných úkolů hledání a nahrazování. V této části jsou uvedena některá jednoduchá použití regulárního výrazu s příkazem awk.

Odpovídající znaková sada

Následující příkaz bude odpovídat slovu Blázen nebo bool nebo Chladný se vstupním řetězcem a vytiskněte, pokud je slovo nalezeno. Tady, Panenka nebude odpovídat a nebude tisknout.

$ printf "Fool \ nCool \ nDoll \ nbool" | awk '/ [FbC] ool /'

Výstup:

Hledaný řetězec na začátku řádku

'^' symbol se používá v regulárním výrazu k vyhledání jakéhokoli vzoru na začátku řádku. ''Linux ' slovo bude prohledáno na začátku každého řádku textu v následujícím příkladu. Zde začínají dva řádky textem, „Linux'a tyto dva řádky se zobrazí na výstupu.

$ echo -e "Linux je zdarma k použití \ n Jedná se o open-source software \ nLinuxHint je
populární blogová stránka "| awk '/ ^ Linux /'

Výstup:

Hledaný řetězec na konci řádku

'$' symbol se používá v regulárním výrazu k vyhledání jakéhokoli vzoru na konci každého řádku textu. ''Skript'slovo je hledáno v následujícím příkladu. Zde dva řádky obsahují slovo, Skript na konci řádku.

$ echo -e "Skript PHP \ nJavaScript \ nVizuální programování" | awk '/ Script $ /'

Výstup:

Hledání vynecháním konkrétní znakové sady

'^' symbol označuje začátek textu, pokud je použit před jakýmkoli řetězcovým vzorem ('/ ^… /') nebo před jakoukoli znakovou sadou deklarovanou ^ […]. Pokud '^' ve třetí závorce je použit symbol, [^…], pak bude definovaná znaková sada uvnitř závorky v době hledání vynechána. Následující příkaz vyhledá slovo, které nezačíná 'F' ale končí na 'ool''. Chladný a bool budou vytištěny podle vzoru a textových dat.

$ printf "Fool \ nCool \ nDoll \ nbool" | awk '/ [^ F] ool /'

Výstup:

Přejít na obsah

awk malá a velká písmena regex

Ve výchozím nastavení regulární výraz při vyhledávání libovolného vzoru v řetězci vyhledává malá a velká písmena. Vyhledávání malých a velkých písmen lze provést příkazem awk s regulárním výrazem. V následujícím příkladu, snížit() Funkce se používá k vyhledávání malých a velkých písmen. Zde bude první slovo každého řádku vstupního textu převedeno na malá písmena pomocí snížit() fungovat a odpovídat vzoru regulárního výrazu. toupper () lze pro tento účel použít také funkci, v tomto případě musí být vzor definován velkým písmenem. Text definovaný v následujícím příkladu obsahuje hledané slovo, „web've dvou řádcích, které budou vytištěny jako výstup.

$ echo -e "Web Design \ nwebový vývoj \ nRámeček" | awk 'tolower ($ 0) ~ / ^ web /;'

Výstup:

Přejít na obsah

awk s proměnnou NF (počet polí)

NF je vestavěná proměnná příkazu awk, která se používá k počítání celkového počtu polí v každém řádku vstupního textu. Vytvořte libovolný textový soubor s více řádky a více slovy. vstup.txt Zde se používá soubor, který je vytvořen v předchozím příkladu.

Použití NF z příkazového řádku

Zde se první příkaz používá k zobrazení obsahu vstup.txt soubor a druhý příkaz se používá k zobrazení celkového počtu polí v každém řádku souboru pomocí NF proměnná.

$ vstup kočky.txt
$ awk 'print NF' vstup.txt

Výstup:

Používání NF v awk souboru

Vytvořte awk soubor s názvem počet.awk s níže uvedeným skriptem. Když se tento skript spustí s jakýmikoli textovými daty, vytiskne se jako výstup každý obsah řádku s celkovým počtem polí.

počet.awk

tisk $ 0
print "[Celkem polí:" NF "]"

Spusťte skript následujícím příkazem.

$ awk -f počet.awk vstup.txt

Výstup:

Přejít na obsah

awk gensub () funkce

getsub () je substituční funkce, která se používá k hledání řetězce na základě konkrétního oddělovače nebo regulárního výrazu. Tato funkce je definována v 'gawk' balíček, který není ve výchozím nastavení nainstalován. Syntaxe této funkce je uvedena níže. První parametr obsahuje vzor regulárního výrazu nebo oddělovač vyhledávání, druhý parametr obsahuje náhradní text, třetí parametr označuje, jak bude provedeno vyhledávání a poslední parametr obsahuje text, ve kterém bude tato funkce použita.

Syntax:

gensub (regexp, replacement, how [, target])

Spusťte následující příkaz k instalaci gawk balíček pro použití getsub () funkce s příkazem awk.

$ sudo apt-get install gawk

Vytvořte textový soubor s názvem 'salesinfo.txt„s následujícím obsahem k procvičení tohoto příkladu. Zde jsou pole oddělena záložkou.

salesinfo.txt

Po 700 000
Út 800000
St 750000
Čt 200 000
Pá 430000
So 820000

Spusťte následující příkaz a přečtěte si numerická pole salesinfo.txt soubor a vytiskněte celkovou částku všech prodejů. Zde třetí parametr „G“ označuje globální vyhledávání. To znamená, že vzor bude prohledán v plném obsahu souboru.

$ awk 'x = gensub ("\ t", "", "G", $ 2); printf x "+" END print 0 'salesinfo.txt | bc -l

Výstup:

Přejít na obsah

awk s funkcí rand ()

rand () Funkce se používá ke generování libovolného náhodného čísla většího než 0 a menšího než 1. Vždy tedy vygeneruje zlomkové číslo menší než 1. Následující příkaz vygeneruje zlomkové náhodné číslo a vynásobí hodnotu 10, čímž získá číslo větší než 1. Pro použití funkce printf () bude vytištěno zlomkové číslo se dvěma číslicemi za desetinnou čárkou. Pokud spustíte následující příkaz vícekrát, získáte pokaždé jiný výstup.

$ awk 'BEGIN printf "Číslo je =%.2f \ n ", rand () * 10 '

Výstup:

Přejít na obsah

awk uživatelem definovaná funkce

Všechny funkce použité v předchozích příkladech jsou vestavěné funkce. Ale ve svém awk skriptu můžete deklarovat uživatelsky definovanou funkci pro provedení konkrétního úkolu. Předpokládejme, že chcete vytvořit vlastní funkci pro výpočet plochy obdélníku. Chcete-li provést tento úkol, vytvořte soubor s názvem 'plocha.awk's následujícím skriptem. V tomto příkladu uživatelem definovaná funkce s názvem plocha() je deklarován ve skriptu, který vypočítá plochu na základě vstupních parametrů a vrátí hodnotu oblasti. getline příkaz se zde používá k převzetí vstupu od uživatele.

plocha.awk

# Vypočítejte plochu
funkční oblast (výška, šířka)
návratová výška * šířka

# Zahájí provádění
ZAČNĚTE
tisk "Zadejte hodnotu výšky:"
getline h < "-"
tisk "Zadejte hodnotu šířky:"
getline w < "-"
vytisknout oblast "Plocha =" (v, š)

Spusťte skript.

$ awk -f oblast.awk

Výstup:

Přejít na obsah

awk pokud příklad

awk podporuje podmíněné příkazy jako ostatní standardní programovací jazyky. Tři typy příkazů if jsou v této části zobrazeny pomocí tří příkladů. Vytvořte textový soubor s názvem položky.txt s následujícím obsahem.

položky.txt

HDD Samsung 100 $
Myš A4Tech
Tiskárna HP 200 $

Jednoduchý příklad:

následující příkaz přečte obsah souboru položky.txt soubor a zkontrolujte 3^rd hodnota pole v každém řádku. Pokud je hodnota prázdná, vytiskne chybovou zprávu s číslem řádku.

$ awk 'if ($ 3 == "") print "V položkách" NR "chybí cenové pole.txt

Výstup:

příklad if-else:

Následující příkaz vytiskne cenu položky, pokud 3^rd pole v řádku existuje, v opačném případě vytiskne chybovou zprávu.

$ awk 'if ($ 3 == "") tisk "Chybí cenové pole"
else print "item item is" $ 3 'items.txt

Výstup:

příklad if-else-if:

Když se následující příkaz provede z terminálu, bude trvat vstup od uživatele. Vstupní hodnota bude porovnávána s každou podmínkou if, dokud podmínka není pravdivá. Pokud se některá podmínka stane pravdivou, vytiskne odpovídající známku. Pokud vstupní hodnota neodpovídá žádné podmínce, dojde k chybě tisku.

$ awk 'BEGIN print "Zadejte značku:"
značka getline < "-"
if (mark> = 90) print "A +"
jinak pokud (značka> = 80) vytisknout „A“
jinak pokud (značka> = 70) vytisknout "B +"
else print "Fail" '

Výstup:

Přejít na obsah

awk proměnné

Deklarace proměnné awk je podobná deklaraci proměnné prostředí. Při čtení hodnoty proměnné je rozdíl. Symbol '$' se používá s názvem proměnné pro proměnnou prostředí ke čtení hodnoty. K načtení hodnoty ale není třeba používat '$' s proměnnou awk.

Pomocí jednoduché proměnné:

Následující příkaz deklaruje proměnnou s názvem 'web' a proměnné je přiřazena hodnota řetězce. Hodnota proměnné se vytiskne v dalším příkazu.

$ awk 'BEGIN site = "LinuxHint.com "; tisk stránky '

Výstup:

Použití proměnné k načtení dat ze souboru

Následující příkaz prohledá slovo 'Tiskárna' v souboru položky.txt. Pokud některý řádek souboru začíná na „Tiskárna"pak uloží hodnotu 1^Svatý, 2^nd a 3^rd pole do tří proměnných. název a cena proměnné budou vytištěny.

$ awk '/ Printer / name = $ 1; brand = $ 2; price = $ 3; print "item name =" name;
vytisknout položky "item price =" price '.txt

Výstup:

Přejít na obsah

pole awk

V awk lze použít numerická i přidružená pole. Deklarace proměnné pole v awk je stejná jako u ostatních programovacích jazyků. V této části jsou uvedena některá použití polí.

Asociativní pole:

Index pole bude jakýkoli řetězec pro asociativní pole. V tomto příkladu je deklarováno a vytištěno asociativní pole tří prvků.

$ awk 'ZAČÍT
books ["Web Design"] = "Learning HTML 5";
books ["Web Programming"] = "PHP a MySQL"
books ["PHP Framework"] = "Learning Laravel 5"
printf "% s \ n% s \ n% s \ n", knihy ["Web Design"], knihy ["Web Programování"],
books ["PHP Framework"] '

Výstup:

Numerické pole:

Číselné pole tří prvků je deklarováno a vytištěno oddělením tabulátoru.

$ awk 'ZAČÍT
číslo [0] = 80;
číslo [1] = 55;
číslo [2] = 76;

# tisknout prvky pole
printf "Hodnoty pole:% d \ t% d \ t% d \ n", číslo [0], číslo [1], číslo [2]; '

Výstup:

Přejít na obsah

awk smyčka

Awk podporuje tři typy smyček. Použití těchto smyček je zde ukázáno pomocí tří příkladů.

Zatímco smyčka:

while smyčka, která se používá v následujícím příkazu, bude iterovat 5krát a opustí příkaz loop for break.

$ Awk 'BEGIN n = 1; while (č <= 10) if(n > 5) zlomit; tisk n; n ++ '

Výstup:

Pro smyčku:

Pro smyčku, která se používá v následujícím příkazu awk, vypočítá součet od 1 do 10 a vytiskne hodnotu.

$ awk 'BEGIN součet = 0; pro (n = 1; n <= 10; n++) sum=sum+n; print sum '

Výstup:

Do-while smyčka:

smyčka do-while následujícího příkazu vytiskne všechna sudá čísla od 10 do 5.

$ awk 'BEGIN counter = 10; do if (counter% 2 == 0) print counter; pult -
while (counter> 5) '

Výstup:

Přejít na obsah

awk vytiskne první sloupec

První sloupec libovolného souboru lze vytisknout pomocí proměnné $ 1 v awk. Pokud ale hodnota prvního sloupce obsahuje více slov, vytiskne se pouze první slovo prvního sloupce. Pomocí konkrétního oddělovače lze první sloupec správně vytisknout. Vytvořte textový soubor s názvem studenti.txt s následujícím obsahem. Zde první sloupec obsahuje text dvou slov.

Studenti.txt

Kaniz Fatema 30^th šarže
Abir Hossain 35^th šarže
John Abraham 40^th šarže

Spusťte příkaz awk bez oddělovače. Vytiskne se první část prvního sloupce.

$ awk 'print $ 1' studenti.txt

Spusťte příkaz awk s následujícím oddělovačem. Bude vytištěna celá část prvního sloupce.

$ awk -F '\\ s \\ s' tisk $ 1 'studentů.txt

Výstup:

Přejít na obsah

awk vytiskne poslední sloupec

$ (NF) proměnnou lze použít k tisku posledního sloupce libovolného souboru. Následující příkazy awk vytisknou poslední část a celou část posledního sloupce studenti.txt soubor.

$ awk 'print $ (NF)' studenti.txt
$ awk -F '\\ s \\ s' tisk $ (NF) 'studentů.txt

Výstup:

Přejít na obsah

awk s grep

grep je další užitečný příkaz systému Linux k prohledávání obsahu v souboru na základě jakéhokoli regulárního výrazu. Jak lze společně použít příkazy awk i grep, ukazuje následující příklad. grep příkaz se používá k vyhledání informací o ID zaměstnance, '1002' z zaměstnanec.txt soubor. Výstup příkazu grep bude odeslán do awk jako vstupní data. 5% bonus bude spočítán a vytištěn na základě platu ID zaměstnance, “1002 ' příkazem awk.

$ cat zaměstnanec.txt
$ grep '1002' zaměstnanec.txt | awk -F '\ t' print $ 2 "dostane $" ($ 3 * 5) / 100 "bonus" '

Výstup:

Přejít na obsah

awk se souborem BASH

Stejně jako ostatní příkazy v systému Linux lze i příkaz awk použít ve skriptu BASH. Vytvořte textový soubor s názvem zákazníky.txt s následujícím obsahem. Každý řádek tohoto souboru obsahuje informace o čtyřech polích. Jedná se o ID zákazníka, jméno, adresu a číslo mobilního telefonu, které jsou odděleny '/''.

zákazníky.txt

AL4934 / Charles M Brunner / 4838 Beeghley Street, Huntsville, Alabama / 256-671-7942
CA5455 / Virginia S Mota / 930 Bassel Street, VALLECITO, Kalifornie / 415-679-5908
IL4855 / Ann A Neale / 1932 Patterson Fork Road, Chicago, Illinois / 773-550-5107

Vytvořte soubor bash s názvem item_search.bash s následujícím skriptem. Podle tohoto skriptu bude hodnota stavu převzata od uživatele a prohledána zákazníci.txt soubor od grep příkaz a předán příkazu awk jako vstup. Přečte se příkaz Awk 2^nd a 4^th pole každého řádku. Pokud se vstupní hodnota shoduje s libovolnou hodnotou stavu zákazníky.txt soubor poté vytiskne zákazníka název a číslo mobilního telefonu, jinak vytiskne zprávu „Nebyl nalezen žádný zákazník“.

item_search.bash

#!/ bin / bash
echo "Zadejte název státu:"
přečtený stav
customers = 'grep "$ state" zákazníci.txt | awk -F "/" 'print "Jméno zákazníka:" $ 2, ",
Číslo mobilního telefonu: „$ 4“
pokud [„$ customers“ != ""]; pak
echo $ zákazníky
jiný
echo "Nenalezen žádný zákazník"
fi

Spuštěním následujících příkazů zobrazte výstupy.

$ kočičí zákazníci.txt
$ bash item_search.bash

Výstup:

Přejít na obsah

awk se sed

Dalším užitečným vyhledávacím nástrojem Linuxu je sed. Tento příkaz lze použít jak k vyhledávání, tak k nahrazení textu libovolného souboru. Následující příklad ukazuje použití příkazu awk s sed příkaz. Zde příkaz sed prohledá všechna jména zaměstnanců začínající na 'J'a předá jako vstup příkaz awk. awk vytiskne zaměstnance název a ID po formátování.

$ cat zaměstnanec.txt
$ sed -n '/ J / p' zaměstnanec.txt | awk -F '\ t' 'printf "% s (% s) \ n", $ 2, $ 1'

Výstup:

Přejít na obsah

Závěr:

Po správném filtrování dat můžete pomocí příkazu awk vytvořit různé typy sestav na základě jakýchkoli tabulkových nebo oddělovaných dat. Doufám, že se budete moci naučit, jak příkaz awk funguje, po procvičení příkladů uvedených v tomto kurzu.