awk의 사용

awk 의 사용

쉘스크립트에서 명령어로서 사용..

어떤 데이터 값들이 있을때 개행문자로 구분하여 필요한 부분을 가져온다.

test.txt안에 

 

안녕하세요 저는 프로그래머입니다.

그런데 어쩌구 저쩌구

테스트 할려고 이글써요.

이렇게 담겨있다면 이글은 공백문자와 개행문자로 구분되었다고 볼수있는데,

쉽게 설명하면 아래와 같다.

안녕하세요	프로그래머입니다.
그런데	어쩌구	저쩌구
테스트	할려고	이글써요.

이때 

 >> awk 'print $1' 를 하게 되면 

안녕하세요

그런데

테스트

위와 같이 나오게 된다.

즉, 가로행은 레코드, 세로행은 필드라하고 할때, 

직접 필드를 지정하여 값으로 출력 할 수 있는 것이다

아래와 같이예제를보면

위는, home directory를 출력하는 스크립트로

awk -F: '{print $1, $6}' /etc/passwd | grep -i "$args" 부분만 보면

 -F 옵션은 F다음에오는 캐릭터문자를 구분자로 사용하겠다는 말.

즉, ' : '를 구분자로 사용하겠다는말이다.

/etc/passwd

위의 디렉토리 경로 파일 내용에대해서 

'{print $1, $6}' 

1번 6번 필드를 출력한다는 말이고

 그 출력은 | 파이프 라인 뒤 명령어의 입력으로 넣는다는 의미.

즉,

| grep -i "$args"

  출력을 grep으로 전달하고 (pipe), awk 출력 중에서 args와 동일한 것만 취한다.

  “-i": ignore case (대소문자 무시)

---

또는 #!/bin/awk

로서 하나의 스크립트언어로 사용...

---

찾다 보니 더 

설명이 잘된것을 찾았다...

AWK

1. awk는 직접 사용자로부터 입력을 받거나 아니면 지정한 파일을 가공하여 표준 출력한다
   표준 출력을 리다이렉션할 수 있다 
2. 사용법
   • awk   [옵션]   '스크립트'   [-v 변수=값]   [파일(들)]
   • awk   [옵션]   -f  스크립트 파일   [-v 변수=값]   [파일(들)]
   • cf) 편집 스크립트 파일의 사용법
     • ed  : ed -s(script) sourcefile < scriptfile
     • sed :  sed -f(file) scriptfile sourcefile > outputfile
     • awk : awk -f(file) scriptfile sourcefile > outputfile
3. 옵션
   • -Fc  :  field separator 지정
     • c는 필드 사이를 구분하는 구분자이다
       
     • 직접 지정하지 않으면 공백을 기준으로 한다
       
     • 시스템 변수 FS를 지정하는 것과 같은 효과를 지닌다
   • -v  변수 = 값
     • 스크립트를 실행하기 전에 미리 변수를 지정하여 준다
   • -f  스크립트 파일
     • 스크립트를 파일에서 가져온다  
     • -f 옵션을 여러번 사용하여 여러개의 스크립트 파일을 동시에 불러와 지정한 파일에 적용할 수 있다 
4. 스크립트
   • 패턴 { 동작 }
     커맨드 라인에서는 패턴, 동작 전체를 단일 따옴표로 묶는다
     • 패턴만 있는 경우 : 패턴과 일치하는 레코드(라인)를 화면에 출력한다 
     • 동작만 있는 경우 : 모든 레코드(라인)가 동작의 대상이 된다
   • 패턴
     1. /정규표현식/
        sed가 지원하지 않는 +, ?, |, ( ) 등의 메타문자도 지원한다   또한
        ^, $를 각 필드의 처음과 끝을 의미하도록 사용할 수도 있다
     2. 비교연산
        숫자 기준, 알파벳 기준 모두 사용 가능하다 
     3. 패턴 매칭 연산
        ~  :  일치하는 부분을 나타낸다
        !~ :  일치하지 않는 부분을 나타낸다
     4. BEGIN
        첫 번째 레코드가 읽혀지기 전에 어떤 동작을 정의하여 사용하고 싶을 때 사용한다 
     5. END
        마지막 레코드가 모두 읽혀진 후 어떤 동작을 정의하여 실행하고 싶을 때 사용한다 
   • 동작
     • 동작은 모두 { }로 둘러싸야 한다
     • 예제
       • good이라는 문자열을 포함하는 모든 레코드를 출력할 때
         /good/
       • 각 레코드의 첫 번째 필드를 출력할 때
         { print $1 } 
       • good이라는 문자열을 포함하는 레코드의 첫 번째 필드를 출력할 때
         /good/ { print $1 } 
       • 두 개 이상의 필드를 가지는 레코드를 전부 출력할 때(비교연산)
         NF > 2
       • 한 라인(\n)을 필드로, 빈 라인("")을 레코드로 구분할 때
         BEGIN { FS = "\n" ;  RS = ""} 
       • 첫 번째 필드가 good와 일치하는 레코드에 대해 세 번째 필드를 먼저 출력하고 두 번째 필드를 나중에 출력하고 싶을 때
         $1 ~ /good/ { print  $3 ,  $2 }
       • good이라는 문자열이 몇 개나 들어가 있는지 계산하여 마지막 부분에서 출력하고 싶을 때
         /good/ { ++x }
         END { print x } 
       • 두 번째 필드를 모두 합하고 마지막 부분에서 두 번째 필드의 총합계를 출력하고 싶을 때
         { total += $2 }
         END { print "Total of $2: " ,  total } 
       • 레코드의 길이가 20자 이하인 것을 출력하고 싶을 때
         length($0) < 20 
       • 네 개의 필드를 가지며 good이라는 단어로 시작하는 모든 레코드를 출력하고 싶을 때
         NF == 4  &&  /^good/
       • 빈줄을 제외한 모든 줄을 화면에 출력한다
         NF > 0
5. awk 시스템 변수
   

   FILENAME	현재 파일명	$0	입력 레코드
   FS	입력 필드 구분 디폴트 :  공백	$n	입력 레코드의 N번째 필드
   NF	현재 레코드 필드 갯수	ARGC	커맨드 라인의 인자 갯수
   NR	현재 레코드 번호	ARGV	커맨드 라인 인자를 포함하는 배열
   OFMT	숫자에 대한 출력 포맷 디폴트 :  %.6g	ENVIRON	환경 변수들을 모아둔 관계형 배열
   OFS	출력 필드 구분 디폴트 :  빈줄	FNR	NR과 동일 단지 현재 파일에 적용된다는 점이 다름
   ORS	출력 레코드 구분 디폴트 :  newline	RSTART	지정한 매칭 연산을 만족하는 문자열의 맨 앞부분
   RS	입력 레코드 구분 디폴트 :  newline	RLENGTH	지정한 매칭 연산을 만족하는 문자열의 길이

6. awk 연산자
   

   산술 : =, +=, -=, *=, /=, %=	조건 : ? :	논리 : ||, &&, !	패턴 : ~, !~
   비교 : <, <=, >, >=, !=,==	증감 : ++, --	필드참조 : $

7. 제어문(C의 제어문과 같다)
   • break
   • continue
   • do {실행} while (조건)
   • exit
   • for (관계형 배열의 요소) {실행}
     펄의 foreach와 같다
   • if (조건) {실행} else {실행}
   • return
   • while
8. awk 명령어
   • 문자열 연산
     • gsub(reg,s)
       입력 문자열의 전반에 걸쳐 정규표현식 r을 문자열 s로 대치한다
     • gsub(reg,s1,s2)
       문자열 s2에서 정규표현식 r을 s1으로 대치한다 
     • index(s1,s2)
       s1에서 s2의 위치를 넘겨준다  만약 없다면 0을 넘겨준다 
     • length(arg)
       인자의 길이를 넘겨준다 
     • match(s,r)
       문자열 s에서 정규표현식 r과 매칭되는 부분의 위치를 넘겨준다 
     • split(string,array[,seperator])
       구분자를 기준으로(지정하지 않으면 공백 기준)해서 지정한 문자열을 배열로 만든다  배열[1],  배열[2], ....... 
     • sub(r,s),  sub(r,s1,s2)
       gsub과 동일하다
       단지 정규표현식과 일치하는 문자열이 여러개라도 처음 문자열만 대치된다
     • substr(s,m)
       문자열 s에서 m번째 위치에서 끝까지의 문자를 리턴한다 
     • substr(s,m,n) 
       문자열 s에서 m번째 위치에서 n번째까지의 문자를 리턴한다 
     • tolower(str)
     • toupper(str)
   • 수치 연산
     • atan2(x,y)
       y/x의 arctangent값을 라디안 단위로 넘겨준다 
     • cos(x)
     • exp(arg)
     • int(arg)
     • log(arg)
     • rand() 
       0과 1사이의 난수를 발생한다 
     • sin(x)
     • sqrt(arg)
     • srand(expr)
       인자를 가지고 난수를 발생한다
       인자가 주어지지 않으면 시간을 가지고 난수를 발생한다 
   • 입출력/프로세스
     • close(filename)
       지정한 파일을 닫는다 
     • close(cmd)
       지정한 명령어 파이프를 닫는다 
     • delete array[element]
       지정한 배열 요소를 지운다 
     • getline()
       다음 레코드를 읽어 들인다 
     • getline[variable] [< "filename"]
       파일에서 읽어들인다 
     • next 
       다음 레코드(라인)을 입력받는다
       getline()과 유사하지만 /패턴/동작을 새롭게 시작한다
       getline()은 다음 라인을 읽기만 한다 
     • print [args] [> "filename"]
       인자를 출력한다 
     • printf "format" [,expressions] [> "filename"] 
       형식에 맞춰 출력한다 
     • sprintf (format [,expressions]) 
       printf와 마찬가지로 사용하는데 값을 리턴하기만 하고 출력은 하지 않는다 
     • system(command) 
       시스템 내부 명령어를 실행한다 
9. 간단한 예
   • awk  ' BEGIN { for (i = 1;i<=7,i++)  print int(101*rand()) }'
     화면에 1이상 100이하의 난수 일곱 개를 출력한다
   • ls -l  file1  file2  file3  | awk  ' { x += $5 } ;  END { print "Total bytes :  " x } '
     파일들의 크기를 모두 합하여 총 바이트 수를 표시한다
   • awk  ' END { print NR } ' filename
     지정한 파일의 라인이 몇 개인지를 표시한다
   • awk  ' NR % 2 == 0 ' 
     지정한 파일의 짝수번째의 라인만을 출력해 준다 

참고서적 :  sed & awk, Dale Daugherty, O'reilly

출처:awk 사용법

http://sangchul.kr/4526391

---

Awk 사용법 2

[출처] Awk 사용법|작성자 승우기

예제자료 userDoc

Zero    1234
Kikkum  5678
Naji02  0987
Hungry81        6543
Waguwagu        1357

예제자료 userDoc2

Zero,1234
Kikkum,5678
Naji02,0987
Hungry81,6543
Waguwagu,1357

 awk 프로그램은 awk 커맨드 , 인용구나 파일에 포함된 프로그램 지시 및 입력파일의 이름으로 구성된다.

이때 입력파일의 이름이 구성되지 않으면 입력은 표준입력인 키보드에서 온다.

 

기본 사용 패턴

파일에서 입력을 받아드릴때

awk 'pattern' filename

awk '{ action }' filename 

awk 'pattern { action }' filename

커맨드에서 입력을 받아드릴때 

command | awk 'pattern'

command | awk '{ action }'

command | awk 'pattern { action }'

 

옵션 및 내장변수

awk 내장변수

NR(출력 순번) , NF(현재 줄의 필드수) , ARGC(명령줄 인자의 개수) , ARGV(명령중 인자들의 배열)

FNR(현재파일에서의 레코드 번호), FILENAME(현재 입력파일의 이름) ,  FS(입력 필드 구분자, 디폴트 스페이스)

OFMT(숫자들의 표현형식 ex: OFMT=%0.2f) , OFS(출력필드 구분자) , ORS(출력 레코드 구분자)

RLENGTH(match 함수로 일치하는 문자열의 길이) , RSTART(match 함수로 일치하는 문자열의 오프셋) ,

RS(입력ㄹ코드 구분자 ) , UBSEP(서브스크립트의 구분자)

 

awk 옵션

-F 필드구분자를 지정한다, 다중 필드 구분자 사용가능

ex: awk -F: 단일로 사용시 ':' 를 필드구분자로 사용

     awk -F'[ :\t]'  다중 필드구분자 ':'와 tab을 필드구분자로 사용

-f awk 명령 스크립트를 파일에서 읽어옴

ex: awk -f scriptfile

 

기본 사용법

해당줄에 3이 포함되는 행번호와 내용출력 ($0은 해당줄의 전체 내용을 표시한다.)

vmzero@ubuntu:~$ awk '/3/{ print "ROW: " NR,$2,$1,NF }' userDoc #순서 문자열(문자열은 쌍따옴표안에 와야한다.)

                                                                                            #행번호 , 두번째 필드 , 첫번째 필드 , 필드카운트
ROW: 1 1234 Zero 2
ROW: 4 6543 Hungry81 2
ROW: 5 1357 Waguwagu 2

 

print외에도 printf사용가능 printf는 C출력형식을 따라 사용하면 된다

ex : awk '{ printf "Hello %s %d,%s\n" ,NR , $2,$1 }' userDoc # %d부에 문자열이오면 0으로 표시됨.

 

etc : print사용시 필드를 쉼표로 구분하지 않으면 붙어서 나옴 여기서 사용된 쉼표는 OFS에 설정된 값이며 변경 가능하다.

 Match 연산 ( 특정필드에서 표현식을 적용하여 필터)

사용가능 관계연산자

< , <= , > , >= , == , !=  (ex : awk '$1 == 1000' userDoc)

~(일반표현식과 일치) , !~(일반 표현식과 불일치) (ex : awk '$1 !~ /1/' userDoc)

vmzero@ubuntu:~$ awk ' $1 ~ /1/{print $1 } ' userDoc # 첫번째 필드에 1이 포함되는 행의 첫번째 행만을 출력한다.
Hungry81

 산술, 논리 , 할당, 조건식 표현가능

# 2번째 필드가 3000 이상일경우 오버, 아닐때는 언더라는 값을 max라는 변수에 할당

# 전체행의 내용을 출력

vmzero@ubuntu:~$ awk 'max=$2>=3000?"OVER":"UNDER" {print $1 , max , $2/1000 }' userDoc
Zero UNDER 1.234
Kikkum OVER 5.678
Naji02 UNDER 0.987
Hungry81 OVER 6.543
Waguwagu UNDER 1.357

 

etc

awk '$2>3000 && $2 < 6000' userDoc 처럼 사용하면 3000이상 6000 미만인 값만 출력된다.

Kikkum  5678

범위 연산자

# 일반표현식 /Zero/에 해당하는 행부터 /Hungry81을 만날때 까지 혹은 파일 끝까지 출력한다.

vmzero@ubuntu:~$ awk '/Zero/,/Hungry81/' userDoc 
Zero    1234
Kikkum  5678
Naji02  0987
Hungry81        6543

BEGIN , END 패턴

# BEGIN 패턴은 awk가 입력줄을 처리하기 먼저 실행시켜주는 액션블럭을 가진다.

# BEGIN 액션부에서는 OFS , RS , FS등의 내장변수의 값을 지정할수 있다.

# END 패턴은 모든수행이 종료된후 처리됨.

vmzero@ubuntu:~$ awk ' BEGIN { print "HELLO WORLD"}{ print $0}END{ print "----- END LINE -----"}' userDoc
HELLO WORLD
Zero    1234
Kikkum  5678
Naji02  0987
Hungry81        6543
Waguwagu        1357
----- END LINE -----

입 , 출력 방향 재정의

#해당출력을 파일로 보낸다.

vmzero@ubuntu:~$ awk 'BEGIN{ print "Hello Output" > "tempfile"}' userDoc
vmzero@ubuntu:~$ cat temp*
Hello Output

 

#다른 입력으로 값을 받아와 내장변수를 설정한다.

awk 'BEGIN{ while("ls -lt" | getline) print}' # ls -lt명령으로부터 루프가 돌아갈때마다 한줄씩 읽어서 출력한다.
total 84
-rw-r--r-- 1 vmzero vmzero   13 2011-02-06 22:36 tempfile
-rw-r--r-- 1 vmzero vmzero  224 2011-02-06 21:53 awkscript
-rw-r--r-- 1 vmzero vmzero   68 2011-02-06 18:30 awkFile
-rw-r--r-- 1 vmzero vmzero   29 2011-02-06 18:27 awkfile
-rw-r--r-- 1 vmzero vmzero   35 2011-02-06 17:35 userDoc2

...

 

제공되는 내장함수

sub : sub(regular exprssion , substitution string , [target string])

awk '{ sub(/Z/,'ZZ') ; print }' 또는 awk '{ sub(/Z/,'ZZ',$1) ; print }'  해당 문자열을 replace 처리

index : index(string , substring)

awk '{ print index("Hollow","low") }' 

length : length(string)

awk '{ print length("Hello") }'

substr : substr(string , starting position , [length])

awk '{ print substr("HelloWorld",2,5) }'

match : match(string , regular expression)

awk '{ start = match("Good ole USA", /[A-Z]+$/); print start, RSTART , RLENGTH} ' #문장의 끝에서 대문자가 연속으로 나오는것을 검색

split : split(string , array , [field separator])

awk ' BEGIN { split("1/2/3/4",num,"/"); print num[2] }'

sprintf : sprintf(string , expr1 ,expr2 , ...)

awk '{ line = sprintf("%-15s %d",$1,$2); print line }'

 

 * 하나의 레코드가 복수줄에 들어있을때는 필드구분자(FS)가 ="\n" 행구분자(RS) = "" 출력 레코드 구분자(ORS) = "\n\n"처럼하면 처리가능.

* 여러 레코드중 그룹별로 파일생성시 > $1 이런 것도 사용가능함.

출처 :http://blog.naver.com/hungry81/90106258583