[Linux] 프로세스와 잡, 표준 입/출력, 그리고 기본 텍스트 처리

🔊 해당 포스팅은 모두의 리눅스 서적의 내용을 읽고 개인적인 정리 목적 하에 작성된 글임을 알립니다. 포스팅 내용의 기반 내용은 해당 서적에 기반하였으며 내용 자체는 제가 직접 재구성했음을 알립니다.

 

리눅스 터미널 화면

---

이번 포스팅에서는 리눅스에서의 프로세스와 잡에 대한 설명, 표준 입출력과 파이프라인, 그리고 리눅스를 이용해 기본적으로 할 수 있는 텍스트 처리에 대해 알아보자. 가장 먼저 리눅스의 프로세스와 잡이다.

1. 프로세스와 잡

먼저 프로세스가 무엇인지 알아보고, 우리가 현재 사용하고 있는 리눅스에서 실제 어떤 프로세스가 돌아가고 있는지도 확인하는 명령어를 배워보자. 앞서서 우리가 그동안 배워온 여러가지 명령어(cat, less, man 등등..)들의 실체는 디스크에 있는 '파일'임을 알 수 있었다. 그러면 셸에서 명령어를 입력하면 (OS의 중심에서 하드웨어를 제어하는 소프트웨어인)커널이 디스크에 있는 (셸이 입력한 명령어에 해당하는) 특정 파일(실행가능한  파일)을 읽어서 메모리에 올린 후 CPU가 해당 프로그램을 실행한다.

 

프로세스가 실행되는 과정

 

여기서 한 가지 주목할 점은 같은 프로그램, 위 그림을 예로 들면 같은 cat 명령어를 2번 실행하더라도 각 프로세스는 별도의 메모리 영역을 갖게 된다. 그리고 프로세스를 조작할 수 있는 권한은 프로세스를 실행한 사용자 외에는 권한이 제한된다. 리눅스 커널은 이렇게 실행된 각 프로세스에게 프로세스 ID(PID)라는 고유한 번호를 할당해서 관리한다. 또한 리눅스에서 새로운 프로세스를 생성할 때는 이미 기존에 존재하는 별도의 프로세스를 기반으로 만들어진다. 예를 들어서, 우리가 셸에서 ls 명령어를 입력하면, 셸이 부모 프로세스이며 ls 명령어는 자식 프로세스가 된다. 다음은 리눅스에서 실행중인 프로세스 목록을 살펴보는 명령어이다.

 

참고로 아래 ps 명령어를 보면 옵션을 넣어줄 때 하이픈(-)을 넣어주지 않는 것을 볼 수 있다. 왜냐하면 ps 명령어는 BSD 옵션을 지원하기 때문이다. 리눅스는 보통 2가지 옵션을 지원하는데, 첫 번째는 그동안 우리가 흔히 사용해왔던 하이픈(-)을 넣는 UNIX 옵션이고 두 번째는 방금 알아본 BSD 옵션이다. 하이픈(-) 유무에 따라 두 가지 옵션이 의미하는 바가 서로 다르다는 점에 주의하자. 현재는 ps 명령어는 BSD 옵션이 주류로 사용된다고 하므로 여기서는 BSD 옵션 기준으로 설명한다.(UNIX 옵션도 따로 있다고 하니 궁금하신 분은 ps 명령어 메뉴얼을 참고해보자)

 

명령어	의미
ps	현재 접속한 터미널에서 실행중인 프로세스들만의 목록을 출력(출력화면에서 PID는 프로세스 ID, CMD는 실행한 명령어를 의미)
ps xf	1. x 옵션은 다른 터미널에서 실행 중인 프로세스 또는 터미널과 무관하게 돌아가는 프로세스(데몬이라 함)까지 즉, 사용자가 현재 실행 중인 모든 프로세스를 출력할 때 사용.  2. f 옵션은 프로세스 간 부모,자식 관계를 표시하는 경우에 사용(부모, 자식 관계는 \(역슬래쉬)로 표현됨)  ㄴ 이때, TTY는 터미널을 의미  ㄴ TTY에서 '?'라고 표시되어 있는 것은 해당 프로세스가 터미널에 접속되어 있지 않은 '데몬'임을 의미
ps ax	a 옵션은 시스템을 위해 동작 중인 프로세스도 모두 표시. 이러한 프로세스들은 주로 슈퍼 사용자 권한으로 실행됨
ps x	ps 명령어를 실행한 사용자의 프로세스를 출력
ps ux	ps 명령어를 실행한 사용자의 프로세스를 '상세히' 출력
ps aux	모든 사용자의 프로세스를 '상세히' 출력
ps auxww	aux 옵션의 출력 결과가 화면에 잘리지 않도록 출력

 

위 명령어를 치다보면 리눅스에서 돌아가는 프로세스가 정말 많은 것을 알 수 있다. 기억할 점은 리눅스가 멀티태스킹을 지원하여 다양한 프로세스가 '동시에' 돌아간다는 것을 꼭 기억하자.

 

다음은 잡(Job)에 대해 알아보자. 위에서 알아본 프로세스는 리눅스 커널의 입장에서 바라본 처리 단위이다. 잡은 셸의 입장에서 바라본 처리 단위이다. 예를 들어, 셸의 커맨드 라인에 입력한 하나의 행이 곧 잡 하나에 해당하는 것이다.

 

셸의 처리 단위는 잡이다

 

그렇다면 프로세스와 잡은 서로 어떤 관계에 있을까? 예를 들어보자. 만약 내가 셸에서 커맨드 라인에 명령어 하나만을 입력했다면 프로세스와 잡이 같게 된다. 하지만 추후에 배울(파이프)로 여러개의 명령어를 연결했다면 프로세스는 명령어마다 만들어지지만 잡은 단 하나이게 된다.

 

또한 위에서 프로세스는 시스템 전체에 걸쳐 고유한 번호가 할당된다고 했다. 하지만 잡은 셸 별로 관리된다. 따라서 터미널 에뮬레이터(즉, tmux로 여러개 터미널을 띄워놓거나 터미널 창을 여러개 띄우거나) 여러개를 사용해서 셸 여러개를 사용하면 잡 번호가 중복될 수 있다.

 

잡은 일시 정지하거나 백그라운드로 실행시킬 수 있다. 즉, 여러 작업을 병행처리하여 효율적인 처리가 가능하다. 아래 명령어를 살펴보자.

 

명령어	의미
Ctrl + z	Stopped라고 표시되며 잡을 일시정지하는 명령어
jobs	지금까지 만든 잡 목록을 확인
jobs -l(L 소문자)	지금까지 만든 잡 목록과 PID도 함께 표시

 

그렇다면 이렇게 일시정지한 잡으로 다시 돌아가려면 어떻게 할까? 바로 잡을 포그라운드 상태로 전환시켜야 한다. '포그라운드' 상태란 사용자의 입력을 받아들일 수 있는 잡의 상태를 의미한다. 우선 일시정지한 잡의 번호가 무엇인지 확인하기 위해 jobs 명령어를 치고 아래의 명령어를 사용해서 해당 잡을 포어그라운드상태로 돌려놓으면 이전에 잡을 일시정지한 그 순간 상태로 돌아간다. 

 

명령어	의미
fg %[잡번호]	[잡번호]에 해당하는 잡을 포그라운드 상태로 변환. 참고로 fg 명령어만을 입력하면 현재 잡(jobs 명령어로 쳤을 때 +로 표시된 잡. 이 잡은 가장 최신에 일시정지한 잡으로 매번 갱신됨)이 디폴트로 선택된다.
bg %[잡번호]	[잡번호]에 해당하는 잡을 백그라운드 상태로 변환
fallocate -l [용량(byte)] [파일 이름]	특정 용량의 더미 파일을 생성

 

여기서 백그라운드 상태란, 포그라운드와 반대로 사용자가 조작할 수 없는 잡의 상태를 의미한다. 즉, 용량이 엄청난 큰 파일을 옮긴다거나 큰 모델을 학습시킨다거나 하는 등  오랜 시간동안 기다려야 하는 잡을 수행해야 할 때 사용하면 좋다. 그런데 위처럼 bg %[잡번호] 이 명령어를 쓰려면 어쨌건 특정 잡을 일시정지 한 후, 해당 명령어를 사용해야 하는데 어떻게 보면 2번의 과정을 거치는 것이다. 이를 한번에 할 수 있다. 예시는 아래와 같다.

 

명령어	의미
ex) cp file1 file2 &	끝에 &표시를 해주면 됨. 의미는 file1 을 file2로 복사하는 작업을 '백그라운드' 잡으로 실행하라

 

그래서 잡의 일시정지, 포그라운드, 백그라운드 상태 관계를 도식화하면 아래와 같다. 참고로 위 모든 명령어는 내장 명령어이다.(내장 명령어와 외장 명령어에 대한 차이는 저번 포스팅에서 이야기했다)

 

일시정지, 포그라운드, 백그라운드 간의 관계

 

다음은 잡과 프로세스를 종료하는 방법에 대해 배워보자. 

 

명령어	의미
Ctrl + c	포그라운드로 실행 중인 잡을 종료하는 명령어
kill %[잡번호]	백그라운드로 실행 중인 잡을 종료하는 명령어
kill [PID]	특정 프로세스 ID를 갖는 프로세스를 종료하는 명령어 ㄴ 다른 터미널에서 실행한 프로세스를 또 다른 터미널에서 종료는 시킬 수 있음 ㄴ 다만 다른 '사용자'가 실행 중인 프로세스는 종료할 수 없음(단, 슈퍼 사용자는 모두 가능)

 

위에서 kill 명령어에 대해서 한 가지 배워볼 내용이 있다. kill 명령어는 사실 위에서 배운 것처럼 잡이나 프로세스를 종료하는 명령어가 아니라 원래는 시그널을 전송하는 명령어이다. 여기서 시그널이란, 프로세스에게 전송되는 신호이다. 쉽게 말해서 '프로세스'에게 전달하는 일종의 '메세지'와 같다는 것이다. 보통 전송할 시그널의 종류를 담아서 명령어는 아래처럼 보낼 수 있다.

 

kill -<시그널 이름> <PID>

 

<시그널 이름>을 지정하지 않으면 디폴트로 TERM 이라는 시그널이 전송된다. 또한 시그널 종류에는 고유한 번호가 있어 이를 지정하는 것도 가능하다. 방금 설명한 TERM의 고유 번호는 15이며 아래 명령어가 모두 같은 명령어이다.

 

kill -TERM 4950
kill 4950
kill -15 4950

 

여기서 TERM은 영어 terminate(종료하다)를 의미한다. 즉, 종료 시그널이다. 그래서 우리가 위에서 배운 kill 이라는 명령어로 프로세스와 백그라운드 잡을 종료할 수 있는 것이 이러한 이유 때문이다. 원천적으로는 포그라운드 잡을 종료하는 Ctrl + c 나 일시정지하는 Ctrl + z도 내부적으로 시그널을 전송하는 것이다. 종료하는 시그널은 INT, 일시정지하는 시그널은 TSTP이다. 시그널의 전체 목록은 아래 명령어를 통해서 확인할 수 있다. 참고로 표시되는 여러 시그널 문자열 중에 앞에 'SIG'는 모든 종류에 붙는 접두어같은 것이다.

 

kill -l

kill -l 을 입력하면 시그널 종류 목록이 나온다

 

위 명령어 중 9)에 해당하는 SIGKILL은 좀 예외적인 시그널이다. 이 시그널만큼은 프로세스에 전달하지 않고 바로 리눅스 커널이 처리를 한다. 즉, 해당 시그널을 받으면 리눅스 커널이 해당 프로세스를 바로 종료해버린다. 다시 말해 TERM 시그널을 받아도 종료하지 않는 상태에 빠진 프로세스를 종료하기 위한 일종의 긴급 장치라고 할 수 있겠다. 하지만 '긴급 장치'인 만큼 해당 시그널은 마지막 수단으로 생각해야 한다. 왜냐하면 프로그램의 구현에 따라 TERM 시그널을 수신 받으면 현재 상태를 보존하거나 임시 파일을 지우는 등 프로세스 종료 전에 수행해야 할 작업을 꼭 하고 종료되는 것이 있을 수 있다. 그런데 이러한 프로그램에 만약 SIGKILL 시그널을 전송하게 되면 종료 전에 수행하기로 되어 있는 작업을 수행하지 않고 바로 종료될 수 있기 때문이다(이렇게 되면 저장해야 할 데이터나 파일이 날라갈 수도!)

2. 표준 입출력과 파이프라인

이번 목차에서는 리눅스의 명령어를 조합하는 파이프라인에 대해 알아본다. 그런데 파이프라인에 대해 알아보기 전에 명령어 간에 실행 결과를 주고받는 원리를 이해해야 한다. 이 원리를 이해하기 위한 사전 개념으로는 표준 입출력에 대해 알아야 한다. 예를 들어, 자주 사용하는 cat 이라는 명령어를 실행하면 자동으로 표준 입출력 채널이 열린다. 여기서 '채널'이라 함은 데이터가 흐르는 길이라고 생각하면 된다.

 

표준 입출력 채널은 아래처럼 크게 3가지가 존재하며 이 3가지를 합쳐서 표준 입출력이라고 부른다.

• 표준 입력(stdin) : 프로그램에 데이터를 입력하는 채널. ex) 키보드를 통한 입력 등
• 표준 출력(stdout) : 프로그램의 실행 결과가 출력되는 채널. ex) 단말 디스플레이(모니터 같은)에 출력 등
• 표준 에러 출력(stderr) : 프로그램 실행 중 발생하는 에러 메세지가 출력되는 채널. 보통 표준 출력과 동일하게 단말 디스플레이에 출력됨

하지만 리눅스 명령어는 표준 입출력이 실제 (입력이라면) 어떤 파일 또는 (출력이라면) 어떤 디스플레이, 장치에 연결되었는지 신경쓰지 않는다. 단순히 '명령어 입장'에서는 들어온 입력을 받아서 어딘가에 출력만해주면 된다. 여기서 어떤 입력(파일 또는 키보드)을 받아들일지, 그리고 출력을 어떤 곳(파일, 디스플레이 장치, 프린터 등)으로 내뱉을지는 '사용자'가 정할 수 있다. 즉, 사용자가 셸에서 명령어에 연결되는 표준 입출력을 지정할 수 있다는 것이다. 이는 아래에서 살펴볼 리다이렉션을 통해 가능하다.

 

표준 입출력의 채널

 

그러면 리다이렉션이란 무엇일까? 리다이렉션이란, 표준 입출력을 어디로 연결할지 변경하는 것을 의미한다. 위 그림 상에서는 2개의 중괄호(${$)를 어떤 곳으로 연결시킬지 변경하는 셈이다. 아래 표는 다이렉션 역할을 하는 기호이다.

 

기호	의미
<	표준 입력으로 연결하는 기호 ex) cat < /etc/crontab  (참고로, cat /etc/crontab 해도 표준 입력 내용이 출력되는데, 이는 사용자의 편의를 위해 cat 명령어가 특별히 제공하는 방식을 사용한 것임. 그러므로 리다이렉션을 사용한 표현이 기본 동작에 충실한 방법임. 즉, < 기호를 사용하여 표준 입력을 읽어 들이는 방식을 지원하도록 구현하는 것이 좋음)
>	표준 출력 리다이렉션 기호 보통 명령어의 실행 결과를 파일로 저장할 때 자주 사용함 ex) ls -al ~/Destkop > ~/Destkop/list.txt  참고로 리다이렉션된 파일을 사전에 생성해 놓지 않아도 자동으로 생성됨
2>	표준 에러 출력 리다이렉션 기호 (아래 테스트하는 명령어는 반드시 에러가 발생하는 명령어야 함) ex) ls -al ~/work12345 2> err.txt

 

여기서 한 가지 추가적으로 배울 점이 있다. 표준 출력과 표준 에러 출력은 콘솔에 출력되는 장치가 동일하기 때문에 예를 들어, 콘솔에 나온 어떤 메세지가 표준 출력에 의한 출력인지, 표준 에러 출력에 의한 출력인지 판단하기가 어렵다. 하지만 리다이렉션을 사용하면 그 차이를 알 수 있다. 예를 들어, 루트 디렉토리에 work 라는 디렉토리가 존재하지 않는데, 아래처럼 표준 출력 리다이렉션을 시켜보자.

 

표준 에러 출력이 발생

 

콘솔 화면에 표준 에러 출력 메세지가 나타났다. 그러면 리다이렉션한 list.txt 파일은 존재할까? 존재하지 않는다. 그러면 아래 명령어로 다시 해보자.

 

표준 에러 출력을 리다이렉션

 

이번엔 에러 출력 메세지가 list.txt 파일에 담겨있는 것을 알 수 있다. 그러면 표준 출력과 표준 에러 출력을 각각 다른 파일에 리다이렉션 하는 방법은 아래와 같다.

 

ls -al /work > stdout.txt 2> stderr.txt

 

이번엔 표준 출력과 표준 에러 출력을 하나의 파일에 리다이렉션 하는건 어떻게 할까? 

 

ls -al /work > result.txt 2>&1

 

여기서 주목할 기호는 '2>&1' 기호이다. 여기서 '2>'는 표준에러출력을 의미하고 '&1'은 표준출력을 의미한다. 즉, 표준에러출력을 표준 출력으로 리다이렉션하고 있다는 것을 의미한다. 참고로 리다이렉션 기호에서 0은 표준 입력을, 1은 표준 출력을, 2는 표준 에러 출력을 의미한다는 것도 참고하자.

 

기본적으로 > 기호 하나만 쓰는 것은 파일을 덮어쓰기하게 된다. 그런데 덮어쓰기 한 파일에 중요한 정보가 있을 수도 있기 때문에 덮어쓰기가 아닌 기존 파일의 끝으로부터 개행해서 이어 작성할 수 있도록 할 수 있다. 바로 기호 두개 >>를 사용하면 된다.

 

또 다른 방법은 셸의 옵션 중 noclobber 라는 값을 set 명령어로 활성화시켜주면 > 기호 한개만 쓰더라도 덮어쓰기가 되지 않는다. set 명령어의 의미는 저번 포스팅에서 언급했으므로 설명은 생략하겠다. 리다이렉션 기호 마다 의미를 정리하면 아래와 같다.

 

명령어	의미
< file	표준 입력을 file로 변경
> file	표준 출력을 file로 변경
>> file	표준 출력을 file 끝에다가 추가
2> file	표준 에러 출력을 file로 변경
2>> file	표준 에러 출력을 file 끝에다가 추가
> file 2>&1	표준 출력과 표준 에러 출력을 file로 변경(표준에러 출력을 표준 출력으로 흘러가도록)
> file 1>&2	표준 출력을 표준 에러 출력으로 흘러가도록

 

다음은 리눅스 루트 디렉토리에 있는 /dev/null 이라는 파일에 대해 리다이렉션 하는 것에 대해 알아보자. /dev/null 이라는 파일은 특수파일로 다음 2가지 특성을 지닌다.

• 입력 파일로 지정해도 아무 내용도 입력이 안됨
• 출력 파일로 지정해도 어떤 내용도 기록되지 않음

즉, 표준 출력과 표준 에러 출력 모두 /dev/null 로 리다이렉션 하면 어떤 내용도 콘솔에 출력되거나 기록되지 않는다. 이것을 사용하는 이유는 출력되는 양이 너무 많거나 또는 표준 에러 출력만을 보고 싶을 때 표준 출력만 /dev/null로 리아디렉션하기도 한다. 예를 들어, 아래와 같은 명령어를 입력하면 결과는 아래와 같다.

 

 

일반적인 경우는 루트 디렉토리(/)에 있는 파일의 목록이 쭉 나오는 표준 출력이  나와야 하지만 /dev/null로 리다이렉션 함으로써 표준 출력은 나오지 않고 표준 에러 출력만 나오는 것을 볼 수 있다. 물론 표준 출력, 표준 에러출력 모두 안나오게 하려면 아래와 같이 응용하면 된다.

 

 

이제까지 표준 입출력에 대해 자세히 알아보았다. 그러면 이제 명령어를 조합하는 파이프라인에 대해 알아보자.

 

파이프라인은 명령어의 표준 출력을 다른 명령어의 표준 입력으로 연결하는 기능을 갖는다. 만약 아래와 같은 명령어가 있다고 가정해보자.

 

ls -al ~/Desktop > list.txt
cat < list.txt

 

그런데 list.txt 파일을 굳이 남기고 싶지 않고 내용만 확인하고 싶다. 파이프라인(|)을 사용하면 이렇게 바꿀 수 있다.(물론 단순히 ls -al ~/Desktop 명령어만 사용할 수 있지만 여기서는 파이프라인 사용법을 익히기 위함이니 참고..)

 

ls -al / | cat

 

기본적으로 파이프라인은 표준 출력만을 다음 명령어의 입력에 연결한다. 만약 표준 에러 출력을 연결시키고 싶다면 2>&1 기호를 사용해서 연결시킬 수 있다. 아래 처럼 말이다

 

ls -al /work 2>&1 | cat

 

다음은 필터 명령어에 대한 내용이다. 필터 명령어란, cat 명령어처럼 표준 입력을 받아들여 표준 출력으로 출력하는 명령어이다. 대표적인 필터 명령어와 설명은 아래와 같다.

 

명령어	의미
cat	입력 내용을 그대로 출력
head	파일 앞부분을 출력
tail	파일 뒷부분을 출력
grep	검색 패턴에 일치하는 행을 출력
sort	정렬(디폴트 옵션은 알파벳 순) (-r 옵션을 주면 역순으로 정렬) (-n 옵션을 주면 숫자를 기반으로 정렬)
uniq	중복된 행을 제거하여 출력
tac	역순으로 출력
wc	행 수나 바이트 수를 출력
du	파일의 크기를 출력 (-b 옵션은 파일 크기를 바이트 단위로 출력)

 

위 명령어 중 하나를 예시로 파이프라인을 연결해서 사용해본 예시는 아래와 같다.

 

3. 텍스트 처리

다음으로 배워볼 부분은 리눅스 상에서 텍스트를 처리하는 기본적인 방법에 대해 알아본다. 리눅스는 애플리케이션의 데이터나 시스템의 설정 항목이 대부분 텍스트로 되어 있기 때문에 리눅스 상에서 텍스트를 이리 저리 조작하는 방법을 알아두면 좋다. 직전 목차의 마지막 내용인 필터 명령어를 주로 조합하여 다양한 처리를 수행할 수 있다.

 

먼저 wc 라는 명령어가 있다. wc 명령어는 입력 파일의 행 수, 단어 수, 바이트 수를 출력하는 명령어다. 옵션을 지정하지 않으면 다음과 같이 (왼쪽부터) 행 수, 단어 수, 바이트 수, 파일 이름이 출력된다.

 

wc 명령어 결과화면 예시

 

wc에 대한 옵션은 다음과 같다.

 

명령어	의미
wc -l [파일이름]	행 수 표시(한 행 당 하나의 데이터로 이루어져있는 파일의 데이터 총 건수를 셀 때 자주 사용됨)
wc -w [파일이름]	단어 수 표시
wc -c [파일이름]	바이트 수 표시

 

참고로 wc와 같이 필터 명령어를 파이프라인을 이용해서 표준 입력을 사용하도록 할 때, 명시적으로 지정하기 위해 하이픈(-)을 지정하기도 한다. 아래 두 명령어는 동일하다.(추가적으로, Mac의 bash, zsh 셸에서는 하이픈(-) 지정을 파일 이름으로 인지해서 불가능하다. 우분투에선 가능)

 

ls -al | wc -l
ls -al | wc -l -

 

다음은 sort 명령어이다. sort 명령어는 행 단위로 정렬해서 결과를 출력한다. 아무 옵션을 지정하지 않으면 알파벳 순(ASCII 문자열에 등록된 번호)대로 정렬된다. 그리고 sort 명령어는 행의 특정 항목을 기준으로 정렬도 가능하다. 이외 기타 옵션들은 아래와 같다.

 

명령어	의미
sort -k [N] [파일 이름]	N번째 필드를 기준으로 정렬
sort -n [파일 이름]	파일 내용을 '숫자'로 인식해서 정렬
sort -r [파일 이름]	파일 내용을 역순으로 정렬
sort -u [파일 이름]	파일 내용의 중복된 데이터를 한 번만 표시해서 정렬

 

위 명령어를 파이프라인을 활용해서 하거나 위 옵션들을 여러가지 조합하는 것도 가능하다.

 

다음은 중복을 제거하는 uniq 명령어이다. 기본적으로 uniq는 "연속된 중복 데이터"만을 하나로 출력하는 명령어다. 그래서 만약 아래와 같은 형태로 불연속적으로 중복된 데이터는 제거하지 못한다.

 

uniq는 연속적인 중복 데이터만 제거

 

불연속적으로 중복되는 데이터도 없애기 위해서는 sort 명령어를 조합해서 사용할 수 있다. 일단 sort 명령어로 정렬한 후 파이프라인을 이용해서 uniq로 중복을 제거하면 된다. 아래처럼 파이프라인을 사용하면 된다.(물론 애초에 sort 명령어에 -u 옵션을 주어 바로 중복된 데이터를 제거해 출력할 수 도 있음)

 

불연속적인 중복된 데이터도 제거가 됨

 

다음은 cut 명령어이다. cut 명령어는 입력의 일부를 추출해서 출력하는 명령어이다. 먼저 cut 명령어를 사용하는 방법은 아래와 같다.

 

cut -d [구분자] -f [필드 번호] [파일 이름]

 

아마 여기서 d는 delimeter, f는 field를 의미하는 듯 하다. 즉, 구분자로 지정한 문자를 기준으로 입력 데이터를 분할한 뒤 그 중에서도 필드 번호로 지정한 필드만 출력한다. 먼저 우분투에서 아래 명령어로 타이타닉 csv 데이터를 다운로드 해보고 데이터 5개만 미리보기 해보자.

 

wget https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv

 

타이타닉 데이터 미리보기

 

그러면 이제 cut 명령어를 통해서 해당 데이터의 "PClass"의 유니크한 값들만 살펴보도록 하자. 조합한 파이프라인 명령어는 아래와 같다.

 

 

Pclass라는 필드 값의 종류는 1,2,3인 것을 볼 수 있다. 이 부분을 공부하면서 문득 든 생각인데.. cut을 잘 활용하면 간단한 데이터 EDA 부분은 리눅스 필터 명령어로도 충분히 가능할 것 같은 생각이다. 앞으로 간단한 분석은 리눅스 명령어를 시도해보아야겠다!

 

다음은 문자를 치환하는 tr 명령어이다. tr 명령어를 사용하는 방법은 크게 2가지이다. 첫 번째는 하나의 문자만 바꾸는 경우와 2개 이상의 문자를 바꾸는 방법이다. 

 

명령어	의미
tr [치환 전 문자] [치환 후 문자]	ex) tr a b  : 모든 문자 a를 문자 b로 바꾸기
ex) tr abc ABC	a는 A로 b는 B로 c는 C로 바꾸기(똑같은 위치에 매핑되서 변환)
ex) tr a-z A-Z	하이픈(-)으로 치환할 문자 범위도 지정이 가능하다. 예로, a-c 는 abc를 의미한다. 이런식으로해서 소문자를 대문자로 바꾸는 방법도 가능
td -d  [삭제 할 문자]	tr 명령어로 특정 문자 삭제도 가능

 

특이하게, tr 명령어는 표준 입력만 받아들이도록 설계되었다. 다시 말해, tr 명령어 하나만을 사용해서 특정 파일을 지정할 수 없고 무조건 파이프라인을 활용해서 표준 입력을 받아들어야 한다. 그리고 tr은 문자 단위로만 치환이 가능하다. 그래서 문자열 단위로 치환하려면 추후에 배울 sed, awk 명령어를 사용하면 된다.

 

다음은 tail 명령어이다. tail 명령어는 파일의 마지막 행 부분을 보여주는 명령어인데, 여기서는 그보다 파일을 모니터링 하는데 사용할 수 있는 방법에 대해 알아보자. 아래 명령어로 실시간으로 내용을 출력해서 파일을 모니터링할 수 있다.

 

tail -f [파일 이름]

 

특정 애플리케이션의 로그가 계속 남는다고 가정할 때, 해당 로그를 실시간으로 아래처럼 기록할 수 있다. 아래는 터미널 에뮬레이터를 2개 띄워놓고 왼쪽은 로그 파일을 실시간으로 모니터링하는 것이고, 오른쪽은 echo 명령어를 통해 더미 로그를 계속 만들어내는 화면이다. 보면 오른쪽에서 입력할 때마다 왼쪽에서 계속 로그 내용이 갱신되는 것을 알 수 있다.

 

tail 명령어를 통해 파일을 모니터링 해보는 예시

 

다음은 diff 명령어이다. diff 명령어는 두 파일의 차이점을 출력하는 것이다. 예전 포스팅에서 git 관련 명령어를 배우다가 git 명령어에서도 두 소스코드의 차이를 볼 수 있는 명령어가 있었다. 아마 그것의 기원이 이 리눅스의 diff 명령어인 듯 하다. diff 명령어를 사용하는 방법은 아래와 같다.

 

diff [옵션] [비교 파일1] [비교 파일2]

 

그리고 diff 출력 결과를 보면 맨 윗 줄에 어떠한 변화가 있었는지를 나타내는 일종의 표기법이 존재한다.

 

 

위 사진 속 '4c4' 또는 '21d20', '26a26,28' 처럼 보이는 표기법이 있다. 이것이 바로 어떠한 변화가 있었는지를 의미하는 것이다. 각각이 의미하는 바는 다음과 같다.

<변경 범위 1><변경 종류><변경 범위 2>

표기법	의미
ex) 26a26,28	첫 번째 파일의 26번째줄 뒤에 두 번째 파일의 26~28번째 줄이 추가(a = add)
ex) 4c4	첫 번째 파일의 4번째 줄 부분이 두 번째 파일의 4번째 줄 부분으로 변경(c = change)
ex) 21d20	첫 번째 파일의 21번째 줄 부분이 삭제(d = delete)

 

그리고 위 그림에서 표시되는 < 라는 부분은 첫 번째 파일에만 있는 행을, > 라는 부분은 두 번쨰 파일에만 있는 행을 의미한다. 즉 < 부분은 지워진 행을 의미하고, > 는 추가된 행을 의미한다. 하지만 이러한 표기 방식은 차이점만 표시되며 공통점은 표시되지 않는다. 또한 파일 안에서 여러 부분을 수정했으면(위 사진처럼) 차이점이 범위 단위로 표시된다. 그리고 그 각 변경 범위를 '헝크(hunk)'라고 부른다. 위 사진 상에서는 4개의 헝크가 존재한다.

 

위와 같은 포맷과 달리 또 다른 방법으로 파일 간의 차이점을 표시하는 방식이 있는데, 이를 통일 포맷(Unified format)이라고 부른다. diff 명령어 사용 시 -u 옵션을 주어 통일 포맷을 사용할 수 있다. 통일 포맷은 아래의 형태로 차이를 표시해준다.

 

통일 포맷 형태와 표기 의미

 

어디에선가 본 익숙한 형태가 아닌가? 바로 Git을 사용해서 소소코드 차이를 표시해줄 때 보여주는 것과 똑같다. 그래서 Git은 소스코드의 차이를 보여줄 때 통일 포맷 형태를 적용하고 있는 것이다. 위 그림에서 @@로 표시되어 있는 "삭제된(-) / 추가된(-) 내용 범위"가 의미하는 게 무엇인지 살펴보고 넘어가자. 먼저 @@로 이루어진 형태가 의미하는 바는 아래와 같다.

 

@@ -<첫번째 파일 변경이 시작된 행>,<변경된 행 수> +<두번째 파일 변경이 시작된 행>,<변경된 행 수> @@

 

여기서 '변경이 시작된 행'은 파일의 행 번호를 의미하고, '변경된 행 수'는 각 헝크의 행 수를 의미한다. 여기서 통일 포맷 형태의 특징이 나타나는데, 통일 포맷은 변경이 실질적으로 발생한 행의 주변까지 다 포함해서 보여준다. 그래서 '변경된 행 수'에는 변경된 행 뿐만 아니라 그 주변의 전후도 포함한다. 그래서 아래와 같은 표기법이 나타나면 의미하는 바는 다음과 같다.

 

 

이렇게 diff 명령어를 사용해서 변경된 부분만을 다른 사람한테 전달할 수 있다.(리다이렉션 해서 파일 형태로 보낼 수 있음) 이는 보통 크기가 큰 파일을 변경했을 때, 굳이 파일 전체를 전달하지 않아도 되기 때문이다. 이렇게 변경된 내용만 담은 파일을 패치(Patch)라고 부른다.(아마 찾아보니 확장자명이 .patch로 되어 있는 듯 하다) diff 명령어로 얻은 변경 사항은 patch 명령어로 바뀐 부분을 적용할 수 있다.