[CS] CPU 스케쥴링, Process 간 통신방법, 가상 메모리(VMS)

🔊 해당 포스팅은 YouTube 채널 널널한 개발자님이 제공하시는 무료 강의 영상인 운영체제와 시스템 프로그래밍 영상을 보고 개인적인 정리 목적하에 작성되었습니다. 하단에 사용된 자료는 필자가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 간략하게 CPU 스케쥴링과 프로세스들 간에 통신하는 여러가지 방법, 그리고 가장 중요하다고 할 수 있는 가상 메모리 공간(VMS, Virtual Memory Space)에 대해 알아보도록 하자.

 

애플의 컴퓨터, 맥킨토시

---

1. CPU 스케쥴링의 주체는 OS다

저번 포스팅에서 프로세스에 대해 다루면서 운영체제(이하 OS)는 프로세스를 단위로 하여 파일 또는 전산자원(CPU, RAM 등)에 대한 접근 제어를 수행한다고 했다. 여기서 전산자원에 대한 접근 제어라는 것이 바로 "어떤 프로세스는 CPU의 어느 부분만 사용해! 그리고 RAM의 어느 부분만 사용해" 라고 하는 것이다. 즉, OS는 프로세스가 잘 동작하도록 지원(support)하는 것이다.

 

좀 더 정확하게 말해서 CPU Core를 실질적으로 사용해서 연산을 수행하는 것은 프로세스 내에 존재하는 쓰레드이다. 그래서 여러 프로세스 내의 쓰레드들이 CPU를 선점하려고 달려든(?) 다면 OS는 쓰레드들을 보고 "줄을 서시오~!" 하는 것과 같다. 

 

OS는 CPU를 점유할 쓰레드/프로세스에 대한 스케쥴링 관리를 수행

 

결국, OS는 효율적인 전산 활용을 위해서 CPU 스케쥴링을 수행한다. 스케쥴링 방법에는 크게 2가지가 존재한다. 첫번째로, 선점형(Preemitive) 스케쥴링이 있다. 선점형은 특정 프로세스가 실행 즉, CPU를 점유 중이더라도 OS가 해당 CPU를 강제로 뺏을 수 있는 것이 가능한 방식이다. 반대로 비선점형 스케쥴링이 있다. 비선점형 스케쥴링은 특정 프로세스가 종료될 떄까지 점유하고 있는 CPU를 다른 프로세스들이 쓰지 못하고 계속 대기(wait)해야만 한다. 물론 비선점형 스케쥴링 방식이더라도 OS를 직접 컨트롤하여 뺏는 것은 가능하다.

 

또한 프로세스와 쓰레드 별로 CPU 스케쥴링 우선순위를 지정할 수 있기도 하다. 이 우선순위는 강의 속에서 크게 5단계로 구성되어 있다고 한다. 그런데 여기서 우리가 주목할 부분은 그러면 어떤 프로세스에는 높은 우선순위를 부여하고, 어떤 프로세스에는 낮은 우선순위를 부여하는 기준이 뭘까? 

 

정량적으로 정하는 기준이 따로 있긴 하겠지만, 정성적으로 정하는 기준은 바로 "느려질 때 사람들이 극혐(?)해 하는 프로세스일 수록 높은 우선순위를 부여" 한다는 것이다. 예를 하나 들어보자, 요즘은 OTT를 많이 사용하지만, 필자의 유년시절만 하더라도 영화나 드라마 같은 컨텐츠를 보기 위해서 .avi, .mp4 라는 확장자의 파일을 다운로드 받아서 곰 플레이어와 같은 미디어 플레이어 프로그램을 통해서 보곤 했었다. 이 상황을 가정해보자.

 

필자는 현재 무한도전이라는 예능 프로그램을 .avi 파일로 다운로드 받아서 곰플레이에서 실행시켰다. 이 때, 컴퓨터에서 돌아가고 있는 프로세스는 곰플레이어 프로그램에 의해 실행되는 프로세스 뿐만 아니라 User, Kernel 모드에는 다양한 프로세스가 돌아가고 있을 것이다. 그런데 OS는 이 여러 프로세스들 중에 CPU를 우선 점유할 수 있도록 하는 프로세스를 곰플레이어의 프로세스로 지정한다는 것이다. 왜냐하면 곰플레이어에서 나오는 영상이 계속 끊긴다고 한다면 우리들은 샷건(?)을 칠 것이기 때문이다. 

 

어쨌건 핵심은 OS 스스로도 어떤 프로세스는 빨리 실행시킬 니즈가 있어서 CPU의 우선순위를 높히고, 어떤 프로세스는 빠르지 않아도 되는 프로세스가 있다는 것이다. 대표적으로 우선순위를 높히는 프로세스는 GUI 관련 프로세스이고, 우선순위가 낮은 프로세스는 주로 서버와 압축 풀기와 같은 프로세스가 해당한다. 이 둘에 대한 용어를 정의하면 전자는 전면 프로세스, 후자는 후면 프로세스(백그라운드 잡)라고도 부른다.

 

다음으로 스케쥴링도 '수준'이 존재한다. 이에 대한 설명은 아래와 같다.

 

스케쥴링의 수준

2. Process 간에 통신하는 방법

다음은 여러 프로세스들 간에 통신하는 여러가지 방법에 대해 알아보자. 주로 IPC(Inter Process Communication)라고도 부른다. 통신 방법에는 Shared Memory(RAM)을 이용하는 방법, File을 이용하는 방법, Socket을 이용하는 방법, RPC를 이용하는 방법이 있다. 

 

먼저 Shared Memory(RAM)을 이용하는 방법에 대해 알아보자. 하나의 동일한 하드웨어에서 Process 1,2가 실행되고 있고, 이 두 프로세스 간에 통신하는 과정을 도식화 하면 아래와 같다.

 

RAM을 통한 프로세스들 간에 통신

 

Process 1에서 2로 데이터를 통신한다고 해보자. 가장 먼저 Process 1에서 전송할 데이터를 VMS(가상메모리 공간)의 특정 주소에 할당해놓았을 것이다. 동시에 Process 2는 Process 1에서 전송할 데이터를 받기 위해 wait 상태에 있는 상태이다. 이후에 해당 데이터는 Process 2와 공유하는 메모리인 RAM의 특정 주소에 할당된다. 이제 공유하는 메모리에 데이터가 있으니 수신하는 곳인 Process 2에다가 "이제 데이터를 가져가!" 하는 의미인 SIGNAL을 보낸다. 그러면 Process 2는 RAM에서 해당 데이터를 읽어오게 된다.

 

다음은 File을 이용하는 통신 방법이다. File을 이용하는 통신이라고 한다면 Stream이라고도 부른다. 파일을 통한 통신 방법은 간단하다. 단순히 한쪽에서 파일을 쓰고 반대쪽에서 해당 파일을 읽으면 된다. 주로 직렬화된 데이터를 통신할 때 유용하고, RAM을 이용한 방법에 비해 동기화를 신경쓰지 않아도 된다.

 

다음은 Socket을 이용한 통신이다. 이 방법은 File을 이용하는 통신 방법과 동일하다. 단, 이 때 프로세스 간에 통신을 네트워크 통신으로 한다면 Socket을 이용한 통신 방법이 된다.

 

마지막으로는 RPC를 이용한 방법이다. RPC에 대한 설명은 강의에서 소개하지는 않지만 개인적으로 알아본 바로는 개념이 다음과 같다. RPC란 원격 프로시저 호출로 마치 내 컴퓨터 안에서 함수를 호출하는 것처럼 다른 컴퓨터의 프로세스에 있는 함수를 호출할 수 있게 해주는 방법이다. 즉, 내 컴퓨터에서 함수를 호출하는데, 이 때 우리는 함수에 파라미터를 전달할 것이다. 그러면 RPC가 내 컴퓨터에서 전달한 파라미터 등 정보를 다른 컴퓨터로 전송을 한다. 그리고 다른 컴퓨터에서는 내 컴퓨터에서 호출하려고 한 함수를 실행하고 그에 대한 응답을 다시 내 컴퓨터로 보내준다. 컴퓨터 간에 통신을 하는 것이기 때문에 네트워크 통신으로 이루어진다.

3. 가상 메모리(VMS, Virtual Memory Space)

다음으로는 가상 메모리에 대해 알아보자. 들어가기에 앞서 메모리에 대한 기본 상식을 좀 알아보도록 하자. 기억 장치의 공간 최소 단위는 1바이트(8비트)이다. 만약 32비트(x86) OS라고 한다면 대략 42.9억 바이트이며 이는 곧 대략 4GB가 된다. 고로, 32비트 OS는 4GB 공간의 메모리 관리를 수행한다. 실제로 32비트 OS의 컴퓨터에 8GB RAM을 장착하여도 4GB 공간 밖에 메모리 관리를 하지 못한다. 

 

다음은 메모리 오버레이와 메모리 스왑(swap)에 대해 알아보자. 먼저 메모리 오버레이에 대해서 알아보자. 메모리 오버레이를 이해하기 위해서 옛날로 돌아가면 좋다. 옛날에는 RAM이 매우 작기 때문에 특정 프로세스를 실행하려면 기존에 실행중인 프로세스를 종료시켜서 점유하고 있는 메모리를 회수해야만 했다. 그래서 이렇게 새로운 프로세스를 실행하기 위해 기존의 프로세스를 종료시키고 메모리 영역을 덮어씌운다 라고 해서 메모리 오버레이가 등장했다.

 

삼성의 옛날 컴퓨터. 규격을 보면 RAM이 70KB다...

 

다음은 메모리 스왑에 대한 내용이다. 메모리 스왑에 대해 정의하면 새로운 프로세스를 실행시키려고 하는데, 현재 점유하고 있는 RAM 메모리가 꽉차서 현재 실행중인 프로세스 중에 실행이 더디거나 바쁘지 않아 보이는 프로세스가 점유하고 있는 메모리를 떼어내서 HDD로 이동시켜버린다. 이 이동시키는 과정이 바로 메모리 스왑이라고 한다. 그리고 HDD로 빼낸 곳에는 여유 분이 있을 것이고, 이제 새롭게 실행하려고 하는 프로세스에게 해당 여유분의 메모리를 부여한다. 그림으로 나타내면 아래와 같다.

 

swap은 여분의 메모리를 확보하기 위해 HDD를 빌려쓴다

 

이 때, HDD로 Swap 시키는 것을 Swap out 또는 Page out이라고 한다.(반대는 Swap in) 당연히 이렇게 Swap out 된 메모리를 점유하는 프로세스(위 예시에서 Process 1)는 I/O 속도가 이전보다 느려진다. 왜냐하면 이제는 데이터를 RAM이 아닌 HDD에서 가져오기 때문이다.

 

이제 본격적으로 가상메모리에 대해 들어가보자. 가상 메모리의 역할은 RAM 이라는 메모리에 대한 의존성을 없애고 메모리에 대한 접근 제어를 수행하면서 보안도 강화하고 관리 측면에서 장점이 있다. 먼저 가상 메모리는 프로세스가 생성될 때마다 별도로 할당되며 아래처럼 각 요소가 사용할 수 있는 메모리 영역이 있다. 예를 들어, 32비트 OS를 갖는 컴퓨터라고 해보자.

 

VMS 메모리는 여러 개가 나눠 갖는다

 

그래서 우리가 실행시키는 애플리케이션이 점유할 수 있는 메모리는 실질적으로 (32비트 컴퓨터일 경우) 약 1.8GB 되는 용량이 최대라는 것이다. 

 

다음은 VMS가 RAM(물리 메모리)이 데이터를 가져오기 위해 매핑 테이블을 이용하는 것에 대해 알아보자. 예를 들어, 하나의 RAM에서 3개의 프로세스가 동작하고 있다고 해보자.

 

 

VMS의 어떤 위치에 있는 데이터가 RAM의 어떤 위치에 있는지 Mapping Table을 구성해서 데이터를 가져올 수 있다. 그런데 만약 Process 1이 갑자기 종료된다면 OS Kernel 에 있는 메모리 매니저가 Process 1이 점유하고 있는 RAM 메모리 공간도 같이 회수하게 된다. 이러한 점은 OS가 메모리 관리를 해준다는 특징을 보여준다.

 

그런데 여기서 한 가지 예외 상황을 생각해볼 수 있다. 만약 VMS에 특정 주소에 저장된 데이터가 RAM에 존재하지 않다면 어떻게 될까?

 

프로세스 4의 VMS 4444 주소에 있는 데이터가 RAM에서는 없어서 invalid 라면?

 

이럴 경우, 프로그램이 오류를 내뱉는데 그 오류 메세지가 Page fault 또는 Segmentation fault 라고 부른다. 필자도 예전에 LightGBM 모델을 로드하다가 Segmentation fault 라는 메세지만 발생하고 별다른 에러를 마주하지 못해서 꽤 고생했던 기억이 있다. 그 때 당시 컴퓨터를 부팅하면서 해결하긴 했었는데, 말 그대로 "이게 왜 돼지?" 하는 상황이였다. 그 때의 원인을 이제야 알게 되었다..🤦‍♂️

 

다음은 페이징 기법이다. 위에서 알아보았지만 VMS던 RAM이던 메모리를 어떠한 영역으로 특정 단위로 나누는데, 이를 Page이라고 보통 부른다. 보통 Widnow OS인 경우 하나의 Page당 크기가 보통 4KB이다. 필자의 MacOS에서는 한 Page 당 사이즈가 얼마인지 확인해보고 싶어서 여기를 참조해 확인해보았는데, 약 16KB였다. 

 

마지막으로 메모리 접근 권한에 대한 내용이다. 가상 메모리에는 User가 사용할 수 있는 메모리 영역이 제한되어 있다. 위에서 본 그림을 잠깐 다시 보자.

 

 

위 그림은 32비트 OS의 컴퓨터라고 가정했을 때이다. 1.8GB 정도되는 용량에 여러가지가 들어있는데, 들어있는 각 구성요소에 따라 접근 권한이 약간씩 다르다.

 

메모리의 접근 권한

 

특정 메모리 주소에 대한 접근 권한은 Page Table에 4비트 크기로 할당되어 명시되어 있다. 물론 이 메모리 주소에 대한 접근 권한을 사용자가 변경시킬 수도 있다. 그래서 위 그림에서 데이터에는 기본적으로 실행 권한을 제외시켜놓은 것이다. 만약 실행 권한을 넣으려고 하면 Window OS는 DEP(Data Execution Prevention) 기능이 발휘되어 실행되지 못하게 하도록 한다. 

---

• 동적 주소 변환 : 여기서 동적은 '런타임'을 의미. 즉, 프로세스가 실행 중일 때 주소가 변환되는 것을 동적 주소 변환이라고 함
• 메모리 주소에는 절대주소와 상대주소가 있다. 절대주소는 주로 전역변수가, 상대주소에는 지역변수가 저장된다.