[Infra] 데이터 인프라 구조와 Sources

🔊 해당 포스팅은 YouTube GeekNews 채널의 데이터 인프라 강의 내용에 기반해 제가 재구성하여 작성함을 알려드립니다.

1. 데이터 파이프라인의 필요성

데이터 파이프라인은 왜 필요할까? 크게 두 가지 이유로 볼 수 있다.

 

• 비즈니스 리더들의 의사결정 돕기 위함
• 서비스 또는 제품을 데이터의 도움을 받아 향상시키기 위함

 

ETL, ELT는 뭘까?

 

ETL을 왜할까?

 

데이터 파이프라인을 구성할 때 주로 데이터 ETL을 구성한다고 한다. ETL은 위와 같은 과정을 말한다. 그럼 이러한 과정을 왜 하는걸까?

 

데이터가 발생하는 곳들은 정말 다양하다. 따라서 발생하는 곳 마다 각 테이블을 구성한다면 테이블 간 관계도 매우 복잡해진다(Normalized Schema). 따라서 데이터가 발생하는 Production Systems에서 ETL 이라는 파이프라인을 구축해서 방대한 양의 데이터를 저장하는 Data Warehouse에 저장한다. 저장할 때는 하나의 통합된 곳에 모든 데이터를 담아놓을 수 있도록 구성한다.

 

ETL은 데이터를 추출 - 변환 - 적재 하는 순서로 진행된다. 그러나 최근에는 ELT(추출 - 적재 - 변환) 구조로 많이 진행된다고 한다. 왜냐하면 [추출 - 변환]을 자동화시키기가 매우 어렵기 때문이다. 왜 어려울까? 데이터가 발생하는 곳은 다양하며 그 만큼 발생하는 데이터들의 포맷 형태가 서로 각기 다를 것이다. 그래서 특정한 코드로 이를 획일화시켜주기가 매우 어렵다. 

 

따라서 요즘에는 '적재'를 '변환'보다 앞선 단계로 주어 [추출 - 적재]를 코드로 자동화 시키고 데이터 포맷에 따라 변환을 하는 추세다. 이렇게 하는 것이 훨씬 더 효율적이다. 

 

이제 그렇다면 데이터 파이프라인이 포함되어 있는 데이터 인프라의 큰 구조를 살펴보자. 이번 포스팅에서는 하단의 구성요소 중 '최초로 발생하는 데이터들'을 의미하는 Sources 부분에 대해 알아보기로 하자.

 

데이터 인프라의 큰 구조

2. 최초로 데이터가 발생하는 곳들, Sources

Sources(앞으로 소스라고 하겠다)는 여러가지 데이터가 발생하는 곳들이라고 할 수 있다. 예를 들어 필자가 구글 검색창에 '네이버' 검색어를 치고 링크를 클릭하는 로그 데이터부터 시작해, 특정 쇼핑몰의 결제 데이터, 주문 데이터 등 여러가지가 될 수 있다. 이러한 소스들 종류이 대표적으로 뭐가 있는지 알아보자.

2-1. OLTP

OLTP(Online Transaction Processing)는 다양한 사용자가 실시간으로 DB의 데이터를 갱신, 조회 등의 단위작업을 처리하는 방식을 의미한다. 예를 들어 신용카드를 조회한다거나 자동 현금 지급, 계좌이체 등이 있겠다. 계좌이체를 예시로 들어본다면, A의 계좌에서 1000원을 빼내어 B의 계좌로 1000원을 송금하는 것까지 발생한 것을 하나의 트랜젝션으로 취급하여 발생하는 데이터들을 담는 DB이다.

 

그런데 OLTP는 CDC(Change Data Capture)라는 것을 활용한다. CDC란, OLTP에서 발생하는 데이터들 중 변경된 데이터들만 따로 외부 DB에 전송을 하고 이 OLTP의 변경된 데이터들만을 분석용 DB로 넘겨 분석이 가능하다.

 

참고로 OLTP와 비교대상으로 OLAP(Online Analytical Processing)이 존재한다. OLAP는 주로 데이터 분석을 하기 위해 사용되는 데이터베이스이며, 데이터 웨어하우스에서 처리하는 방식이랑 유사하다. OLTP, OLAP 차이점을 비교하면 다음과 같다.

 

OLTP	OLAP
많은 트랜젝션	많은 데이터
빠른 처리	느린 쿼리
Normalized 데이터	Denormalized 데이터
많은 데이블을 가짐	적은 테이블을 가짐
ex) "누가 X 상품을 구입했나?"	ex) "누가 X라는 상품을 얼마나 구입했나?" - 분석용

 

2-2. Application / ERP

ERP는 전사적 자원 관리로서 쉽게 말하면 회사에서 일어나는 모든 자원들, 예를 들면, 재무, 조달, 인사 등 관련된 데이터들을 의미한다. 애플리케이션은 우리가 흔히 알고있는 모바일 앱이던, 웹 서비스던 기타 사물인터넷 어플리케이션이던 다양한 것들에서 발생하는 데이터들을 의미한다. 보통 Oracle의 NetSuite, CRM 등과 같은 플랫폼들을 이용한다.

2-3. Event Collectors

서비서 사용자가 만들어내는 모든 데이터를 의미한다. 단적인 예로 GA(Google Analytics)가 있겠다. Event Collectors 를 위한 대표적인 플랫폼들이 있는데, Segment, SNOWPLOW, RUDDERSTACK 등이 있다. 이것들은 모바일, 웹 등 각기 다른 곳에서 발생한 데이터들을 통합해서 GA나 AWS의 RedShift와 같은 분석용 플랫폼으로 데이터를 전송해준다. 결국 엔지니어들이 "A라는 곳에서 이벤트 데이터가 발생한 것들을 GA로 보내주세요. B라는 곳에서 이벤트 데이터가 발생한 것들을 RedShift로 보내주세요." 이런 것들을 매번 코드로 치지 않아도 되게끔 Segment와 같은 플랫폼이 하나의 솔루션으로 제공해주는 것이다.

2-4. Logs

사용자 로그도 포함될 수 있겠지만 주로 사내에서 발생하는 서버 로그 데이터같은 것들을 의마한다.

2-5. 써드 파티 API

이것은 예시를 하나 들면 바로 이해가 되는데, Stripe와 같은 미국의 온라인 결제 서비스 API를 제공하는 회사가 있다. 어떤 C라는 회사가 Stripe 기업의 온라인 결제 서비스 API를 이용했고 C라는 회사의 서비스 이용자들의 데이터들은 Stripe API로부터 제공된다는 것이다.

2-6. 파일, Object Storage

단적인 예로, 이메일로 주고 받은 파일들이나 기타 Object Storage들도 하나의 데이터가 될 수 있다.