Archive (12) 썸네일형 리스트형 [GCP] 리소스 관리(Quotas, Labels, Billing) 이번 포스팅에서는 GCP를 이용해서 소비하는 리소스들을 관리하는 방법에 대해서 알아보겠다. GCP가 클라우드 서비스이다 보니 해당 서비스를 이용하면서 돈을 내야 한다. 하지만 이러한 클라우드 서비스를 이용하면서 일일이 이용 요금이 얼마 나왔는지 사용자가 직접 계산해야 한다면 진절머리가 날 것이다... 게다가 GCP는 요즘 용어로 '빅데이터'를 처리하기 위해 사용하는 클라우드 서비스이기 때문이다. 소개하기 전에, 참고로 나의 리소스를 관리받기 위해서는 GCP에게 내 project ID/Number/Name을 알려주어야 관리 받을 수 있다. 이제 본격적으로, 리소스를 관리하는 방법으로서 크게 3가지 종류가 있는데 Quotas(한국 사전적인 의미로는 '할당량'), Labels, Billing이 있다. 바로 하.. [GCP] Cloud SQL과 Other DB들 그동안 GCP에 대한 이론공부에만 몰두하느라 최근 일주일 간 블로그 포스팅을 하지 못했다.. 어느정도 진도를 나갔기 때문에 그동안 공부했던 내용을 복습하는 차원에서 다시 순차적으로 포스팅해보려 한다. 저번시간에 포스팅한 내용은 GCS(Google Cloud Storage)에 관한 내용이였다. GCS는 Unstructured data(비정형 데이터)에 적합한 클라우드 서비스였다. 이번에 포스팅할 내용들은 Cloud SQL과 기타 다른 DB(데이터베이스)들에 대한 내용이다. 여기서 다른 DB란, Cloud Spanner, Cloud Firestore, Cloud Bigtable, Cloud Memorystore을 말한다. 뿐만 아니라 앞으로 이 포스팅에서 등장하는 서비스들은 모두 Structured Data.. [GCP] GCS ( Google Cloud Storage )에 대한 이해 이번 포스팅에서는 GCS라고 불리우는 Google Cloud Storage에 대해서 공부해본 내용을 소개하려고 한다. 최근 들어 한국어로 된 '구글 클라우드 플랫폼 뽀개기' 라는 박정운님이 지으신 책으로 사전 지식과 개념을 이해하고 코세라 강의를 들으면서 해당 책에선 설명이 되지 않았던 추가 적인 내용을 공부하는 식으로 진행하고 있다. 처음에 했던 방식과는 좀 다른 공부 방법이지만 몇 번의 시행착오를 거친 끝에 이게 가장 나에게 맞고 이상적인 공부 방법이라고 생각하고 있다..! 그렇다면 이제 Cloud Storage에 대해서 알아가 보기 전에 앞으로 계속적으로 다룰 GCP내의 여러가지 Storage와 Database 중에서 어느 걸 선택할지에 대한 기준을 마련해주고 있는 테이블과 의사결정모델을 큰 숲을 .. [GCP] Cloud Load Balancing 과 Auto Scaling 다시 본격적으로 GCP 공부를 시작했다. 이번 포스팅에서는 클라우드 로브 벨런싱과 오토 스케일링에 대해서 배워보겠다! 우선적으로 로드 밸런싱이라는 개념에 대해서 짚고 넘어가자. 로드 밸런싱이란, 한번에 많은 요청으로 트래픽이 급증했을 때 여러대의 VM에 트래픽을 분산하는 것을 말한다. 그럼 여기다가 Cloud 개념만 붙이면 이러한 기능을 제공해주는 Cloud를 말하는 것이다. 1. on-premise에서 필요했던 pre-warm-up(가동 준비과정)이 필요가 없다. #가동 준비과정 : 대량의 트래픽을 처리하기 위해서 미리 트래픽을 처리하는 과정을 거치는 것인데 운동으로 비유를 하자면 본격적인 강 도가 높은 운동을 하기 전에 웜업 운동을 하는 것이 가동 준비과정이라고 이해하면 된다. 2. HTTP(S), .. [GCP] GCP의 기초부터 다시 잡자 설날연휴로 인한 아빠가게 일을 도와주는 덕분에 몇 주동안 공부를 하지 못했다... 이제 다시 시작하려고 한다. 그나저나 코세라 강의와 병행을 했었는데 알고보니 코세라 강의의 첫번째 강의가 전체범위를 아우르는 내용이여서 그 전에 내가 작성했던 공부내용이 사실 그렇게 해당내용을 깊게까지 공부했던 내용은 아닌걸 알게 되었다. 그래서 두번째 강의부터 다시 처음부터 시작하는 코세라 강의 진도에 맞춰 GCP 뽀개기(한국어로된) 책으로 이해하고 공부내용을 작성하려고 한다. 이번 시간에는 GCP의 기본 개념을 완전히 숙지하는 시간을 가져보겠다! 먼저 클라우드는 크게 제공하는 서비스 범위에 따라 3가지로 나뉜다. IasS(Infrastructure as a Service) : 시스템 인프라(서버, 네트워크, 스토리지, .. [GCP] VPC(Virtual Private Cloud) ▶ VPC란? - GCP 리소스를 위한 관리형 네트워킹 기능을 제공 - 실제 네트워크와 동일한 방식으로 작동 - 데이터 센터의 지역 가상 서브넷으로 구성 - 글로벌 광역 네트워크로 연결된 글로벌 리소스 그러면 이제 에 대해서 자세히 알아보자. 1. 연결된 라우터와 방화벽 규칙을 포함한 전역 리소스이다. 2. 방화벽 규칙은 인스턴스에서 송수신 되는 트래픽을 제어할 수 있다. 3. 서브넷은 지역(Region) 리소스로, 각 서프벳은 CIDR을 이용해 IP주소 범위 정의 4. 내부 IP 주소가 있는 instances는 Google API 및 서비스와 통신 가능 5. 네트워크 관리는 IAM을 사용해 관리가 가능 6. VPC 공유를 이용하면 VPC 네트워크를 공용 Host project에 유지할 수 있음 7. V.. [GCP] Compute Engine Compute Engine 이란? : GCP에서 제공하가는 가장머신(VM) 서비스이다. 즉, 네트워크에 연결된 가상서버를 제공. Compute Engine의 특징들에 대해서 하나씩 부분 별로 살펴보자. 1. 다양한 인스턴트 구성 및 이미지를 제공 - 마이크로~vCPU 뿐만아니라 사전에 정의된 다양한 인스턴스, 그리고 임의로 설정할 수 있는 커스텀 머신 유형도 제공 게다가 영구디스크 레퍼지토리를 HDD or SDD 형태로 제공한다. - VM인스턴스로 리눅스 및 윈도우 서버용 공개 이미지 뿐만 아니라 기존 시스템에서 가져올 수 있는 비공개 커스텀 이미지도 실 행 가능. - 프로젝트에서 인스턴스를 만들 때 해당 인스턴스의 영역 운영체제 및 머신 유형 등을 지정 가능 => 머신유형에 대해서 알아보자. a. 사전.. [GCP] Cloud IAM(Identity and Access Management) Cloud IAM : 구글 클라우드 서비스의 ID 및 액세스를 관리해주도록 하는 서비스. 즉, 누가(ID) 어떤 리소스(GCP서비스)에 대한 어떤 액세스 권한(Role)을 갖는지 제어하도록 해주는 것 Cloud IAM에서 정책(policy)를 만들면 IAM에서 사용하는 ID별로 역할을 주는데, 이것은 GCP 내의 리소스 별로 개별 설정이 가능하다. 1. 구글 계정 - 개별 사용자 계정, ID는 모든 이메일 주소로 가능. 2. 서비스 계정 - 애플리케이션 또는 가상 머신 속한 계정(사용자 X), 코드를 실행하는 계정을 지정 - 주요 특징 => ID로 사용되며 서비스 계정에 역할을 부여하고 리소스에 엑세스 가능 리소스로 사용되며 사용자에게 해당 서비스 계정에 엑세스할 권한 부여 가능 - 서비스 계정 키 =>.. [GCP] Introducing Google Cloud Platform 우선 이 강좌는 [ Compute, Storage, Big data, Machine Learning ] 중에 Compute와 Storage에 포커스를 둔다고 한다. ▶ Cloud Computing 이란? On-demand self-service : 필요할 때 언제든지 computing 리소스들을 얻을 수 있다. Broad Network Access : 어디에서나 이 리소스들에 접근 가능 Resource pooling : 공급자들이 고객들에게 리소스들을 분배(공유) 가능 Rapid elasticity(탄력성) : 리소스가 더 많이 필요하면 더 많이, 빨리 얻을 수 있고, 덜 필요하면 scale back 가능 Measured service : 사용자가 쓴 만큼만 지불하면 끝. - IaaS(Infrastruc.. [ML] SVM(Support Vector Machine) is apllied to Titanic_Data 이번엔 타이타닉 데이터를 SVM에 적용해보려고 한다. 우선 SVM에 대해서 살펴보자 SVM은 Support Vector Machine의 준말이다. SVM은 두 개의 매개변수( Cost, gamma )가 사용자에 의해 세팅되어야 한다! 이 두개의 매개변수를 grid search라는 경험적인 방법에 의해서만 선택한다. 여기서 grid search란 그림 1과 같이 매개변수들의 여러 조합을 테스트해서 가장 좋은 성능을 내는 매개변수를 찾아내는 것이다. 1. Linear(선형) SVM - 사용자가 설정해야하는 매개변수 = Cost - 최적의 선형 결정 경계(=분리 초평면) 찾는 알고리즘 - margin = 두 데이터 군과 결정 경계간의 떨어져 있는 정도 -> SVM의 목표는 이 margin이 가장 큰 결정 경계.. [ML적용Case] Titanic Data applied to Decision Tree model 데이터를 갖고 의사결정 나무 모델에 적용하는 프로세스는 크게 다음과 같다 위 그림에서 보는 것처럼 첫번째, 문제를 정의하고 훈련 데이터를 수집을 한다 두번째, 데이터를 추출을 한다, 여기서 데이터 추출이란, Data의 여러가지 features 중에서 중요한 feature을 뽑아내어 나무의 결정 기준을 설정한다. 이 때, 기준 설정은 가장 많은 데이터를 나가떨어지게(?)하는 feature을 가장 먼저 설정하는 것이 효율적이다. 또한 엔트로피가 낮도록(clean~) 설정을 해야 한다(=정보획득이 높아져아한다!) #정보획득에 대한 용어는 의사결정나무 이론에 대한 정리글을 참고하자! 세번째, 모델을 실행시킨다. 네번째, test데이터로 모델 성능을 시험해본다. 위는 Decision tree 모델에 input으로.. Think whether ML/DL is applied to the selected data. 저번주부터 DSC 동아리에서 첫 팀 프로젝트로 ML 팀과 스팸메일 팀으로 나누어서 프로젝트를 시작했다. 나는 ML팀에 속하게 되었다. 구체적으로 ML팀에서 하기로 한 프로젝트는 자신이 좋아하고 선호하는 데이터를 Kaggle과 같은 사이트에서 찾아내어 내가 선택한 데이터가 ML의 어떤 학습에 어울리고 적용할 수 있고 심지어 더 나아가서 딥러닝에도 적용될 수 있을까 하는 것에 대해 고찰해보는 숙제를 해오기로 하였다. 그래서 난 데이터f 팀 프로젝트로 ML 팀과 스팸메일 팀으로 나누어서 프로젝트를 시작했다. 나는 ML팀에 속하게 되었다. 구체적으로 ML팀에서 하기로 한 프로젝트는 자신이 좋아하고 선호하는 데이터를 Kaggle과 같은 사이트에서 찾아내어 내가 선택한 데이터가 ML의 어떤 학습에 어울리고 적용할 .. 이전 1 다음
