최신 리포트 다운로드 지금 바로 문의하기
최신 리포트 다운로드 지금 바로 문의하기
Author

Miyeon. Jo

2021 Global Cloud Market Share

구글 인사이트
by Miyeon. Jo

‘빅 3’ 클라우드 제공업체가 보고한 최신 수익을 포함하여 분기별 AWS vs. Azure vs. Google Cloud 시장 점유율을 비교할 시간입니다.
세 공급자를 나란히 살펴보고 그들의 현 위치에 있는지 살펴 보겠습니다.

1. Google Cloud vs. AWS vs. Azure

본 분석의 시점을 파악하려면 먼저 클라우드 시장이 전체적으로 그 어느 때보다 크다는 사실을 알아야 합니다. Gartner는 2021년에 전 세계 퍼블릭 클라우드 지출이 18% 증가할 것으로 예측했으며, 70%의 조직이 COVID-19 이후 클라우드 지출을 늘리기 위해 클라우드를 사용하고 있습니다.

따라서 해당 시장 내에서 Google Cloud vs. AWS vs. Azure 시장 점유율 분석과 각 클라우드 제공업체의 보고서가 공유한 내용을 살펴보겠습니다.

1.1 Google Cloud

2021년 1분기 Google Cloud는 전년 동기 대비 46% 증가한 40억 4,700만 달러의 매출을 보고했습니다. 영업 손실은 9억 7,400만 달러로 전년도 17억 3,000만 달러의 손실과 비교됩니다.
Google Cloud에는 Google Cloud Platform뿐 아니라 Google Workspace(구 G Suite)도 포함됩니다.
다른 기업과 마찬가지로 Alphabet도 클라우드 성장을 강조했습니다. Google과 Alphabet의 CFO인 Ruth Porat는 “Google Cloud의 지속적인 추진력에 매우 기쁘게 생각합니다. GCP와 Workspace의 강점과 기회를 반영하는 분기 매출 40억 달러”라고 말했습니다.

Porat은 또한 Google Cloud Platform(GCP)의 매출 성장이 다시 한 번 “의미 있게 전반적으로 클라우드를 능가”했다고 말했습니다.

1.2 AWS

Amazon은 2021년 1분기 Amazon Web Services(AWS) 매출을 135억 달러로 보고했으며 이는 시장 예측인 131억 달러를 초과한 것입니다. 이는 2020년 1분기의 103억 3,000만 달러와 비교됩니다. AWS 수익은 이번 분기에 32% 성장하여 4분기의 28% 성장에서 가속화되었습니다. 이번 분기에 AWS의 수익은 Amazon의 총 수익의 12%, Amazon의 전체 영업 수익의 거의 47%를 차지했습니다. AWS는 수익성을 통해 회사 전체를 지속적으로 강화하고 있습니다.
이번 분기에 AWS는 전 AWS 임원이자 현 Salesforce Tableau 책임자인 Adam Selipsky가 AWS를 운영할 것이라고 발표했습니다.
아마존의 CFO인 브라이언 올사브스키(Brian Olsavsky)는 투자자들과의 어닝 콜에서 “COVID 기간 동안 많은 기업들이 더 이상 자체 기술 인프라를 관리하고 싶지 않다고 결정하는 것을 보았습니다.”라고 말했습니다. “AWS와 협력하고 클라우드로 이전하면 더 나은 비용, 더 나은 기능 및 더 나은 혁신 속도가 제공된다는 것을 알고 있습니다. 우리는 팬데믹 이후 회복으로 이동하면서 이러한 추세가 계속될 것으로 예상합니다. 주요 산업 전반에 걸쳐 광범위하고 깊이 있는 참여를 포함하여 전 세계적으로 상당한 추진력이 있습니다.”

물론 퍼블릭 클라우드 성장의 대부분은 온프레미스 인프라에서 마이그레이션된 워크로드뿐만 아니라 완전히 새로워진 워크로드에서 비롯됩니다. 이 추세가 어떻게 계속되는지 궁금합니다.

1.3 Azure

Amazon은 AWS 수익을 지정하지만 Microsoft는 Azure의 성장률만 보고합니다. 이 수치는 이전 분기에 비해 50%의 매출 성장이며 이는 46%의 성장 분석가들이 예상했던 것보다 빠른 것입니다. 지난해 이맘때 성장률은 59%로 보고됐다. 수익 성장률을 비교하면서 “Azure 성장률이 둔화되고 있다”고 선전하는 헤드라인을 볼 수 있습니다. 그러나 Azure가 이 엄청난 규모로 계속해서 수익을 늘리고 있기 때문에 이 지표는 가치가 의심스럽습니다.
다음은 Microsoft가 보고하는 수익 수치입니다. Azure는 23% 성장한 151억 달러의 “Intelligent Cloud” 사업에 속해 있습니다. 운영 그룹에는 서버 제품 및 클라우드 서비스도 포함됩니다(26% 성장).
Microsoft는 클라우드 성장을 성공의 기본 요소로 보고 있습니다. CEO Satya Nadella는 “팬데믹이 시작된 지 1년이 넘도록 디지털 채택 곡선이 둔화되지 않고 있습니다. 그들은 가속화하고 있으며, 이는 시작에 불과합니다. 우리는 향후 10년 동안 클라우드를 구축하고 고객이 탄력적으로 변화할 수 있도록 지원 가능한 시장을 확장하고 기술 스택의 모든 계층에 걸쳐 혁신하고 있습니다.”
Azure에 대한 특이성 부족은 단순히 AWS와 직접 비교할 수 없기 때문에 많은 전문가들을 좌절시키고 불가피하게 Azure가 실제로 어떻게 하고 있는지에 대해 눈살을 찌푸리게 합니다. 물론 IaaS가 중요한 “클라우드”의 유일한 부분이라고 가정하지만 AWS는 그렇게 성장하여 시장을 지배하게 되었습니다.

그럼에도 불구하고 Microsoft의 클라우드 비즈니스는 회사에 분명히 성공을 거두고 있습니다. Intelligent Cloud는 이번 분기에 전체 연결 영업 이익의 37.7%인 64억 달러로 모든 부문 중 가장 높은 영업 이익을 달성했습니다.

1.4 Alibaba Cloud

Alibaba 클라우드 매출은 전년 대비 37% 증가한 26억 달러를 기록했습니다. 그들은 “분기 동안 느린 매출 성장은 주로 인터넷 업계의 최고 클라우드 고객의 매출 감소로 인한 것입니다. 과거에 당사의 해외 클라우드 서비스를 사용했던 중국 이외의 지역에서 상당한 규모의 입지를 갖고 있는 이 고객은 제품과 관련되지 않은 요구 사항으로 인해 국제 비즈니스와 관련된 관계를 종료하기로 결정했습니다.” 그들은 남아 있는 클라우드 고객이 미래에 단일 고객으로부터 이러한 큰 영향을 방지할 수 있을 만큼 충분히 다각화되어 있다고 믿습니다.

2. 클라우드 컴퓨팅 시장 점유율 분석

2018년에 분석가 Canalys의 시장 점유율 분석을 포함했는데, AWS가 시장의 약 1/3을, 2위는 Microsoft가 약 15%, Google은 약 5%라고 보고했습니다.

2019년에 그들은 클라우드 인프라 시장에서 42%의 전반적인 성장을 보고했습니다. 공급자별로는 AWS가 전년 동기 대비 23억 달러 증가하여 가장 큰 매출 증가를 보였지만 Canalys는 Azure와 Google Cloud가 더 큰 비율로 증가했다고 보고했습니다.

2021년 4월 기준으로 Canalys는 전 세계 클라우드 시장이 이번 분기에 35% 성장한 418억 달러를 기록했다고 보고합니다. AWS가 시장의 32%를 점유하고 있으며 Azure가 19%, Google이 7%, Alibaba Cloud가 그 뒤를 잇고 있습니다.

Bezos는 다음과 같이 말했습니다. “AWS는 같은 생각을 가진 경쟁에 직면하기 전에 7년 앞서 출발한다는 이례적인 이점이 있었습니다. 결과적으로 AWS 서비스는 지금까지 가장 진화하고 기능이 가장 풍부합니다.”

클라우드 고객과 이야기한 일화적인 경험은 종종 그것이 사실임을 알게 됩니다. Google Cloud vs. AWS vs. Azure 시장 점유율의 경우 AWS가 여전히 상당한 우위를 점하고 있으며 시장 점유율이 안정적입니다. 즉, 모든 플레이어는 성장과 혁신을 추진하고 전반적으로 퍼블릭 클라우드 채택을 추진하고 있습니다.

Google Cloud는 비록 현 시점에서는 Global Market Share 3위이지만, 꾸준한 성장과 타 기업대비 높은 성장률을 기록중으로, 앞으로 그 미래가 매우 밝다고 전망됩니다.

출처 및 참고사이트

정육각

by Miyeon. Jo

정육각

“클라우드를 활용하면서 문제를 느낀 적이 없다는 것 자체로 의미가 있습니다. 사업이 확장되면서 늘어나는 인프라, 새로운 서비스들이 필요한데 이미 Google Cloud 내에 이를 지원하는 제품들이 나와 있죠. 간단한 예로 로드밸런싱 같은 기능입니다. 무언가를 해보고자 할 때 벽에 부딪히지 않게 시작할 수 있게 된 것이 매우 큰 이점입니다.”
“클라우드 선택 시, 인프라만 고려하기 보다 우리 비즈니스에 어떻게 적용할 것인가가 더 중요합니다. 데이터를 활용하고자 한다면 빅쿼리, 머신러닝에 강점이 있는 Google Cloud를 추천합니다.”

– 정육각 박준태 CTO님

Company Overview

정육각은 2016년 2월 설립된 초신선 신선식품 생산 및 판매 서비스 기업입니다. 도축 4일 이내의 돼지고기, 도계 당일 닭, 산란 직후의 달걀을 온라인 소비자에게 직접 제공해 신선식품 시장을 소비자 중심으로 바꿔나가고 있습니다. 정육각의 IT 개발그룹 직랩은 안정적인 제조, 유통 공정과 커머스 운영을 책임집니다. 이에 클라우드 기술을 활용함으로써 ‘제한 없는 기술 활용’을 목표로 합니다. 생산 후 라벨링, 송장 추적 등을 위해 임베디드, 백엔드, 프론트엔드 모두 직접 내부에서 개발하고 있으며, 이는 전부 클라우드 네트워크로 구성된 ‘클라우드 네이티브(Cloud Native)’ 서비스를 합니다.

Challenge

사업 시작부터 정육각 모바일 앱과 웹사이트 환경을 클라우드 기반 인프라로 구축하고자 했습니다. 모바일, 웹 애플리케이션 개발 플랫폼인 파이어베이스(Firebase)를 먼저 사용하면서 백엔드 인프라 관리를 위해 자연스럽게 Google Cloud를 사용하게 되었습니다. 이 둘의 비용 정산을 따로 하고 있어 불편했는데, 이를 통합해 관리하고자 했습니다. 인프라를 Google Cloud를 사용하며 직원들의 생산성 도구 역시 Google Workspace를 선택했습니다.

Solution

정육각은 Google Cloud와 Google Workspace 모두 사용하고 있습니다. 커머스 및 사용자 행동 데이터 활용과 분석을 위해 빅쿼리와 애널리틱스를 활용하고 있습니다. 개발팀뿐만 아니라 마케팅팀, 물류팀, 제품 관리 담당자 등 전사적으로 비즈니스 인사이트 실시간으로 얻고 있습니다.
베스핀글로벌은 정육각에서 가장 많이 활용하는 Firebase, Google Cloud와 Google Workspace의 비용을 통합할 수 있도록 도왔습니다. 앞으로도 안정적인 서비스가 가능하도록 Google Cloud 서비스 데스크 역할을 비롯해 빠른 문제 해결을 도울 예정입니다.
정육각에서는 클라우드 환경 모니터링을 위해 데이터독(Datadog)을 활용하고 있습니다. 데이터독 자체적으로 알람을 설정하고 관리하는 기능이 있지만, 친 개발자 도구로 비 개발 직군에서 활용이 어려운 부분이 있습니다. 베스핀글로벌에서 개발한 IT 이슈 알람 플랫폼인 얼럿나우와 연동해 비 개발 직군에서도 주요한 알람을 받아보고, 담당자에게 에스컬레이션하는 기능을 사용할 예정입니다.
클라우드 비용관리 부분에서도 옵스나우를 적극적으로 활용할 계획입니다. 정육각은 쿠버네티스 기반의 인프라를 사용 중인데, 이는 자동으로 스케일 관리가 된다는 장점이 있지만, 한편으로는 자동으로 변화하는 인프라 환경의 자원과 비용을 신경쓰지 않아 문제가 생길 수 있다는 단점이 있습니다. 옵스나우를 통해 효과적으로 비용을 관리할 예정입니다.

Benefit

정육각의 고객과 주문이 폭발적으로 증가하더라도 인프라 단의 부하는 발생하지 않습니다. 또한 직원들의 커뮤니케이션 도구를 Google Workspace로 하면서 협업도 용이해졌습니다.

Next Step

파이어베이스에서 사용하고 있는 데이터베이스를 Google Cloud 데이터베이스로 이전하는 것을 고려하고 있습니다. 용량 부분에서 좀 더 편리하고 기민하게 대응할 수 있으리라 기대합니다. 아직 구체적인 계획이 나온 것은 아니지만, IoT 기술 도입도 고려 중입니다. 예를 들어 저울에 제품을 올리면 지금은 무게 정보만 수집할 수 있지만, 여기에 시간, 온도 센서 등을 심어놓고 데이터를 수집해 활용할 수 있다고 생각합니다. 또한, 고객들이 정육각 서비스를 마음 놓고 이용할 수 있도록 클라우드 보안 쪽도 더 신경 쓰고 세심하게 관리할 예정입니다.

Market Overview

베스핀글로벌의 Market Overview : 코로나로 인해 온라인 커머스 시장이 성장했다는 이야기는 수치를 들어 설득하지 않아도 이제 누구나 다 아는 사실입니다. 고기는 만져보고 색깔을 봐야 구매하는 중장년층의 소비 형태도 온라인으로 바뀌고 있습니다. 정육각은 제조와 유통 그리고 IT가 모두 적용되는 푸드테크 기업입니다. 축산업계로서는 최초라고 봐도 무방합니다. 글로벌 리서치 기관인 리서치앤드마켓에 따르면 전세계 푸드테크 시장은 연평균 약 5.8%씩 성장하고 있다고 합니다. 2022년에는 약 2천 500억 달러 (약 한화 298조 원)에 달할 예정입니다. 신선식품의 경우 유통 과정과 재고관리가 더 까다롭고 어려운 분야입니다. 클라우드, 인공지능, 빅데이터 같은 IT 기술로 해결하는 정육각 같은 기업이 선두가 될 것입니다.

코리아e플랫폼

by Miyeon. Jo

코리아e플랫폼

“베스핀글로벌을 통해 클라우드를 도입한 후, 웹 애플리케이션의 속도는 2배 빨라졌고 RI 계약으로 인프라 비용도 최적화하고 있습니다. 확장성을 생각했을 때, IDC에서 1개월이 걸릴 일이었다면 클라우드에서는 1시간 내로 인프라 세팅이 가능하다는 점이 너무 편리합니다.”
“저희도 가보지 않은 길에 대한 두려움이 있었죠. 클라우드를 막상 도입하고 보니 왜 아직 많은 기업들이 안 쓸까 싶을 정도로 만족합니다. 초기 아키텍처 설계를 짜임새 있게 구성해야 하는데, 직접 하려니 시간도 오래 들고 효율적이지 않다는 생각이 들었습니다. 베스핀글로벌의 도움으로 문제를 해결해나갔습니다.”
– 코리아e플랫폼 정보시스템실 이철 실장

Company Overview

코리아e플랫폼은 IT와 물류 인프라를 기반으로 하는 B2B MRO(Maintenance Repair and Operation) 구매 대행 서비스 기업입니다. 2000년 설립 이후 고객사는 아웃소싱을 통한 구매로 비용을 절감하도록 하며, 협력사들은 새로운 시장 진출 기회를 제공하고 있습니다. MRO 기업 최초 클라우드 마이그레이션을 통해 기술력으로는 업계 선두 주자로 자리매김하고 있습니다.

Challenge

자체적으로 관리하고 있던 서버 장비들이 노후화되어 새로운 장비를 모색하던 중 클라우드를 고려하게 되었습니다. 클라우드에 대한 경험이 없어 위험성이 있다고 생각했으나, 대세가 된 기술인 클라우드를 지금 접해보지 않으면 앞으로 5년 뒤 벌어질 기술 격차를 생각하게 되었습니다. 처음에는 팀원들도 클라우드에 대한 경험이 없어 도입을 망설였으나, 리더십의 주도적인 결정과 설득으로 클라우드 이전이 가능했습니다. 고객사와 협력업체들의 접속이 빈번한 B2B 서비스를 하며 무중단 서비스를 해야 했고, 백업 및 이중화 등 해결하고 싶은 문제들이 있었습니다.

Solution

기존 서버 장비에 EOS(End of Service) 장비 교체 만에도 수억 원이 지출될 예정이었습니다.

클라우드를 고려할 때, 오라클 데이터베이스를 생각해 Amazon RDS를 활용하고자 했으나, 성능면에서 업무 부하를 견뎌낼수 있을지가 의문이었습니다.

코리아e플랫폼에서는 네 가지 시나리오를 적용했습니다.

  1. 비용을 고려해 Amazon RDS를 도입하고자 한 상황에서 부하 테스트
  2. 웹 애플리케이션에 시나리오를 테스트하고 과부하 영역에 대한 성능 튜닝
  3. 데이터베이스에 부하를 주던 자동 배치 파일들의 모든 리스트를 뽑아 설정 변경
    (예. 1분마다 → 1시간마다, 부하가 적은 기능은 새벽 시간대로 세팅)
  4. 20년 업력과 함께한 데이터들을 분리하여 재정비
    (예. 조회 속도에 영향을 주는 5년 이상 된 데이터들은 별도로 분리해서 관리)

이렇게 다양한 테스트를 해볼 수 있었던 것은 클라우드가 클릭 몇 번만으로 인프라 세팅이 가능했기 때문입니다.
최고 수준의 성능으로 서비스를 오픈했고, 막상 서비스 하고 보니 문제가 발생하지 않아 지속해서 클라우드 인프라 최적화를 수행하고 있습니다. 심지어 속도가 2배 향상된 결과를 나타내고 있으며, RI 계약을 통해 비용 최적화 방안도 마련하고 있습니다.
유지 보수, 사용하지 않는 고스펙 기능 정리, 사용하지 않는 리소스를 on/off 하는 방식으로 약 1억 원 상당의 비용을 절약할 수 있었습니다. 하지만 클라우드 인프라 특성상 사용량이나 제품이 늘어나게 되면 비용이 증가할 것도 함께 고려하고 있습니다.
베스핀글로벌은 약 2개월간 아키텍처 설계 및 클라우드 마이그레이션을 도왔습니다.

정육각에서는 클라우드 환경 모니터링을 위해 데이터독(Datadog)을 활용하고 있습니다. 데이터독 자체적으로 알람을 설정하고 관리하는 기능이 있지만, 친 개발자 도구로 비 개발 직군에서 활용이 어려운 부분이 있습니다. 베스핀글로벌에서 개발한 IT 이슈 알람 플랫폼인 얼럿나우와 연동해 비 개발 직군에서도 주요한 알람을 받아보고, 담당자에게 에스컬레이션하는 기능을 사용할 예정입니다.

Benefit

클라우드를 활용하면서 인프라 영역의 모든 부분이 편리해졌습니다. 새로운 프로젝트 시 인프라 세팅이 너무 쉽다는 점, 서버에 부하가 생겨도 분리해 다시 서비스를 시작하는 것이 상상을 초월할 정도로 편리합니다. 만약 IDC 환경에서 확장해야 했다면 기본적으로 1개월 이상은 걸렸을 것입니다.

Next Step

클라우드 아키텍처를 어떻게 하면 더 짜임새 있게 만들 것인가에 대해 고민하고 있습니다. Well-architected에 대한 니즈가 있으며, 클라우드 비용을 어떻게 최적화하고 관리할 것인가에 주력하고 있습니다.

Market Overview

베스핀글로벌의 Market Overview : MRO (Maintanence, Repair and Operation-소모성 자재) 시장은 원자재나 대형 설비를 제외하고 기업이 필요로 하는 모든 소모성 자재와 유지, 보수 등 구매를 대행해주는 서비스입니다. 국내 시장규모는 약 22조 원으로 산출 근거는 통상 전체 매출의 1%가 MRO 매출액에 해당한다는 것에 기인합니다. (2017년도 1,000대 기업 매출액 합계 약 2,242조 원) 코로나로 인해 사무환경에서의 소모품 소비가 감소했으나 온라인 커머스, 물류 시스템이 발전하면서 혁신의 바람이 불고 있는 시장이기도 합니다. 언급했듯이 온라인 커머스의 경험이 중요해지고, 원활한 물류 시스템을 위해서는 IT 인프라가 안정적으로 잘 구성되어 있어야 하는데 코리아e플랫폼의 클라우드 전환은 MRO 업계 최초로 혁신적인 시도였습니다.

‘구글 클라우드 기반 데이터 플랫폼’으로 쉽고 빠르게 데이터 분석

구글 인사이트
by Miyeon. Jo

구글 클라우드는 데이터 분석 플랫폼이 단일 CSP에 종속되지 않고 여러 클라우드 환경에서 활용될 수 있도록 하는데 집중하고 있다. 김정훈 구글 클라우드 코리아 데이터 애널리틱스 스페셜리스트는 “‘구글’이라는 포털에서 수집되는 수많은 데이터들을 분석할 수 있는 서비스들을 클라우드 서비스로 개발해 사용자들에게 제공하고 있다”며, “이는 그만큼 데이터 분석에 특화된 CSP가 구글 클라우드라는 증거”라고 설명했다.

<구글 클라우드의 데이터 플랫폼 프로세스 (출처: 구글 클라우드)>

구글 클라우드는 데이터 플랫폼을 수집, 프로세스, 저장, 분석, 활용 등 5단계로 나눠 해당 단계에 맞는 서비스들을 조합해 제공하고 있다. 수집 단계 서비스로는 스트리밍 분석 파이프라인의 이벤트 수집 및 전송을 위한 서비스인 ‘클라우드 펍섭(Cloud Pub/Sub)’이 있다. 이 서비스는 규모에 맞는 고가용성과 일관된 성능을 기반으로 내구성 있는 메시지 스토리지 및 실시간 메시지 전송을 제공해준다. 이는 OSS의 ‘아파치 카프카’와 같은 기능을 하는 서비스다.

프로세스 단계에 적용될 서비스로 ‘데이터플로우(DataFlow)’와 ‘데이터프록(Dataproc)’, ‘데이터프렙(Dataprep)’ 등 3가지가 있다. ‘데이터플로우’는 대규모 데이터 세트에서 데이터 처리 패턴을 개발하고, 간소화된 스트림 및 배치 데이터 처리를 수행하는 서비스다. ‘데이터프록’은 데이터 일괄 처리, 쿼리, 스트리밍, 머신러닝에 오픈소스 데이터 도구를 활용할 수 있는 관리형 ‘스파크’ 및 ‘하둡’ 서비스로, 자동화를 통해 신속하게 클러스터를 만들고 손쉽게 관리하며 불필요한 클러스터는 사용 중지해 비용을 절감할 수 있다는 장점이 있다.

‘데이터프렙’은 분석 및 머신러닝에 사용할 데이터를 시각적으로 탐색, 정리, 준비하는 지능형 클라우드 데이터 서비스다. 이 서비스는 서버리스 방식으로 구동되며, 규모에 상관없이 작동하기 때문에 별도로 배포하거나 관리해야 할 인프라가 없다. UI 입력마다 가장 이상적인 데이터 변환을 제안하고 예측하기 때문에, 코드를 작성하지 않아도 된다는 장점이 있다.

구글 클라우드는 저장 단계 서비스로 ‘클라우드 스토리지(Cloud Storage)’와 ‘빅쿼리(BigQuery)’를 내세우고 있다. ‘클라우드 스토리지’는 스토리지 서비스로 데이터 양에 상관없이 데이터를 저장할 수 있다. 다음은 ‘빅쿼리’다. ‘빅쿼리’는 구글 클라우드의 대표적인 서비스로 서버리스 기반의 멀티 클라우드 데이터 웨어하우스 서비스다. 표준 SQL을 사용해 타 CSP의 클라우드에서 데이터를 수집해 분석할 수 있다. 이로써 유연한 분석 환경을 구성해 데이터 분석가 또는 데이터 과학자에게게 원활한 데이터 분석 환경을 제공한다. 또 ‘빅쿼리 ML’ 기능을 활용하면 구조화 또는 반구조화된 데이터를 기반으로 하는 머신러닝 모델을 빠르게 빌드 및 운용할 수 있다.

마지막으로 활용 단계에서는 ‘버텍스 AI(Vertex AI)’와 ‘루커(Looker)’를 제안하고 있다. ‘버텍스 AI’는 머신러닝 모델을 개발할 수 있는 AI/ML 통합 플랫폼이다. ‘오토ML’ 및 커스텀 코드 학습으로 모델을 쉽게 학습하고 비교할 수 있으며, 중앙 모델 저장소에 별도로 저장된다. ‘루커’는 데이터가 어느 곳에 저장되더라도 기업의 최신 버전 데이터에 접근할 수 있게 지원하는 서비스다.

삼성전자는 음성 인식 플랫폼 ‘빅스비(Bixby)’에 구글 클라우드의 ‘빅쿼리’, ‘클라우드 스패너’, ‘데이터플로우’ 등 서비스를 적용해 수집되는 데이터를 분석하고 있다. 여기에 구글 클라우드의 ‘클라우드 TPU(Tensor Processing Unit)’을 결합해 빅스비 AI 모델의 음성인식 학습을 고도화했다. 그 결과 AI 모델 학습 속도가 18배 향상됐다. 이 외에 홈플러스도 구글 클라우드의 ‘클라우드 스토리지’와 ‘빅쿼리’를 도입해 고객 인사이트를 발굴해 비즈니스 운영 효율을 개선했다.

[인터뷰] “GCP의 데이터 플랫폼으로 확장성, 유연성, 경제성 향상”

<김정훈 구글 클라우드 코리아 데이터 애널리틱스 스페셜리스트>

Q. 구글 클라우드의 데이터 플랫폼의 특장점은.
  • 우리 데이터 분석 플랫폼의 강점은 확장이 쉽고, 유연하며 구조화된 데이터 저장과 처리, 분석 작업을 경제적으로 수행할 수 있다는 점이다. 기업들의 데이터는 기하급수적으로 늘어나고 있다. 이러한 상황에서 스토리지와 처리 리소스를 필요한 만큼 사용해야 하고, 데이터에서 인사이트를 만들어내야 한다. 유연성이 반드시 담보돼야 하는 상황이라는 얘기다. 구글 클라우드에서는 스토리지와 데이터 처리 소스를 무제한에 가깝게, 저렴하게 제공하고 있다. 이에 따라 비용이 늘어날 것으로 예상할 수 있지만, 절대 그렇지 않다. 오히려 유연한 환경에서 빅데이터 분석과 머신러닝 모델을 개발, 학습한다면 불필요하게 들어가는 비용을 줄일 수 있다.
Q. 데이터 플랫폼에 대한 고객들의 반응은.
  • 우리 고객들은 클라우드 기반 데이터 플랫폼에 만족하고 있다. 수만 개의 기업이 DB부터 비즈니스 의사결정을 위한 분석, 미래를 예측하고 자동화하는 AI 및 머신러닝에 이르기까지 데이터의 모든 역량을 활용하는 데이터 클라우드를 구축할 수 있도록 모든 단계를 철저하게 지원한다. 특히, 업체에 종속되지 않도록 오픈소스 도구, 트랜잭션, 프로세싱 및 분석용 엔진도 선택해 사용할 수 있도록 돕고 있다. 고객의 만족도를 알 수 있는 척도가 기업 고객의 수인데, 삼성전자, 홈플러스, 기아자동차 등 국내 수많은 기업들이 현재 구글 클라우드와 협업하고 있다.
Q. 클라우드 기반 데이터 플랫폼이 주는 가치는 무엇인지.
  • 클라우드 기반 데이터 플랫폼의 가치는 데이터를 활용할 수 있는 수많은 서비스를 적용할 수 있다는 점이다. 이를 통해 새로운 인사이트를 보다 다양한 시각에서 얻을 수 있다. 오늘날 기업들은 분석이 끝난 데이터를 쉽게 활용할 수 있도록 다양한 오픈소스를 활용하고 있다. 하지만 이 오픈소스들은 지속적으로 업데이트를 해야 하고, 검증해야 하는 등 번거로운 작업을 수행해야만 한다. 이를 클라우드 서비스로 손쉽게 빠르게, 다양한 오픈소스들을 적용할 수 있도록 지원할 수 있다. 이러한 점이 클라우드 데이터 플랫폼이 주는 가장 핵심적인 가치라고 생각한다.

출처 및 참고사이트

Dubi Cars

by Miyeon. Jo

Dubi Cars

Dubi Cars는 아랍에미리트(UAE)에서 가장 빠르게 성장하고 있는 온라인 자동차 구매 거래 플랫폼 회사입니다. Dubicars.com의 CEO인 Craig Stevens는 단순히 제품을 판매하는 회사를 찾은 것이 아니라, 장기적으로 신뢰할 수 있는 파트너사를 원했습니다. 베스핀글로벌과 함께 하면서 시장에 신제품을 출시하는 것이 10배 향상되었다고 말합니다. 베스핀글로벌과 Dubi Cars가 중동에서 같이 달립니다 🙂

서버리스 VPC 액세스 구성하기

구글 인사이트
by Miyeon. Jo

구글 PS2팀 박찬영

목차

  1. 개요
  2. 서버리스 VPC 액세스 커넥터 생성하기
  3. Cloud Functions VPC 액세스 커넥터 적용 예
  4. Cloud Run VPC 액세스 커넥터 적용 예
  5. 요약

1. 개요

Google Cloud는 완전 관리형(Serverless) 서비스인 Cloud Run, Cloud Functions, App Engine을 지원합니다. 완전 관리형 서비스는 Google Cloud 내의 분리된 별도의 환경에서 실행되고 관리됩니다. 완전 관리형 서비스는 사용자가 관리해야 하는 서버 없이 실행되기 때문에 Google Cloud 내의 다른 리소스들과 연결하기 위해서는 Public IP를 사용해야 합니다.
서버리스 VPC 액세스를 구성하면 Google Cloud 내 리소스들과 Private IP로도 연결이 가능합니다. 서버리스 VPC 액세스 커넥터를 사용하여 VPC 액세스를 구성하고 Private IP로 통신하는 방법과 실제 적용 케이스에 대해 기술하겠습니다.

[그림 1]

2. 서버리스 VPC 액세스 커넥터 생성하기

Cloud Console API 및 서비스에서 Serverless VPC Access API를 사용하도록 설정 합니다.

[그림 2]

VPC Network / Serverless VPC access를 클릭하고 필요 정보를 입력하여 커넥터를 생성합니다.

  • 서브넷 IP는 /28 CIDR 범위이며 기존 서브넷과 겹치지 않아야 합니다.
  • 커넥터는 연결되는 서버리스 서비스와 동일한 프로젝트에 있어야 합니다.
  • 커넥터는 연결되는 서버리스 서비스와 동일한 리전에 있어야 합니다.
  • 내부 IP 주소 및 내부 DNS 이름으로의 트래픽은 커넥터를 통해 라우팅됩니다. 기본적으로 외부 IP 주소에 대한 트래픽은 인터넷을 통해 라우팅됩니다.

[그림 3]

3. Cloud Functions VPC 액세스 커넥터 적용 예

아래 그림은 Cloud Functions/Cloud Run에서 Private IP(Connector Subnet IP)로 Peering 연결된 mongoDB Cluster에 접속하는 구성 입니다.

[그림 4]

mongoDB Cluster에 Private IP(VPC 액세스 커넥터 IP)만 접속이 가능하도록 설정합니다.

[그림 5]

Cloud Functions 연결 설정에서 VPC 커넥터를 사용하도록 설정합니다.

[그림 6]

Cloud Functions에 mongoDB에 접속하는 코드를 작성하고 Functions을 실행하면 mongoDB에 정상적으로 접속되는 것을 확인할 수 있습니다.

[그림 7]

또한, mongoDB의 Access History를 보면 DB에 접근한 IP 주소가 VPC 커넥터의 주소대역(10.8.0.0/28)임을 확인할 수 있습니다.

[그림 8]

4. Cloud Run VPC 액세스 커넥터 적용 예

Cloud Run에서 VPC 액세스 커넥터를 테스트 하기 위해 간단한 소스코드를 작성 합니다.

[그림 9]

Cloud Run에서 실행하기 위해 Dockerfile을 작성하고 빌드하여 Artifact Registry에 등록 합니다.

[그림 10]

[그림 11]

Cloud Run에서 실행할 이미지를 선택하고 고급설정에서 VPC 커넥터를 사용하도록 설정합니다.

[그림 12]

Cloud Run에서 VPC 커넥터를 사용하여 mongoDB에 정상적으로 접근한 것을 확인할 수 있습니다.

[그림 13]

5. 요약

지금까지 Serverless VPC Access Connector를 사용하여 Serverless 제품에서 VPC 네트워크에 접속하고 Private IP를 통해 통신하는 내용에 대해 설명했습니다.
Serverless VPC 액세스는 공유 VPC와 Cloud Interconnect, Cloud VPN, VPC 네트워크 피어링을 통해 연결된 네트워크와의 통신을 지원하므로 다양한 케이스에 적용하여 활용하시기 바랍니다.

출처 및 참고사이트

Data Catalog를 이용한 데이터 자산 관리

구글 인사이트
by Miyeon. Jo

구글 PS2팀 박우진

목차
  1. 데이터 자산 관리의 중요성
  2. Data Catalog 소개
  3. Data Catalog를 이용한 GCP 데이터 자산 관리
  4. Data Catalog를 이용한 BigQuery 데이터 자산 탐색 및 분류
  5. 요약
1. 데이터 자산 관리의 중요성

오늘날 데이터의 중요성을 모르는 기업은 없습니다. 기업들은 아주 많은 데이터를 모아 분석하고, 그것을 기반으로 경영에 대한 의사 결정을 하기를 원합니다. 그러나 급격히 늘어나는 데이터를 잘 활용하는데에는 어려움이 있습니다.
일반적으로 데이터 이해관계자(소비자, 제작자, 관리자)가 겪고 있는 문제는 다음과 같습니다.

  • 원하는 데이터가 어디에 있는지 모릅니다.
  • 중복된 많은 데이터 중 어떤 데이터가 최신인지 모르며, 누구에게 확인해야할지 알지 못합니다.
  • 데이터 제작자가 소비자를 위해 데이터에 대한 정보를 전달하기 어렵습니다.

위와 같은 어려움이 없이 기업들이 원하는 데이터를 쉽게 찾고, 어떤 데이터가 최신인지 알며, 데이터의 오너쉽을 확인한 후 데이터에 대한 정보를 쉽게 전달 받을 수 있다면, 기업은 정확한 데이터를 기반으로 빠른 의사결정을 할 수 있을 것입니다.

Google Cloud는 이런 데이터 활용에 대한 어려움을 해결하고 데이터의 활용도를 높여줄 수 있는 도구로 Data Catalog 서비스를 제공하고 있습니다.

2. Data Catalog 소개

Data Catalog는 Google Cloud 내에 저장되어 있는 조직의 데이터 자산을 파악하고 관리할 수 있도록 도와주는 완전 관리형 메타데이터 관리 서비스입니다. Data Catalog는 기업이 보유한 대규모 데이터를 중앙 집중식으로 관리하여, 효율적으로 활용할 수 있도록 합니다.

본 글에서는 Data Catalog의 여러 기능 중 데이터 자산을 관리하는 기능에 대해 설명하고, 특히 BigQuery 데이터를 자산화하여 이용하는 방법에 대해 설명합니다.

3. Data Catalog를 이용한 GCP 데이터 자산 관리

Data Catalog는 ‘탐색’과 ‘분류’ 두 가지 간단한 방법으로 데이터를 자산화하고 이용할 수 있도록 합니다.

[그림 1]

  • 탐색탐색은 Google Cloud 스토리지 시스템에서 제공하는 메타데이터를 검색하는 행위입니다. 현재(2021년 7월) 기준, GCP에서는 4가지 스토리지 시스템에서 메타데이터를 탐색할 수 있도록 제공하고 있습니다.

[그림 2]

각 스토리지 시스템에서 검색가능한 메타데이터는 다음과 같습니다.

스토리지 시스템기술 메타데이터비즈니스 메타데이터
BigQuery

▪ 데이터세트, 테이블, 뷰, 컬럼– 이름, 설명, 라벨(key/value) 등

▪ 사용자 정의 메타데이터

Pub/Sub

▪ 토픽 이름 

Cloud Storage

▪ 사용자 정의 메타데이터 – 파일세트, 항목그룹

dataproc metastore

▪ 인스턴스, 데이터베이스, 테이블, 컬럼– 이름, 설명

▪ 사용자 정의 메타데이터

[표 1]

표1에서 볼 수 있듯이 Data Catalog 서비스를 통해 두 가지 유형의 메타데이터를 탐색할 수 있습니다. 기술 메타데이터는 GCP 스토리지 시스템에서 기본적으로 제공하는 메타데이터로 데이터 자산을 탐색하기 위해 Data Catalog 관리자의 추가 작업이 필요하지 않습니다. 반면에 비즈니스 메타데이터는 조직의 다양한 목적에 따라 데이터 자산을 분류한 정보로 하나의 데이터세트를 여러 목적에 따라 다양하게 분류하여 탐색 될 수 있도록 합니다.

  • 분류Data Catalog는 GCP 내 데이터 자산을 데이터를 활용하는 조직의 여러 관점에 따라 데이터가 탐색될 수 있도록 자산의 분류 기준을 정의하고, 해당 데이터 자산에 그 정보를 매핑시키는 작업입니다. 이러한 사용자 관점의 자산 분류 기준을 ‘태그 템플릿(Tag Template)이라고 하며, 데이터 자산에 매핑시키는 작업을 ‘태깅한다’라고 합니다.
4. Data Catalog를 이용한 BigQuery 데이터 자산 탐색 및 분류

이제 GCP 내의 BigQuery 데이터 자산을 탐색하는 기본적인 방법을 알아보고, 사용자 관점에서 데이터 자산을 분류하기 위한 기준(태그 템플릿)을 정의한 후 테이블에 태그하여, 태깅된 정보(비즈니스 메타데이터)를 기반으로 탐색하는 방법을 알아보도록 하겠습니다.

  • BigQuery 데이터 자산 검색 방법기본적으로 데이터 자산의 검색은 Cloud IAM 정책을 통해 조회할 수 있는 권한이 부여된 대상만 조회가 가능합니다.

Google Cloud Console에 로그인 후 ‘Data Catalog > 검색’ 메뉴로 이동합니다.

[그림 3]

[그림 3]에서 1)의 필터를 통해 검색 범위를 줄이고, 2)의 입력창에 검색구문을 입력해 원하는 데이터를 포함한 자산을 검색할 수 있습니다.

예를 들어, BigQuery의 테이블 중 이름에 ‘DATE’가 포함된 테이블을 찾는다면 어떻게 해야할까요?

[그림 4]

[그림4]와 같이 필터 체크박스에서 BigQuery, 테이블로 검색되도록 범위를 한정시키고, 검색창에서 “name:DATE”라는 구문을 입력해 검색함으로써 원하는 결과를 얻을 수 있습니다.

Data Catalog 콘솔에서는 이와 같은 방식으로 쉽게 BigQuery 데이터 자산을 탐색할 수 있습니다. 다만, 더 복잡한 조건으로 정확히 원하는 대상을 검색하려면 구문을 더 상세히 입력을 해야합니다.
BigQuery 기술 메타데이터 기반으로 데이터 자산을 검색하기 위해 검색 항목별 참고할 수 있는 구문[5]은 다음과 같습니다.

  • 테이블 정보 검색

[그림 5]

  • 컬럼 정보 검색

[그림 6]

이와 같이 GCP에서 기본적으로 제공하는 메타데이터를 기반으로도 BigQuery 데이터 자산을 쉽게 탐색할 수 있습니다.

  • 사용자 정의 자산 분류 방법Google Cloud는 조직 내 다양한 니즈가 있는 여러 그룹에서 각자 목적에 맞게 데이터 자산을 분류하고 검색할 수 있는 기능을 제공합니다. 사용자가 직접 정의하는 메타데이터를 비즈니스 메타데이터라고 하며, Data Catalog에서는 이를 ‘태그 탬플릿’이라는 기능으로 구현합니다.

[그림7]은 테이블과 컬럼에 여러 비즈니스 메타데이터 태그가 연결된 예시를 보여줍니다.

[그림 7]

“cust_tbl”이라는 하나의 테이블을 데이터수집(data ingestion) 관점, 데이터 거버넌스(data governance) 관점, 데이터 품질(data quality) 관점으로 분류하여 각 관점별로 해당 테이블이 탐색되도록 하였습니다. 여기에서 각 관점이 ‘태그 템플릿’입니다.

  • 태그 템플릿 활용 예시태그 탬플릿은 필드라는 메타데이터 키-값 쌍의 모음입니다. 만약 데이터 품질 관리 부서에서 데이터 품질 정보를 관리하기 위한 메타데이터를 정의한다면, [그림8]과 같이 태그 템플릿을 정의할 수 있습니다.
    [그림8]의 “data quality”라는 태그 탬플릿은 ‘품질검사일시, 품질점수, 데이터소유자’ 정보를 테이블에 태깅하고 품질 검사를 수행할 때마다 해당 값을 업데이트 할 수 있습니다.

[그림 8]

그리고 데이터 품질 관리부서는 주기적으로 데이터 품질 점검 실태를 Data Catalog를 통해 확인할 수 있습니다. 예를 들면, 데이터 품질 점수가 100점이 아닌 테이블을 찾아서 해당 테이블의 오너쉽을 갖는 부서에 연락해 품질 개선을 요청할 수 있습니다.

태그 템플릿 정보를 기반으로 검색하는 방법은 다른 메타데이터를 검색하는 방법과 동일합니다. 필터에서 태그 템플릿을 선택한 후 검색창에서 검색조건 구문을 입력하면 됩니다.

[그림 9]

태그 템플릿의 필드는 5가지 데이터 유형을 지원합니다. 다음과 같이 검색에 이용하는 필드의 데이터 유형에 따라 구문이 달라지므로 구문 작성 방법[5]을 참고하여 정확한 검색 구문을 입력해야 합니다.

  • 태그 템플릿 필드의 데이터 유형별 검색 구문 예시
데이터 유형사용 예시
일시

expiredDate 태그가 2019-01-01인 데이터 자산 검색예시 : tag:expiredDate:2019-01-01

DOUBLE

데이터 품질 점수가 100점 미만인 데이터 자산을 검색예시 : tag:data_quality.data_quality_score<100 

문자열

데이터 오너부서가 ‘hr’인 데이터 자산을 검색 예시 : tag:data_quality.data_owner:hr  

BOOL

품질 점검을 통가한 데이터 자산을 검색 예시 : tag:data_quality.pass_yn=true

ENUM

데이터 품질 평가 등급이 ‘HIGHEST’인 데이터 자산을 검색 예시 : tag:quality_level_1=HIGHEST 

5. 요약

지금까지 Data Catalog를 이용하여 BigQuery 데이터를 자산화하고 탐색하는 방법을 설명하였습니다. GCP에서 기본적으로 제공하는 기술 메타데이터를 이용해서도 쉽게 데이터 자산을 탐색할 수 있는 것을 확인하였으며, 태그 템플릿 정의를 통해 조직의 여러 관점으로 데이터 자산을 재분류하고 탐색할 수 있는 기능도 확인해 보았습니다.
Data Catalog는 BigQuery, Cloud Storage 등의 GCP 데이터스토리지 시스템 뿐 아니라, 외부 데이터베이스나 데이터소스로부터의 메타데이터를 수집하고 탐색할 수 있는 기능을 제공하고 있습니다. 해당 기능들을 함께 사용하면 기업의 여러 데이터 자산을 통합 관리할 수 있으므로 필요시 참고하실 수 있습니다.

출처 및 참고사이트

개인정보처리방침

by Miyeon. Jo

개인정보처리방침

(‘베스핀글로벌 주식회사’ 이하 ‘베스핀글로벌’)은 「개인정보 보호법」 제30조에 따라 정보주체의 개인정보를 보호하고 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립•공개합니다.

○ 이 개인정보처리방침은 2021년 07월 09일부터 적용됩니다.

제1조(개인정보의 처리 목적)

베스핀글로벌은 다음의 목적을 위하여 개인정보를 처리합니다. 처리하고 있는 개인정보는 다음의 목적 이외의 용도로는 이용되지 않으며 이용 목적이 변경되는 경우에는 「개인정보 보호법」 제18조에 따라 별도의 동의를 받는 등 필요한 조치를 이행할 예정입니다.

① 고객 문의

고객 문의사항 확인 및 처리결과통보를 목적으로 개인정보를 처리합니다.

② 홍보•마케팅 활용

교육 (세미나, 웨비나 등), 신규 서비스 및 제품, 이벤트, 프로모션 안내를 목적으로 개인정보를 처리합니다.

③ 뉴스레터 발송 및 리소스 자료 제공

뉴스레터 발송 및 리소스 자료 제공을 목적으로 개인정보를 처리합니다.

④ 이벤트 참여

이벤트 경품 발송을 목적으로 개인정보를 처리합니다.

제2조(개인정보의 처리 및 보유 기간)
① 베스핀글로벌은 법령에 따른 개인정보 보유•이용기간 또는 정보주체로부터 개인정보를 수집 시에 동의 받은 개인정보 보유, 이용기간 내에서 개인정보를 처리, 보유합니다. ② 각각의 개인정보 처리 및 보유 기간은 다음과 같습니다.
구분 보유 사유 이용기간(보유기간)
고객 문의 고객의 문의 사항 및 답변 수집일로부터 1년
홍보 및 마케팅 활용 교육 (세미나, 웨비나 등), 신규 서비스 및 제품, 이벤트, 프로모션 안내 수집일로부터 1년
뉴스레터 제공 뉴스레터 제공 정보주체의 동의 철회 시 까지
이벤트 참여 이벤트 경품 발송 수집일로부터 1년
제3조(개인정보처리 위탁)

① 베스핀글로벌은 원활한 서비스 제공, 이용자의 문의 처리를 위해 이용자의 개인정보를 국외로 이전하고 있으며, 보안프로토콜(SSL) 처리된 인터넷 망을 이용하여 전송되고 있습니다.

수탁 업체연락처이전목적이전되는 개인정보 항목이전되는 국가이전일시 및 방법개인정보 이용기간
salesforce.com inc.https://www.salesforce.com/form/contact/contact-privacy.jsp고객 문의이름, 회사명, 부서명, 전화번호, 이메일, 산업군미국서비스 이용 시점에 네트워크를 통한 전송수집일로부터 1년
홍보 및 마케팅이름, 회사명, 부서명, 전화번호, 이메일, 산업군수집일로부터 1년
뉴스레터 제공이름, 회사, 이메일뉴스레터 시비스 탈퇴 시까지
이벤트이름, 회사명, 직함, 전화번호, 이메일, 업종수집일로부터 1년

② 베스핀글로벌은 위탁계약 체결시 「개인정보 보호법」 제26조에 따라 위탁업무 수행 목적 외 개인정보 처리금지, 기술적․관리적 보호조치, 재위탁 제한, 수탁자에 대한 관리․감독, 손해배상 등 책임에 관한 사항을 계약서 등 문서에 명시하고, 수탁자가 개인정보를 안전하게 처리하는지를 감독하고 있습니다.

③ 위탁 업무의 내용이나 수탁자가 변경될 경우에는 지체없이 본 개인정보 처리방침을 통하여 공개하도록 하겠습니다

제4조(정보주체와 법정대리인의 권리•의무 및 그 행사방법)

① 정보주체는 베스핀글로벌에 대해 언제든지 개인정보 열람•정정•삭제•처리정지 요구 등의 권리를 행사할 수 있습니다.

② 제1항에 따른 권리 행사는 베스핀글로벌에 대해 「개인정보 보호법」 시행령 제41조제1항에 따라 서면, 전자우편, 모사전송(FAX) 등을 통하여 하실 수 있으며 베스핀글로벌은 이에 대해 지체 없이 조치하겠습니다.

③ 제1항에 따른 권리 행사는 정보주체의 법정대리인이나 위임을 받은 자 등 대리인을 통하여 하실 수 있습니다.

이 경우 “개인정보 처리 방법에 관한 고시(제2020-7호)” 별지 제11호 서식에 따른 위임장을 제출하셔야 합니다.

④ 개인정보 열람 및 처리정지 요구는 「개인정보 보호법」 제35조 제4항, 제37조 제2항에 의하여 정보주체의 권리가 제한 될 수 있습니다.

⑤ 개인정보의 정정 및 삭제 요구는 다른 법령에서 그 개인정보가 수집 대상으로 명시되어 있는 경우에는 그 삭제를 요구할 수 없습니다.

⑥ 베스핀글로벌은 정보주체 권리에 따른 열람의 요구, 정정•삭제의 요구, 처리정지의 요구 시 열람 등 요구를 한 자가 본인이거나 정당한 대리인인지를 확인합니다.

제5조(처리하는 개인정보의 항목 작성)

베스핀글로벌은 다음의 개인정보 항목을 처리하고 있습니다.

구분수집하는 항목
고객 문의[필수] 이름, 회사명, 부서명, 전화번호, 이메일, 산업군
홍보 및 마케팅 활용[필수] 이름, 회사명, 부서명, 전화번호, 이메일, 산업군
뉴스레터 제공[필수] 이름, 회사, 이메일
이벤트 참여[필수] 회사명, 직함, 이름, 이메일, 연락처 [선택] 업종
제6조(개인정보의 파기)
① 개인정보 보유기간의 경과, 처리 목적 달성 등 개인정보가 불필요하게 되었을 때에는 지체없이 해당 개인정보를 파기합니다. ② 정보주체로부터 동의받은 개인정보 보유기간이 경과하거나 처리목적이 달성되었음에도 불구하고 다른 법령에 따라 개인정보를 계속 보존하여야 하는 경우에는, 해당 개인정보를 별도의 데이터베이스(DB)로 옮기거나 보관장소를 달리하여 보존합니다. ③ 개인정보 파기의 절차 및 방법은 다음과 같습니다.

가. 파기절차

베스핀글로벌은 파기 사유가 발생한 개인정보를 선정하고, 베스핀글로벌의 개인정보 보호책임자의 승인을 받아 개인정보를 파기합니다.

나. 파기방법

전자적 파일 형태의 정보는 기록을 재생할 수 없는 기술적 방법을 사용합니다.

종이에 출력된 개인정보는 분쇄기로 분쇄하거나 소각을 통하여 파기합니다

제7조(개인정보의 안전성 확보 조치)

베스핀글로벌은 개인정보의 안전성 확보를 위해 다음과 같은 조치를 취하고 있습니다.

① 정기적인 자체 감사 실시

개인정보 취급 관련 안정성 확보를 위해 정기적으로 자체 감사를 실시하고 있습니다

② 개인정보 취급 직원의 최소화 및 교육

개인정보를 취급하는 직원을 지정하고 담당자에 한정시켜 최소화 하여 개인정보를 관리하는 대책을 시행하고 있습니다.

③ 내부관리계획의 수립 및 시행

개인정보의 안전한 처리를 위하여 내부관리계획을 수립하고 시행하고 있습니다.

④ 해킹 등에 대비한 기술적 대책

베스핀글로벌은 해킹이나 컴퓨터 바이러스 등에 의한 개인정보 유출 및 훼손을 막기 위하여 보안프로그램을 설치하고 주기적인 갱신•점검을 하며 외부로부터 접근이 통제된 구역에 시스템을 설치하고 기술적/물리적으로 감시 및 차단하고 있습니다.

⑤ 개인정보의 암호화

이용자의 개인정보는 비밀번호는 암호화 되어 저장 및 관리되고 있어, 본인만이 알 수 있으며 중요한 데이터는 파일 및 전송 데이터를 암호화 하거나 파일 잠금 기능을 사용하는 등의 별도 보안기능을 사용하고 있습니다.

⑥ 접속기록의 보관 및 위변조 방지

개인정보처리시스템에 접속한 기록을 최소 1년 이상 보관, 관리하고 있으며, 접속 기록이 위변조 및 도난, 분실되지 않도록 보안기능 사용하고 있습니다.

⑦ 개인정보에 대한 접근 제한

개인정보를 처리하는 데이터베이스시스템에 대한 접근권한의 부여,변경,말소를 통하여 개인정보에 대한 접근통제를 위하여 필요한 조치를 하고 있으며 침입차단시스템을 이용하여 외부로부터의 무단 접근을 통제하고 있습니다.

⑧ 문서보안을 위한 잠금장치 사용

개인정보가 포함된 서류, 보조저장매체 등을 잠금장치가 있는 안전한 장소에 보관하고 있습니다.

⑨ 비인가자에 대한 출입 통제

개인정보를 보관하고 있는 물리적 보관 장소를 별도로 두고 이에 대해 출입통제 절차를 수립, 운영하고 있습니다.

제8조(개인정보 자동 수집 장치의 설치•운영 및 거부에 관한 사항)
① 베스핀글로벌은 이용자에게 개별적인 맞춤서비스를 제공하기 위해 이용정보를 저장하고 수시로 불러오는 ‘쿠키(cookie)’를 사용합니다. ② 쿠키는 웹사이트를 운영하는데 이용되는 서버(http)가 이용자의 컴퓨터 브라우저에게 보내는 소량의 정보이며 이용자들의 PC 컴퓨터내의 하드디스크에 저장되기도 합니다.

가. 쿠키의 사용 목적 : 이용자가 방문한 각 서비스와 웹 사이트들에 대한 방문 및 이용형태, 인기 검색어, 보안접속 여부, 등을 파악하여 이용자에게 최적화된 정보 제공을 위해 사용됩니다.

나. 쿠키의 설치•운영 및 거부 : 웹브라우저 상단의 도구>인터넷 옵션>개인정보 메뉴의 옵션 설정을 통해 쿠키 저장을 거부 할 수 있습니다.

다. 쿠키 저장을 거부할 경우 맞춤형 서비스 이용에 어려움이 발생할 수 있습니다.

제9조 (개인정보 보호책임자)
① 베스핀글로벌 개인정보 처리에 관한 업무를 총괄해서 책임지고, 개인정보 처리와 관련한 정보주체의 불만처리 및 피해구제 등을 위하여 아래와 같이 개인정보 보호책임자를 지정하고 있습니다.
▶ 개인정보 보호책임자
성명 강종호
직책 개인정보 보호책임자
직급 전무
연락처 1668-1280
이메일 jongho.kang@bespinglobal.com
▶ 개인정보 보호 담당부서
부서명 MSS팀
연락처 070-7931-9581
이메일 mss_bgk@bespinglobal.com info@bespinglobal.com
※ 개인정보 보호 담당부서로 연결됩니다.
② 베스핀글로벌의 서비스(또는 사업)을 이용하시면서 발생한 모든 개인정보 보호 관련 문의, 불만처리, 피해구제 등에 관한 사항을 개인정보 보호책임자 및 담당부서로 문의하실 수 있습니다. 베스핀글로벌은 정보주체의 문의에 대해 지체 없이 답변 및 처리해드릴 것입니다.
제10조(개인정보 열람청구)
정보주체는 ｢개인정보 보호법｣ 제35조에 따른 개인정보의 열람 청구를 아래의 부서에 할 수 있습니다. 베스핀글로벌은 정보주체의 개인정보 열람청구가 신속하게 처리되도록 노력하겠습니다.
 
▶ 개인정보 열람청구 접수•처리 부서
부서명 MSS팀
연락처 070-7931-9581
이메일 mss_bgk@bespinglobal.com info@bespinglobal.com
※ 개인정보 보호 담당부서로 연결됩니다.
제11조(권익침해 구제방법)

정보주체는 개인정보침해로 인한 구제를 받기 위하여 개인정보분쟁조정위원회, 한국인터넷진흥원 개인정보침해신고센터 등에 분쟁해결이나 상담 등을 신청할 수 있습니다. 이 밖에 기타 개인정보침해의 신고, 상담에 대하여는 아래의 기관에 문의하시기 바랍니다.

1. 개인정보분쟁조정위원회 : (국번없이) 1833-6972 (www.kopico.go.kr)

2. 개인정보침해신고센터 : (국번없이) 118 (privacy.kisa.or.kr)

3. 대검찰청 : (국번없이) 1301 (www.spo.go.kr)

4. 경찰청 : (국번없이) 182 (cyberbureau.police.go.kr)

제12조(개인정보 처리방침 변경)

① 본 개인정보처리방침의 내용 추가, 삭제 및 정정이 있는 경우에는 변경사항의 시행 7일 전부터 공지사항을 통하여 고지할 것입니다.

② 본 개인정보처리방침은 2021년07월09일 부터 시행됩니다.

– 공고일자 : 2021년07월02일

– 시행일자 : 2021년07월09일

③ 이전의 개인정보 처리방침은 아래에서 확인하실 수 있습니다.
– 이전 이력보기(2020.11.03)

Cloud Composer 아키텍처 살펴보기

구글 인사이트
by Miyeon. Jo

구글 PS1팀 박성진

목차
  1. 데이터 파이프라인
  2. Apache Airflow 아키텍처
  3. Cloud Composer 아키텍처
  4. 요약
1. 데이터 파이프라인

데이터 파이프라인은 일련의 데이터 처리 단계입니다. 데이터가 현재 데이터 플랫폼에 로드되지 않은 경우 파이프라인 시작 부분에서 수집됩니다. 그런 다음 각 스텝이 다음 스텝으로 입력되는 출력을 제공하는 일련의 스텝이 있습니다. 이 작업은 파이프라인이 완료될 때까지 계속됩니다. 경우에 따라 독립 단계를 병렬로 실행할 수 있습니다.

아래는 간단한 파이프라인의 그림입니다.

각 단계에서 실행되는 작업은 파일 생성 유무를 확인하는 센싱 작업일 수도 있고, 파일을 업로드 하는 작업일 수도 있으며, 파일을 라인별로 읽어서 변환하는 작업일 수도 있고, 여러 개의 파일을 하나로 싱크 하거나 데이터베이스에 적재하는 작업일 수도 있습니다.
또한 이런 작업들이 상호간의 의존성을 가질 수도 있으며, 동시에 진행이 될 수도 있습니다.
파이프라인은 이런 일련의 작업들을 정해진 시간에 규칙적으로 반복할 수도 있을 뿐더러, 동시에 여러 개의 파이프라인을 작동할 수도 있습니다.
이런 작업의 흐름을 관리하는 도구를 Workflow Management Platform(WfMP) 이라고 합니다.

WfMP를 구현한 소프트웨어는 아주 많지만 Apache Airflow는 유명한 오픈소스 중 하나이며, Google Cloud Platform에서는 Apache Airflow의 Managed Service인 Cloud Composer를 제공하고 있습니다.

따라서 Cloud Composer를 활용해 데이터 파이프라인을 구축하기 위해서는 Apache Airflow를 먼저 이해해야 합니다.

2. Apache Airflow 아키텍처

아래는 Apache Airflow의 아키텍처를 간단히 표현한 그림입니다.

Airflow는 간단한 Web UI를 제공해 사용자로 하여금 파이프라인 운영을 원활하게 하는데 도움을 주고 있지만, 아키텍처 구조상 SPoF가 발생할 수 있으므로 파이프라인 구축 시에 신중해야 합니다.

컴포넌트 별로 하나씩 살펴보겠습니다.

  1. User Interface
    User Interface는 사용자의 웹 환경 혹은 터미널의 CLI가 될 수 있습니다.
  2. Webserver
    사용자 요청을 처리하기 위한 웹서버입니다.
  3. Scheduler
    DAG Directory에 존재하는 Python 파일을 파싱하여, DAG를 추출해 Task Graph를 그리고 정해진 시간에 DAG를 실행을 위한 일련의 절차를 진행합니다.
  4. Executor
    Executor는 Worker에게 Task를 전달하는 전달자 역할을 하며, 어떤 종류의 Executor를 사용하느냐에 따라 Task 전달하는 방법이 순차 혹은 병렬로 결정이 됩니다.
  5. Workers
    Workers는 실제 Task를 수행하는 주체로써 동시에 많은 Task를 실행할 수 있게 다수가 존재합니다.
  6. Metadata Database
    Scheduler가 파싱한 DAG와 Task 인스턴스 정보, Worker가 실행하면서 발생한 이력들이 airflow_db 라는 이름으로 존재합니다.

Airflow는 User Interface와 Worker를 제외하면 각 컴포넌트는 기본적으로 단일 구성입니다. Worker 컴포넌트만 동시성을 위해 분산 구조로 만들어져 있으며 그 외는 HA 구성이 되어있지 않습니다. 따라서 하나의 컴포넌트라도 장애가 발생하면 Airflow는 정상 작동하지 않습니다.

아래는 Airflow의 Task 인스턴스의 Lifecycle 입니다.

Airflow를 사용하는 데이터 엔지니어라면 Task 인스턴스 위 그림은 반드시 숙지해야할 항목입니다. 운영 환경에서 장애가 발생 했거나 성능 향상을 고려할 경우 어느 컴포넌트에 집중해야할지 빠르게 파악할 필요가 있기 때문입니다.

아래 그림은 Task 인스턴스 Lifecycle 구간 마다 사용되는 Airflow 환경 변수 입니다.

지금까지 알아본 Airflow 컴포넌트와 환경 변수들에 대한 이해가 충분하더라도 Airflow를 운영하기에는 아직 부족함이 있습니다.

하드웨어 이슈로 인해 Airflow의 마이그레이션을 해야하거나, Airflow 버전 업그레이드를 해야하는 경우, 단일 구성 컴포넌트가 장애가 발생하는 경우에는 인프라 담당자, 시스템 엔지니어, 데이터 엔지니어가 모두 하나의 마음으로 고난과 역경을 이겨내야 합니다.

3. Cloud Composer 아키텍처

데이터 엔지니어가 파이프라인에 집중하기 위해서는 인프라 업무와 시스템 업무에서 분리되는 것이 가장 좋습니다. 이런 환경을 제공해주는 것이 Google Cloud의 Cloud Composer 입니다.

아래는 Cloud Composer 아키텍처를 요약한 그림입니다.

실제 업무 환경에 따라 Cloud Composer 환경은 공개 IP, 비공개 IP, 도메인 제한 공유(DRS)의 세 가지 구성으로 만들 수 있습니다. 각 구성은 프로젝트 리소스의 아키텍처를 약간 다르며 이 문서에서는 도메인 제한 공유(DSR) 구성은 설명하지 않습니다.

아래는 Cloud Composer 공개 IP 아키텍처입니다.

공개 IP 구성에서 환경 리소스는 고객과 테넌트 프로젝트 간에 배포됩니다. 테넌트 프로젝트는 Airflow 데이터베이스를 실행하기 위한 Cloud SQL 인스턴스와 Google App Engine Flex VM을 호스팅하여 Airflow 웹 서버를 실행합니다.

아래 그림과 같이 Airflow 스케줄러, 작업자, 웹 서버는 Cloud SQL 프록시 프로세스를 사용하여 Airflow 데이터베이스에 연결합니다.

아래는 Cloud Composer 비공개 IP 아키텍처입니다.

비공개 IP 구성에서 Cloud Composer 리소스는 고객과 테넌트 프로젝트 간에 배포됩니다. 테넌트 프로젝트는 Airflow 데이터베이스를 실행하기 위한 Cloud SQL 인스턴스와 Google App Engine Flex VM을 호스팅하여 Airflow 웹 서버와 Cloud SQL 프록시 프로세스를 실행합니다.

Airflow 스케줄러와 작업자는 GKE 클러스터에서 실행되는 HAProxy 프로세스를 사용하여 테넌트 프로젝트에서 실행 중인 Cloud SQL 프록시 프로세스에 연결됩니다. HAProxy 프로세스는 아래 그림과 같이 테넌트 프로젝트에서 실행 중인 두 Cloud SQL 프록시 간의 프록시 인스턴스에 트래픽을 부하 분산합니다.

Airflow를 직접 운영하는 것보다 Cloud Composer를 운영하는 것이 운영 부담이 적은 건 사실이지만 테넌트 프로젝트가의 리스크에 대해서도 간과해서는 안됩니다. 테넌트 프로젝트에서 관리되는 리소스는 사용자가 인지하지 못하는 시점에 maintenance 작업이 발생할 수 있습니다. 특히 App Engine이 업데이트 되는 상황에는 이미 실행 중인 Task에서 Mysql Connection Lost Error가 발생할 수 있습니다. 이런 상황을 수동으로 처리하지 않고 자동으로 회피하기 위해서는 DAG의 retries argument 값을 반드시 설정해줘야 합니다.

4. 요약

실제 운영 업무에서 가장 많은 문제를 일으키는 컴포넌트는 Scheduler 입니다. 파이프라인의 개수가 적거나 가벼운 ETL 작업만 수행하는 경우에는 절대로 문제가 발생하지 않지만, 데이터가 커짐에 따라 동시 작업의 수가 증가하는 경우 성능의 한계는 반드시 직면하게 되어 있습니다. 데이터 엔지니어는 항상 최적화 된 파이프라인 구축을 염두해 두어야 하지만, 파이프라인 외적인 부분에서 빠르게 문제의 원인을 파악하기 위해서라도 Airflow와 Cloud Composer의 아키텍처는 숙지해 두는 것이 좋습니다.

출처 및 참고사이트

크레스콤

by Miyeon. Jo

크레스콤

“클라우드로 이전하며 정전이나 예기치 않은 서버의 사고에 대한 걱정이 없어졌습니다. 그리고 글로벌 진출을 계획 중이라면 Google Cloud를 강력 추천합니다.”
“적합한 플랫폼 자원 구성과 기술 이슈 해결을 원활히 하려면 혼자 모든 것을 해결하려고 하기 보다는 베스핀글로벌 같은 파트너사의 도움을 꼭 받는 것이 좋습니다.”

– 크레스콤 이재준 대표

Company Overview

크레스콤은 자체 특허 기술로 딥 러닝, 인공지능을 활용한 의료 자동분석 솔루션을 개발하는 기업입니다. 의사에게는 신속, 정확, 편리하게 영상 판독을 할수 있도록 도우며, 환자에게는 적시에 전문 의료 진단 서비스를 제공 받을수 있도록 합니다.

Challenge

기존에 온프레미스 환경에서 서비스를 하고 있었으나, 사용자가 많아지면서 서버 증설로만으로 해결되지 않는 문제와 고민들이 발생했습니다. 예를들어 정전이나, 예기치 못한 상황이 발생할 경우 어떻게 대처해야할 지 막막했습니다. 특히 데이터를 한 곳에만 저장하는 것에 대한 이슈를 고민하고 있었습니다. 마침 클라우드가 이런 문제들을 해결해줄 것이라 판단해 기존에 잘 알고 있어 접근성이 좋았던 Google Cloud로 이전을 고려하게 되었습니다.

Solution

6대의 클라우드 인스턴스와 Google Cloud의 Cloud SQL, Cloud Storage 서비스를 사용하고 있습니다.
Google Cloud에 에러 리포팅에서 오류 발생 내용이 표시되기 때문에 문제 발생 지점을 판단하기에 용이해졌습니다.

베스핀글로벌은 크레스콤에서 관리하는 클라우드 서비스에 오류가 발생했을 때 여러가지 대안을 제안했습니다.
또한 효과적으로 클라우드 인프라를 구축할 수 있도록 기술지원을 제공하고 있습니다.

Benefit

Google Cloud를 도입한 후 사무실이 아니더라도 소스코드 수정 후 배포를 할 수 있게 되었습니다. 그리고 사무실의 정전이나, 서버로 사용하는 PC에 문제가 생길 것을 걱정하지 않게 되었고, 수집하는 정보양으로 인해 용량이 초과하는 것도 고려하지 않게 되었습니다. 이제 온전히 크레스콤의 서비스에만 집중할 수 있게 되었습니다.

Next Step

향후에는 운영이나 관리에 더 용이한 Serverless 기반의 Cloud Run에 대해 검토해볼 계획이고, 글로벌 진출이 본격화 되면 해외 사이트 구축도 Google Cloud로 할 예정입니다.

Market Overview

베스핀글로벌의 Market Overview : 해외에서는 의료 정보 분석에 클라우드를 적극 활용하고 있습니다. 한국에서도 관련 산업이 뜨고 있습니다. 의료 영상 의무 보관 기한이 있어 5년간은 병원에서 소지하고 있어야 하는데 그 용량도 매우 커서 스토리지에 대한 효율적인 관리 기술도 부상하는 추세입니다.
환자가 제대로 된 치료를 받으려면 영상 분석부터 제대로 되어야 하는데요. 이전에는 영상 분석 담당자가 많은 양을 판독하느라 시간도 오래 걸리고, 그만큼 치료 기간도 늘어났었다고 합니다. 크레스콤과 같은 기술 기업이 등장하면서 판독결과를 확인하기까지 몇 십분에서에서 몇 일까지도 걸리던 영상 판독을 수 초 만에 할 수 있게 되어 의사와 환자 모두 만족도가 높아지고 있습니다. 클라우드와 IT 기술이 의료 기술에도 긍정적인 영향을 미치고 있습니다.

Load More Posts
문의하기 베스픽 구독하기
궁금한 점이 있다면 클릭해주세요.