1. 개요
BigLake?
- BigLake는 BigQuery와 Spark 같은 오픈소스 프레임워크를 통해 세분화된 액세스 제어로 데이터에 액세스할 수 있도록 지원하여 데이터 웨어하우스와 레이크를 통합하는 스토리지 엔진입니다. BigLake는 Apache Iceberg와 같은 개방형 형식 및 멀티 클라우드 스토리지에서 가속화된 쿼리 성능을 제공합니다.
- 즉 BigLake는 기존의 중앙집중식 Warehoue와 Lake를 통합하여 단일화된 스토리지 레이어를 제공함으로써 일관된 보안 및 규정 준수를 통해 데이터 거버넌스에 대한 신뢰도를 높일 수 있습니다. 이는 곧 데이터 플랫폼 현대화에 대한 큰 도움을 제공합니다.
2. 특징
1) 멀티 컴퓨팅 분석
단일 데이터 사본을 유지하고 BigLake 커넥터를 제공.
- BigLake API 커넥터에 내장된 API 인터페이스로 여러 쿼리 엔진을 사용하여 데이터를 조회, 분석할 수 있습니다. (BigQuery, Apache Spark, TensorFLow, Trino.. )
- BigQuery에서 분리되어있는 Engine과 Storage영역 중 Storage영역을 API화하여 CloudStorage 형태로 제공.
2) 멀티 클라우드 거버넌스
Data Catalog에서 Amazon S3, Azure Data Lake Gen2를 통해 정의된 테이블을 포함만 모든 BigLake 테이블을 탐색할 수 있습니다.
- BigQuery Omni를 사용하여 쿼리할 때 세분화된 액세스 제어를 구성하고 여러 클라우드에 적용됩니다.
3) 개방형 형식에 기반
다양한 Object스토리지의 추가
- Parquet, Avro, ORC, CSV, JSON 등 가장 인기 있는 개방형 데이터 형식에 액세스합니다.
- API는 Apache Arrow를 통해 여러 컴퓨팅 엔진에 서비스를 제공합니다.
3. Analytics Hub
Analytics Hub?
- Analytics Hub는 강력한 보안 및 개인 정보 보호 프레임워크로 조직 경계에서 규모에 맞게 데이터와 통계를 공유할 수 있도록 하는 데이터 교환 플랫폼입니다. Analytics Hub를 사용하면 다양한 데이터 제공업체가 선별한 데이터 라이브러리를 찾아 액세스할 수 있습니다. 이 데이터 라이브러리에는 Google 제공 데이터 세트도 포함되어 있습니다.
- BigLake 테이블은 Analytics Hub와 호환이 됩니다. 사용자 또는 해당 조직은 직접 보유하고 있는 데이터뿐만 아니라 연동된 Analytics Hub를 통하여 다양한 데이터 제공자들의 데이터를 활용하여 데이터를 결합하는 등, 데이터 활용의 범위를 더욱 확장 할 수 있습니다.