1. 개요
BigQuery BI Engine이란?
BigQuery 내에서 복잡한 데이터 세트를 대화식으로 탐색할 수 있도록 하는 빠른 인메모리 분석 서비스입니다.
- BI Engine을 사용하면 1초 미만의 쿼리 응답 시간으로 BigQuery에 저장된 데이터를 분석하는 동시에 컴퓨팅 비용을 절감할 수 있습니다.
- BI Engine은 Looker, Data Studio, Connected Sheets 또는 BigQuery에 연결하는 타사 도구를 비롯한 모든 BI 도구를 기본적으로 통합합니다.
- BI Engine 용량은 필요에 따라 늘릴 수도 있습니다.
2. BI Engine의 장점
1) 속도
유용한 정보를 도출하는 데 걸리는 시간을 단축하여 성과를 비즈니스 속도에 맞출 수 있습니다.
- 로드 시간을 최소화하고 BigQuery에 저장된 데이터의 지능형 캐싱을 개선하여 1초 미만의 쿼리 응답 시간을 제공합니다.
- BigQuery 스트리밍과 통합하면 쓰기 속도 또는 데이터의 최신 상태를 유지하면서 스트리밍 데이터에 대한 실시간 데이터 분석을 수행할 수 있습니다.
2) 간소화된 아키텍처
복잡한 데이터 파이프라인 또는 서버를 관리하지 않고 빠르게 시작할 수 있습니다.
- BigQuery 내에서 인플레이스 분석을 수행하기 때문에, 데이터를 이동하거나 복잡한 데이터 변환 파이프라인을 만들 필요가 없습니다.
3) 사용 편의성
BigQuery와 동일한 인터페이스를 사용하기 때문에 별다른 BI 도구 없이 BigQuery의 원활한 환경에서 사용 가능합니다.
- 쿼리가 BI Engine으로 가속화할 수 없는 경우 실패하지 않으며 일반 쿼리로 실행됩니다.
4) 스마트 미세 조정
구성 설정이 거의 없으며, 대시보드의 최적 성능과 로드 시간을 보장합니다.
- BI Engine의 인메모리 스토리지, BigQuery 쿼리 캐시, BigQuery 스토리지 간에 데이터를 이동하여 쿼리를 자동으로 조정합니다.
- BigQuery 관리자는 Google Cloud 콘솔을 사용하여 BI Engine 메모리 용량을 쉽게 추가하고 삭제할 수 있습니다.
3. BI Engine 사용 시 제약 사항
1) 한도
다음과 같은 한도가 적용됩니다.
| 한도 | 기본값 |
|---|---|
| 위치당 프로젝트당 최대 예약 크기(SQL 인터페이스) | 250GB |
| 위치당 프로젝트당 최대 예약 크기(데이터 스튜디오) | 100GB |
| 테이블당 최대 데이터 모델 크기(데이터 스튜디오) | 10GB |
| 테이블당 최대 파티션 수(데이터 스튜디오) | 500 파티션 |
| 쿼리당 최대 행 수(데이터 스튜디오) | 1억 5천만 |
- BI Engine 용량보다 큰 쿼리를 실행하면 BI Engine 자체 조정 기능이 BigQuery 슬롯을 사용하여 쿼리를 실행합니다.
- 쿼리를 실행하는 데 BigQuery 슬롯이 사용되면 BigQuery 주문형 쿼리 가격 책정에 따라 쿼리 작업의 요금이 청구됩니다.
4. BI Engine 비용
BigQuery BI Engine 사용 요금은 프로젝트용으로 구매한 BI Engine 용량에 따라 부과되며, BI Engine 용량을 구매하는 방법은 주문형 용량 구매, 번들 정액제 총 2가지 입니다.
1) 주문형 용량
- 데이터 처리량(GB)에 따른 주문형 가격
- 메모리 용량(GB)당 $0.0499 이 발생합니다. (서울 기준)
2) 번들 정액제
- 쿼리에 대한 월정액 요금제
- 연간 약정으로 BigQuery 정액제에 등록하면 추가 비용 없이 동일한 월정액 요금으로 BigQuery BI Engine 용량을 추가로 받을 수 있음.
(결제 보고서에서는 무료 용량도 일반적인 비용처럼 표시되지만 ‘지출 기반 할인’으로 100% 할인됨.) - 추가 비용 없이 받을 수 있는 최대 BI Engine 용량은 2,000개의 BigQuery 슬롯 구매 시 100GB. 추가 BigQuery 슬롯이 있고 BI Engine 용량이 100GB 이상 필요한 경우 주문형 가격으로 용량을 추가 구매할 수 있음.
BI Engine은 Google 데이터 스튜디오 사용자에게 최대 1GB의 무료 용량을 제공하며, 예약 없이도 모든 데이터 스튜디오 사용자가 사용할 수 있습니다.
(무료 등급에 대한 SLO 보증은 없기 때문에 프로덕션 워크로드를 실행하는 데 사용하면 안 됩니다.)
5. BI Engine 설정 방법
1) GCP Console > BigQuery > BI Engine > Create Reservation
(BigQuery Reservation API를 사용 설정하라는 메시지가 표시되면 사용 설정 클릭.)
2) Project, Location, Capacity 선택 > Next
- Location : Query 실행을 위한 Data Set 위치와 동일한 location 선택
- GB of Capacity : 예약하려는 메모리 용량에 맞게 조정 (최소1GB, 최대 250GB)
3) (선택) Preferred Tables > NEXT
- BI Engine이 가속화해야 하는 테이블을 선택.
(미 선택 시 프로젝트 내의 모든 쿼리가 BI 엔진을 사용. )