안녕하세요, 클루커스 구글 클라우드 컨설턴트 엄수민, 박보련, 오지수, 최재우입니다.
클루커스는 그동안 BigQuery DTS(Data Transfer Service), External Table(외부 테이블), UDF(User Defined Functions, 사용자 정의 함수), BigLake 등 다양한 BigQuery의 활용 방법을 소개드렸습니다.
이러한 BigQuery의 활용 뿐만 아니라, 기업에게는 비용의 최적화도 중요한데요.
New Edition 출시와 함께 Autoscaling 기능의 추가로, Baseline Slot 및 Autoscaling Slot 같은 새로운 개념들이 등장하면서 사용량 예측이 복잡하게 느껴지실 수 있습니다.
이에 따라 비용 효율적인 BigQuery 사용을 위한 적합한 Slot 사용량을 알아내는 것은 더욱 더 중요해졌습니다.
가장 주목할 점은 New Edition 출시로 상승한 BigQuery의 분석 비용을 Commit 계약을 통한 할인금액으로 감가하여, 최대한 비용을 절감하는 것입니다.
그러므로 가장 비용 효율적으로 BigQuery를 사용하고 싶으시다면, Baseline Slot의 수와 Commitment Slot의 수를 동일하게 설정할 것을 권장드리는데요.
이번 영상에서는 BigQuery의 ‘INFORMATION_SCHEMA_VIEW’를 바탕으로 새로운 Edition의 적용 및 Commit 계약을 가정한 두가지 시나리오를 통해 가장 비용 효율적으로 Baseline Slot을 선정함으로써, BigQuery New Edition 도입 시 가격 최적화를 이루는 방법에 대해서 알아보겠습니다.
데모에서 사전 준비 된 사항
- BigQuery Slot 사용량 Sample 데이터 및 전처리
- Looker Studio에서 시각화 된 전처리 결과
본 데모에서 꼭 알아둬야 할 BigQuery New Edition Tip!
- 기존 Flat-rate의 예약 및 약정은 2023년 7월 25일 이후 자동으로 Flat-rate 조건에 맞춰 Enterprise Edition으로 전환
- BigQuery New Edition 중 Enterprise와 Enterprise Plus에서만 약정할인 적용 가능
- Baseline Slot VS Commitment Slot
– Baseline Slot은 예약시 항상 할당되는 최소 Slot의 수이며, 언제든지 변경이 가능함
– Commitment Slot은 예약에서 사용 가능한 고정 된 Slot의 수이며, 계약기간 동안은 변경이 불가능함 (Optional)
→ 장기간 Baseline Slot 운영이 예측 되는 경우, Slot Commitment를 적용하여 비용 절감 가능 - BigQuery의 가격 최적화를 고려할 땐, 최소한 아래 사항들의 사전 검토 요망
– 사용중인 환경 분석을 통한 비용 상승 원인 파악
– BigQuery Edition 및 On-demand 중 약정 사용여부를 포함하여 적합한 버전 도입
– 신규 도입되는 Compressed Storage의 가격 절감 효과 파악
위 분석들이 어려우시다면, 새로운 BigQuery Edition을 통한 비용 최적화를 클루커스와 함께 시작해보세요. 😊