[Tech 019] 데이터 레이크 관리를 위한 BigLake 알아보기

안녕하세요, 클루커스 구글 클라우드 컨설턴트 엄수민, 박보련, 오지수입니다.

기업에서 보유하는 정보양이 기하급수적으로 늘어나면서 기업은 수많은 데이터를 관리하고 분석해야 합니다.
이 수많은 데이터는 대부분 Data Warehouse나 Data Lake등 여러 시스템에 저장하게 되는데, 관리 대상 데이터 및 관리 포인트가 증가함에 따라 데이터 중복과 Data Silo가 나타날 가능성이 높아집니다.

이때, BigLake를 활용하면 데이터를 복사하거나 이동하지 않고도 데이터 분석이 가능하여 생산성은 높아지고, 관리 리스크와 비용은 줄일 수 있습니다.
이번 영상에서는 BigLake가 무엇인지, 그리고 BigLake를 활용해 어떻게 Data Warehouse 와 Data Lake를 통합 관리할 수 있는지 알아보겠습니다.

BigLake를 사용해야 하는 이유 4가지!

1. Data Warehouse와 Data Lake를 대상으로 일관된 테이블 관리를 지원하여, 데이터의 저장위치와 저장방법에 관계 없이 분석하고 모델을 빌드할 수 있습니다.

2. BigQuery에서 단일 데이터 사본에 접근하는 경우, 멀티 클라우드 환경에서도 BigQuery와 동일한 방식으로 BigLake 테이블에 대한 Data Masking을 하는 등 세분화된 보안정책을 적용할 수 있습니다.

3. BigQuery Connector를 통해 다른 데이터 처리도구에 올라간 Spark, Trino 등의 오픈소스 분석 도구에서 BigLake 테이블에 접근할 수 있습니다.

4. Object Storage의 Parquet, Avro, JSON과 같은 오픈 데이터 형식을 BigLake Table로 바로 통합할 수 있어, 외부테이블 연결 등 별도 작업 없이도 BigQuery UI에서 테이블쿼리가 가능합니다.

BigLake는 이 모든 작업을 검증된 속도와 성능을 가진 BigQuery 인프라 기반으로 수행할 수 있도록 돕는다는 강점을 가지고 있습니다.

기업의 분산된 데이터를 중앙 집중식으로 관리하는 첫 걸음, 클루커스와 함께 시작해보세요!

Reference

https://cloud.google.com/biglake?hl=ko

https://cloud.google.com/bigquery/docs/biglake-intro?hl=ko