안녕하세요, 클루커스 구글 클라우드 컨설턴트 엄수민, 박보련, 오지수입니다.
이전 포스팅에서 BigQuery에서 외부 데이터를 쿼리하는 방식으로 통합 쿼리(Federated Query)와 외부 테이블(External Table) 두 가지가 존재한다는 것을 알아보았습니다.
(* BigQuery 통합 쿼리 관련 포스팅은 여기를 클릭하세요!)
그 중, 외부 테이블을 사용하면 Cloud Bigtable, Cloud Storage, Drive에 저장된 정형 데이터를 쿼리하고, 쿼리 결과를 BigQuery의 영구 테이블이나 임시 테이블로 저장할 수 있습니다. 특히, 단 한 번의 연결 작업 만으로 BigQuery 외부에 위치한 데이터를 별도의 데이터 복사나 이동 없이 실시간으로 쿼리할 수 있다는 장점이 있습니다.
이번 데모에서는 외부 테이블 소스로서 Drive 내 Google Sheets의 데이터를 쿼리하고, 그 결과를 영구 테이블로 저장하는 법을 알아보겠습니다.
본 Demo에서 사전 준비된 사항
- 외부 데이터 소스로 사용할 Google Sheet 생성 및 데이터 Insert
꼭 알아둬야 할 Google Sheets 외부 테이블 쿼리 Tip!
- Google Drive를 External Table로 사용하는 경우, BigQuery 데이터세트의 위치를 고려하지 않아도 됩니다.
- Drive URI 포맷
- – https://docs.google.com/spreadsheets/d/FILE_ID
– https://drive.google.com/open?id=FILE_ID - 쿼리하려는 Drive 파일에 대해 최소 View 이상의 권한이 필요합니다.
Reference
https://cloud.google.com/bigquery/docs/external-data-drive?hl=ko