Ecorbit의 GWS 를 활용한 Digital Transformation 과 통합 데이터 분석 플랫폼 구축
Company Overview
Ecorbit 는 어떤 기업인가요?
Ecorbit 는 국내 최대규모의 종합 환경 기업입니다. 지금까지 축적된 기술과 노하우, 네트워크를 바탕으로 자원 순환형 폐기물 처리, 하수처리 뿐만 아니라 소재사업, 신재생에너지 등 여러 분야를 대상으로 스마트 환경기술을 개발 및 적용하고 있습니다.
Painpoint
프로젝트를 진행하게 된 이유는 무엇인가요?
Ecorbit 는 하수처리, 매립, 소각 등 다양한 업무범위만큼 다양한 소스데이터를 통합하여 Data Silo 현상을 해결하고 분석하기를 원했습니다. 클루커스는 GWS 와 연계하는 Digital Transformation 과 기존의 분산된 데이터를 중앙 집중형 데이터 웨어하우스인 BigQuery로 통합하여 분석하는 플랫폼 구축을 제안했습니다.
이번 프로젝트의 주요 목표는 다음과 같습니다.
- 다양한 환경에 산재된 데이터를 Cloud 환경으로 통합
: Cloud Functions 을 사용하여 Local PC 를 비롯한 다양한 소스의 데이터를 BigQuery 로 저장함으로써 Data Silo 현상 극복 - 시장 인사이트를 얻기 위해 통합한 데이터를 분석하는 대시보드 작성
: BigQuery 등의 다양한 데이터소스와 손쉽게 연계하는 BI 솔루션인 Looker Studio 를 사용하여 인사이트 확보 - 사용자에게 익숙한 형태로 리포트를 작성할 수 있는 플랫폼 구성
: 현장 사용자의 학습 효율성을 위해 Google Sheets 를 사용하여 일일 업무일지를 작성, 저장, 조회할 수 있는 플랫폼 구성
Resource
어떤 솔루션을 활용하였나요?
클루커스는 각 지사에서 수집되는 데이터를 표준화된 형태로 저장할 수 있도록 Google Sheets 와 Google Apps Script 를 연계하는 방안을 제안했습니다.
또한 로컬에서 작성한 Sheets 와 타사 Cloud 등 다양한 소스의 데이터를 Cloud Functions 를 사용하여 BigQuery 에 저장하고, Dataproc 을 사용하여 타사 스토리지의 historical 데이터를 수집, 저장함으로써 BigQuery 에 저장된 업무데이터와 연계하여 활용하는 아키텍처를 제안하였습니다.
또한, Looker Studio 를 사용하여 통합 데이터를 KPI 에 맞게 시각화 함으로써 기존의 보고시스템을 자동화하였습니다.
*사용된 Google Cloud 프로덕트 리스트
• BigQuery
• Dataproc
• Google Cloud Storage
• Cloud Functions
• Cloud VPN
• Cloud NAT
• VPC Service Controls
• Access Context Manager
• Organization Policy
* 사용한 Google Workspace 제품군 프로덕트 리스트
• Google Sheets (with Google Apps Script)
• Looker Studio
Benefits
클루커스를 통한 통합 파이프라인 도입 후 어떤 변화가 있었나요?
Ecorbit 는 이번 프로젝트를 통해 GWS 와 연계하는 통합 데이터 파이프라인을 사용함으로써 보고서 작성을 위해 데이터 쿼리에 소모되는 시간이 약 4 시간에서 5 분정도로 줄어들고, 업무성과에 대한 가시성이 향상되어 담당자 간 빠른 결과 공유를 할 수 있게 되었습니다.
또한, GWS 제품군을 활용하여 기존과 유사한 업무환경을 구축함으로서 현장 실무자를 대상으로 하는 추가교육에 대한 부담을 줄이고, 버튼 하나만으로 데이터 조회 및 전송이 가능해졌습니다. 이를 통해 전국에 산재한 지사에서 Local PC 에서 개별로 관리되 던 자산이 Cloud 기반으로 통합되는 기반이 마련되었을 뿐만 아니라, 사무 자동화에 따른 업무 효율성이 증대되었습니다.
이후, Ecorbit 는 BigQuery ML 과 함께 Looker Studio 대시보드를 통해 손쉽게 지사별 수요예측과 전체 공급망 관리 등의 목적으로 활용 가능한 AI/ML 시스템 도입을 기대합니다.