중앙 집중식 데이터 웨어하우스로 Data Silos 를 극복한 KOLON FnC
Company Overview
KOLON FnC 는 어떤 기업인가요?
KOLON FnC 는 ‘Fashion & Culture’ 라는 이름처럼 패션을 통해 문화를 창조함으로써 고객의 일상에 더 많은 행복을 선사하는 기업입니다. KOLON FnC 는 1973 년 ‘코오롱스포츠’를 시작으로 남성복, 여성복, 골프, 액세서리는 물론 뷰티, 라이프스타일까지 아우르는 대표적인 패션 브랜드 하우스로 성장했습니다.
Painpoint
프로젝트를 진행하게 된 배경은 무엇인가요?
KOLON FnC 는 온프레미스 및 다른 클라우드 플랫폼에서 원천 데이터를 산재하여 보유하고 있었고, 이로 인해 발생하는 Data Silos 를 극복하길 원했습니다. 따라서, Google Cloud Premier Partner 인 클루커스와 함께 운영 및 비용 효율적인 파이프라인과 더불어 복잡한 원천 데이터를 중앙 집중식으로 관리할 수 있는 데이터 웨어하우스를 GCP 환경에서 구축하게 되었습니다.
클루커스는 크게 3 가지의 주요 목적 아래 프로젝트를 진행하였습니다.
- Cloud 환경으로 데이터 통합
Dataproc Workflow 를 활용한 비용 효율적인 파이프라인 구성 - 비용 및 운영 효율적인 데이터 웨어하우스 구성
서버리스&완전관리형 데이터 웨어하우스인 BigQuery 기반 아키텍처 구성 - 손쉬운 인사이트 발굴
연결된 시트, 외부 테이블 등의 활용으로 손쉽게 인사이트 발굴
Resource
어떤 솔루션을 활용하였나요?
클루커스는 산재되어 있던 데이터의 통합 분석을 위해, BigQuery 기반의 데이터 분석 아키텍처를 제안했습니다. Dataproc 을 활용하여 데이터를 수집하고, 관리형 Airflow 서비스인 Cloud Composer 를 통해 전체 데이터 파이프라인을 효율적으로 오케스트레이션했습니다.
특히, GCP 에서만 가능한 Shared VPC 를 통해, 클루커스는 KOLON FnC 의 개발계/운영계 등 여러 프로젝트로 분리된 환경 대상으로 네트워크 리소스(서브넷, 방화벽, 라우팅 등)를 중앙에서 제어하고 일관된 정책을 적용할 수 있도록 구성했습니다.
*사용된 Google Cloud 프로덕트 리스트
• BigQuery
• Dataproc
• Cloud Composer
• Google Cloud Storage
• Dataplex
• Cloud SQL
• Google Compute Engine
• Cloud VPN
• Cloud NAT
• VPC Service Controls
• Access Context Manager
Benefits
클루커스를 통한 통합 파이프라인 도입 후 어떤 변화가 있었나요?
KOLON FnC 는 GCP 환경에서 통합 데이터 파이프라인을 구축함으로써, 다양한 Raw Data 를 몇 분 내로 신속하게 처리할 수 있을 뿐만 아니라, 완전 관리형 서비스 기반의 아키텍처를 도입해 적은 인력으로도 효율적인 운영이 가능합니다.
또한 Dataproc 워크플로 템플릿은 필요할 때 Dataproc 클러스터를 자동으로 만들고 삭제하여 분석 비용이 효과적으로 감소했습니다.
결과적으로, 이전 아키텍처 대비 분석 비용을 30% 이상 절감할 수 있었고, 기존 대비 10% 인력만으로 전체 파이프라인 관리 및 운영이 가능해졌습니다.
KOLON FnC 는 BigQuery 에 적재된 데이터를 기반으로, 향후 BQML 및 Vertex AI 를 활용한 수요예측과 공급망 관리 등의 AI/ML 시스템 도입을 기대하고 있습니다.