[Tech 030] Gen AI Studio를 활용해 Chatbot 구성하기

GCP Gen AI Studio를 활용해 Chatbot 구성하기

안녕하세요, 클루커스 구글 클라우드 컨설턴트 엄수민, 박보련, 오지수, 최재우입니다.
지난 포스팅에서는 Vertex AI Search & Conversaiton의 “Search”를 활용하여 기업의 맞춤형 검색엔진을 구성하는 법에 대해 설명드렸습니다.

이번 포스팅에서는 PaLM2 API 를 사용해 애플리케이션을 만들고 배포할 수 있는 클라우드 기반 플랫폼인 Generative AI Studio에 대해 알아보고, 활용 방법과 이를 통해 Chatbot을 구성하는 방법까지 알아보겠습니다.

Generative AI Studio

Generative AI Studio에서는 채팅 인터페이스, 프롬프트 엔지니어링(설계), 프롬프트 파인 튜닝, 모델 가중치 파인 튜닝 등 다양한 기능을 제공합니다. Generative AI Studio를 사용하면 기업은 파인 튜닝 된 모델을 애플리케이션에 직접 구현하거나 모델을 Vertex AI의 프로덕션 환경에 배포할 수 있습니다.

그렇다면 Generative AI Studio에는 어떤 기능들이 있을까요?

✅ Language Feature

먼저, PaLM2을 사용하는 언어 모델은 다음과 같습니다.

Text : 분류, 요약, 추출, 콘텐츠 생성 등 자연어 작업 수행에 최적화된 모델입니다.
Chat : 채팅의 이전 메세지를 참고하여 새 응답을 생성하는 Multi-Turn 기능을 가진 챗 모델입니다.
Text-Embedding : 주어진 텍스트에 대한 텍스트 임베딩을 생성하는 모델로, 시맨틱 검색, 추천, 분류 등과 같은 작업에서 임베딩을 사용할 수 있습니다.
Codey : 자체 코드베이스에 맞춤 설정 가능한 실시간 코드 완성 및 생성 기능을 제공하며, Go, SQL, Java, JavaScript, Pyhon 등 20개 이상의 코딩 언어를 지원합니다. 디버깅, 문서 작성, 새로운 개념 학습에 대한 도움을 받을 수 있습니다.

Google Cloud UI에서 Feature 모델을 테스트해볼 수 있습니다.

✅ Vision Feature

Vision 모델에는 Imagen이 있습니다. Imagen은 자연어를 사용해 고품질 이미지를 생성 및 편집할 수 있습니다. 또한 이미지에 대한 설명 텍스트 생성이 가능합니다.
기업의 제품 또는 로고 데이터를 업로드하여 이미지를 생성할 수 있으며, 그림의 스타일을 학습해서 이미지를 생성하는 기능도 제공합니다.

✅ Speech Feature

음성 모델에는 Chrip이 있으며, 영어 정확도가 98%에 달하는 뛰어난 성능을 가진 모델입니다. Speech-to-Text는 300개 이상 언어를 지원하며 한글 역시 사용하실 수 있습니다.

✅ Google Cloud Generative AI Foundation Model

Google Cloud Generative AI의 Language 기반 모델(Foundation Model)은 다음과 같습니다.

text-bison
textembedding-gecko
textembedding-gecko-multilingual
chat-bison
code-bison
code-gecko
codechat-bison

모델의 네이밍은 ‘{모델의 용도} – {모델의 사이즈}@{모델의 버전}’과 같은 형식인데요,맨 앞에서 text, chat 등으로 용도를 구분하고, 그 뒤에 모델의 사이즈와 버전이 나열됩니다. 모델의 사이즈는 gecko → otter → bison → unicorn 순으로 크기가 큰 모델이며, 현재(23년 10월) gecko와 bison 사이즈의 모델이 사용 가능합니다. 모델 버전의 경우 ‘001’은 가장 최적 값을, ‘latest’는 가장 최신 버전을 의미합니다.

✅ Tuning

기반 모델(Foundation Model)을 Google Cloud UI 상에서 튜닝하는 기능도 지원되는데요. PEFT(Parameter Efficient Fine-Tuning), RLHF(Reinforcement Learning Human Feedback) 튜닝을 사용하실 수 있습니다. 23년 10월 기준, ‘text-bison’, ‘code-bison’, ‘chat-bison’, ‘codechat-bison’ 모델의 경우 콘솔에서 튜닝이 가능합니다. 튜닝에 사용할 데이터 세트를 업로드한 뒤 클릭 몇 번만으로 데이터에 맞게 튜닝하고, 튜닝된 모델을 엔드포인트에 배포하여 활용할 수 있습니다. (*현재 튜닝 기능은 제한된 리전으로 제공되며, 북미 및 유럽에서만 사용 가능합니다.)

✅ Model Garden

이 외에도 Vertex AI의 Model Garden 탭에서 니즈에 맞는 모델을 사용할 수 있습니다.
Model Garden은 엔터프라이즈 지원 기반 모델, 작업별 모델, API를 제공합니다. 모델을 직접 사용하거나, 파인 튜닝하거나, Data Science Notebook으로 모델을 배포하는 등 다양한
워크플로를 시작할 수 있습니다.

데모에서 사전 준비된 사항

Cloud Functions을 사용한 Serverless 형태의 챗봇 Application 배포
Google Cloud 내 Google Chat API 세팅
– 챗봇에 대한 이름과 설명
– 챗봇 사용을 허용할 유저의 이메일
– Cloud Functions과 연동 : Google Chat API를 사용해 챗봇을 구현하려는 경우 Google Workspace를 사용하고 있어야 합니다.

클루커스와 함께 성공적인 Generative AI 구현의 한걸음을 도약해보세요. 🙂