밸류비전앤쉽테크

밸류비젼앤쉽테크는 Database에 적재되는 선박 및 항구에 대한 실시간 정보를 기반으로 AI를 통해 선박 및 항구에 대한 다양한 정보를 제공하는 서비스를 만들고자 했습니다. 하지만 실시간으로 수집되는 방대한 양의 선박 AIS 데이터와 기상 정보를 처리하는 과정에서 성능 저하 문제에 직면했습니다. 내부 연구개발팀을 통해 구축한 Text-to-SQL 기반 챗봇은 낮은 SQL 정확도와 느린 응답 속도로 인해 서비스 전반의 효율성을 떨어뜨렸습니다. 이는 정확도와 응답 속도뿐만 아니라, 높은 운영 비용과 복잡한 아키텍처 관리의 어려움까지 야기했습니다. 특히, LLM(대규모 언어 모델) 활용 시 과도한 Input/Output 토큰이 발생하고, 생성된 쿼리에서 문법 오류가 자주 나타나는 문제도 있었습니다. 더 나아가 AWS Lambda의 제약 조건과 데이터 쿼리에 자동으로 limit,top이 설정되는 문제 또한 효율적인 데이터 관리를 방해하는 요인이 되었습니다.

베스핀글로벌은 고객사의 기존 프로세스(AS-IS)를 먼저 심층적으로 분석하여 문제의 근본 원인을 진단했습니다. 이를 바탕으로 두 가지 핵심적인 개선 방안을 적용했습니다. 첫째, 데이터베이스 구조를 전면적으로 개선했습니다. 기존 데이터를 재정의하고 테이블을 간소화하며, T2S 모델이 더 쉽게 이해할 수 있도록 정규화된 관계를 재설계했습니다. 둘째, 프롬프트 테스트를 통해 정확도를 비약적으로 향상시켰습니다. 실제 업무 환경에서 사용되는 다양한 샘플 쿼리를 보완하고 반복적인 테스트를 진행함으로써 LLM이 정확하고 오류 없는 쿼리를 생성하도록 최적화했습니다. 또한, Amazon Bedrock의 지식기반을 활용해 RAG 아키텍처를 구성하여 효율성을 높였으며, 웹브라우저에 직관적인 UI를 구축하여 사용자 편의성을 개선했습니다.

프롬프트 개선을 통해 응답의 정확도가 90% 이상 달성되었고, 할루시네이션 현상을 최소화할 수 있었습니다. 응답 속도는 기존 대비 약 2배 향상되었으며, 운영 및 유지보수 비용 또한한 약 90% 절감되었습니다. 특히, OpenSearch 대신 pgvector를 활용하여 비용 효율성을 높였습니다. 아키텍처 최적화를 통해 에이전트는 Sonnet 4.0 모델로 쿼리를 생성하고, 더 저렴한 Haiku 모델로 자연어를 변환하는 방식을 채택해 속도와 비용을 동시에 잡았습니다. 또한, 챗봇(ChatVue) 적용시 딥뷰(DeepVue) 솔루션 및 선박 및 항만 상세 정보와 구글맵 연동 등 외부 사이트와의 연계를 통해 서비스의 가치를 극대화했습니다.