ChatGPT 등장 이후 AI 활용 능력은 기업과 개인 모두에게 필수 역량이 되었습니다. 특히 요청 방식에 따라 AI 결과물과 생산성이 크게 달라지기 때문에 AI에게 요청을 잘 하기 위한 프롬프트 엔지니어링(Prompt Engineering)이 많은 주목을 받았었죠. ‘AI에게 역할을 부여하라’, ‘단계별로 지시하라’와 같은 팁들이 대표적입니다.

그런데 최근 컨텍스트 엔지니어링(Context Engineering)이라는 개념이 새롭게 떠오르고 있습니다. OpenAI의 창립 멤버 안드레이 카르파티(Andrej Karpathy)는 컨텍스트 엔지니어링을 ‘정교한 예술이자 과학’이라고 표현하기도 했는데요. 오늘 베스픽에서는 AI 시대의 새로운 경쟁력, 컨텍스트 엔지니어링에 대해 자세히 알아보겠습니다.

먼저 컨텍스트(Context)란 AI 모델이 작업을 수행할 때 참고하는 지식, 이전 대화, 가이드라인, 환경 설정 등 모든 정보가 담긴 공간을 의미합니다. AI는 기존에 학습된 정보에 컨텍스트 내 정보를 더해 결과물을 생성하는데요. 그래서 이 안에 어떤 내용이 담겨 있느냐에 따라 같은 모델 혹은 같은 질문이라도 전혀 다른 결과가 나올 수 있습니다.

하지만 문제는 이 공간의 크기는 제한적이어서 무한정 데이터를 넣을 수가 없습니다. 또한 최대한으로 채워 넣는다 하더라도 오히려 AI가 필요한 정보를 정확히 찾는 데 방해가 되기도 하고요. 수많은 정보를 처리하느라 정작 추론에 필요한 집중력이 떨어질 수도 있습니다. 따라서 한정된 공간에 어떤 정보를 남기고 버릴지를 결정하는 것이 중요한데요. 이것이 바로 컨텍스트 엔지니어링입니다.

프롬프트 엔지니어링이 더 이상 필요하지 않은 것은 아닙니다. 이 둘은 반대되는 개념이 아니라 서로 다른 역할을 담당하고 있는데요. 프롬프트 엔지니어링이 ‘AI에게 질문을 잘 하는 법’에 집중한다면, 컨텍스트 엔지니어링은 ‘AI가 답을 잘할 수 있도록 최적의 환경을 구성하는 법’에 중점을 두는 것입니다.

과거 AI는 질문에 답하는 일회성 작업이 주를 이뤘습니다. 그래서 프롬프트만 잘 짜도 충분히 좋은 결과물을 얻을 수 있었죠. 하지만 AI가 자율성을 지닌 에이전트로 진화하면서 상황이 달라졌는데요. AI 에이전트는 스스로 계획을 세우고 실시간으로 추론하며 다음 행동을 결정하기 때문에 기업 고유 정보나 최신 데이터, 이전 단계 기록과 같은 컨텍스트가 필수가 되었습니다.

부족한 정보를 외부에서 찾아오는 RAG도 AI 에이전트의 등장으로 몇 가지 한계를 드러냈는데요. 사용자의 질문이나 AI가 수행하고자 하는 작업과 관련된 정보를 가져오는 데에는 유용하지만, 문서 전체의 흐름이나 컨텍스트까지는 전달하지 못하기 때문입니다. 이로 인해 파편화된 정보를 제공하거나, 의미상으로는 관련이 있지만 전체적인 흐름에서는 불필요한 정보를 가져올 수도 있는 것이죠.

이러한 배경에서 정보를 선별하고 정리해 AI가 바로 활용할 수 있도록 최적의 상태를 제공하는 컨텍스트 엔지니어링이 많은 주목을 받게 되었는데요. 가트너(Gartner)는 컨텍스트 엔지니어링을 기반으로 AI가 보다 강력한 지식 기반의 시스템으로 변화하고 있으며, 기업이 AI를 통해 비즈니스 가치를 창출하기 위해서는 컨텍스트 관리가 핵심이라고 말합니다.

이미 많은 기업들은 컨텍스트 엔지니어링을 도입해 가시적인 성과를 내고 있습니다. 법률 AI 기업 Harvey AI는 단순 문서 검색 대신 판례 구조와 법률 개념, 사건 간의 관계까지 파악하는 자체 컨텍스트 시스템을 운영하는데요. AI가 법률 개념을 제대로 이해하고 있어 상황에 따라 적절한 판례를 추천해 준다고 하죠. 이를 통해 법률 연구 시간은 75%, 문서 분석 시간은 80% 단축되었습니다.

AI 보험 솔루션을 제공하는 Five Sigma는 보험 청구 내역, 관련 규정 등을 처리하는 AI 시스템을 구축했는데요. 이 과정에서 컨텍스트 엔지니어링을 활용해 청구 오류를 80% 이상 줄였습니다. AI가 판단하는 데 필요한 정보만을 정확히 제공해 보험 심사 정확도를 크게 높였기 때문이죠. 또한 손해 배정사의 생산성은 25% 향상되었다고 하네요.

Cursor, Windsurf, Claude Code 등 컨텍스트 기반의 코딩 에이전트 도구들도 빠르게 확산되고 있습니다. 단순히 코드를 자동 완성하는데 그치지 않고 프로젝트 전체의 코드, 파일 간의 의존성, 최근 작업 등을 컨텍스트로 삼아 스스로 분석하고 수정, 실행하는 것이죠. 이로 인해 개발자들의 생산성은 200% 이상 향상되었으며 디버깅 시간은 85% 이상 단축되었습니다.

그렇다면 실제 업무에 컨텍스트 엔지니어링을 어떻게 적용할 수 있을까요? 컨텍스트 엔지니어링 실무에 활용할 때 기억해야 할 팁을 정리해 보았습니다.

• 양보다 질이 중요: 무조건 많은 정보를 넣기보다 관련성이 높은 최신 자료를 선별하는 것이 중요합니다. 앞서 이야기한 것처럼 과도한 정보는 오히려 노이즈를 생성하거나 효율성을 떨어뜨릴 수 있기 때문이죠. AI 에이전트가 오해하지 않도록 불필요한 정보와 오래된 자료는 줄이고, 업무와 밀접한 내용만 담아두는 것이 좋습니다.
• 줄글보다 구조화된 언어: 정보의 형태를 구조적으로 정리하는 것도 중요합니다. 줄글보다는 항목화하거나 간단한 표로 정보를 제공할 때 AI가 내용을 더 효율적으로 이해할 수 있는데요. 또는 같은 내용이라도 마크다운(Markdown)이나 XML, JSON과 같이 구조화된 서식으로 제공하는 것도 좋은 방법입니다.
• 지속적인 업데이트: 컨텍스트는 변화에 따라 지속적으로 업데이트해야 합니다. 예를 들어, 회사의 주요 프로젝트가 바뀌거나 조직 개편이 일어나면 AI도 이를 참고해야 하는 것이죠. 또한 어떤 정보는 시간이 지나면 더 이상 유효하지 않은 경우도 있는데요. 오래된 내용이 AI의 판단에 영향을 주지 않도록 수시로 점검하는 것이 필요합니다.
• 컨텍스트 압축: 모든 정보는 원문 그대로 넣기보다는 핵심만 간결하게 전달하는 것이 더 효과적입니다. 정보가 지나치게 방대하면 처리 속도가 느려지고 판단력도 떨어질 수 있기 때문인데요. 따라서 장문의 문서가 있다면 주요 내용을 정리한 요약본 형태나 임베딩(Embedding) 형태로 압축해 전달하면 안정성과 효율성을 모두 잡을 수 있습니다.
• AI가 아닌 비즈니스 전략: 마지막으로 컨텍스트 엔지니어링을 단지 AI 효율화가 아닌 기업의 핵심 인프라 문제로 접근해야 합니다. 컨텍스트 엔지니어링을 제대로 구현하기 위해서는 데이터 아키텍처나 지식 관리 시스템, 운영 서비스 등의 전반적인 통합이 필수인데요. 따라서 비즈니스 프로세스와 규칙, 전략을 우선적으로 파악하고 그 위에 컨텍스트 엔지니어링 체계를 구축해야 합니다.

지금까지 컨텍스트 엔지니어링에 대해 살펴보았는데요. 컨텍스트 엔지니어링의 부상은 기업에서의 AI 도입이 실험적 단계를 넘어 운영 역량으로 성숙해지고 있음을 보여줍니다. 컨텍스트 엔지니어링이 필요하다는 것은 비즈니스를 이해하는 AI 에이전트 기반의 시스템을 구축하고 있음을 의미하기 때문이죠. 앞으로 컨텍스트 엔지니어링을 잘 하는 기업이 비즈니스를 제대로 이해하는 AI를 보유하게 될 것입니다.

오늘 베스픽은 이것으로 마치겠습니다. 이제 2025년도 몇 주 남지 않았는데요, 남은 연말 따뜻하게 보내시길 바랍니다.