AI가 업무 현장에 본격적으로 자리를 잡으면서, AI 없이 일하는 것이 오히려 낯선 분들도 많을 겁니다. 그런데 혹시, 막상 돌아보면 예전과 크게 달라진 게 없다는 느낌을 받아보신 적은 없으신가요? 만약 그렇다면 기분 탓이 아닙니다. 전 세계 기업의 88%가 AI를 도입했지만, 실질적인 변화를 이끌어낸 곳은 단 6%에 불과하다고 하죠. AI 도입 후 실질적인 성과를 내지 못하는 곳도 60%에 달합니다.

원인을 살펴보면 전략의 문제인 경우가 많습니다. AI가 일하는 방식 자체를 바꿔놓았는데, 많은 기업들은 그 변화를 따라가지 못한 채 AI를 기존 업무 방식에 얹는 데만 집중하고 있기 때문입니다. 비즈니스 구조를 새로 설계하기보다, 같은 작업을 조금 더 빠르게 처리하는 수준에 머물고 마는 것이죠.

이제 AI 시대를 맞아 IT 전략도 업데이트가 필요한 시점입니다. 오늘 베스픽에서는 보안부터 IT 자산 관리, 데이터 등 5가지 영역에서 ‘그때는 맞았지만, 지금은 틀린’ 것이 무엇인지 살펴보겠습니다.

제로 트러스트(Zero Trust)는 절대 신뢰하지 말고, 항상 검증하라는 보안 전략입니다. 클라우드와 SaaS가 확산되면서 업무 환경이 어디서든 접속 가능한 구조로 바뀌었고, 특정 경계 안만 지키는 방식은 한계를 드러냈는데요. 이에 따라 접속하는 모든 주체를 매번 검증하는 제로 트러스트가 새로운 보안 표준으로 자리 잡았습니다. 임직원, 외부 파트너 등 사람 접속자의 신원을 확인하고 접근 권한을 통제하는 것이 핵심이었죠.

하지만 지금 조직 안에는 사람이 아닌 존재들이 빠르게 늘고 있습니다. AI 에이전트가 대표적인데요. 많은 기업에서 AI 에이전트 수가 이미 인간 직원 수를 넘어섰지만, 이들 대부분은 관리 체계 밖에서 움직이고 있습니다. 더 심각한 문제는 일부 AI 에이전트가 사람보다 높은 시스템 접근 권한을 가지면서도, 그에 걸맞은 거버넌스나 감시 체계는 전혀 갖추지 못한 경우도 많다는 점입니다. 예를 들어, AI 문서 작성 도구가 회사 전체 파일에 자유롭게 접근할 수 있는 것이죠.

사람 직원이라면 업무에 필요한 파일만 열람할 수 있도록 권한을 제한하겠지만, AI 에이전트에게는 이러한 통제가 제대로 이뤄지지 않는 경우가 많습니다. 따라서 AI 에이전트는 공격자에게도 매력적인 표적이 되고 있습니다. 높은 권한을 지닌 AI에게 특정 명령어를 심어 오작동시키거나, AI 자체를 변조해 악의적인 방식으로 활용할 수 있기 때문입니다.

제로 트러스트의 원칙 자체는 여전히 유효합니다. 다만 이제는 사람뿐 아니라 AI 에이전트 같은 비인간 정체성(NHI, Non-Human Identity)까지 검증 대상에 포함해야 하는데요. 모든 AI 에이전트에 검증된 신원을 부여하고, 행동과 권한을 실시간으로 감시하며, 최소 권한 원칙을 철저히 적용하는 AI 시대의 제로 트러스트가 필요한 것입니다.

FinOps는 클라우드 비용을 체계적으로 관리하기 위한 전략입니다. 퍼블릭 클라우드 사용이 본격화되면서 기존의 IT 자산 관리 방식으로는 클라우드 지출을 통제하기 어려워졌고, 이를 위해 FinOps가 주목받기 시작했습니다. 클라우드 비용을 한눈에 파악해 낭비를 줄이고, 예약 인스턴스를 효율적으로 활용하는 것이 FinOps 성숙도의 기준이었죠. 얼마나 비용을 아꼈느냐가 곧 성과였습니다.

그런데 AI 도입이 본격화되면서 이 기준이 흔들리고 있습니다. GPU 비용, LLM API 호출료 등 AI 관련 지출은 기존 클라우드와 비용 규모 자체가 다릅니다. 변동성이 크고 고비용인 데다 지출 속도도 빠릅니다. 실제로 AI 지출을 별도로 관리하는 기업 비율은 2년 전 31%에서 현재 98%까지 치솟았고, AI 관련 지출 규모도 전년 대비 30% 이상 늘고 있다고 하죠.

규모만의 문제가 아닙니다. AI 호출 한 번이 업무 자동화, 고객 응대, 의사결정 지원 등 직접적인 비즈니스 결과로 이어지기 때문입니다. 그래서 많은 조직에서 비용 최적화로 절감한 예산을 다시 AI에 투자하는 흐름이 나타나고 있는데요. AI 지출을 줄여야 할 낭비가 아닌, 성과와 연결된 투자 항목으로 보기 시작했다는 신호입니다.

결국 FinOps의 역할 자체가 달라지고 있습니다. 얼마를 썼느냐보다 그 비용이 어떤 비즈니스 가치를 만들어냈는지를 측정하는 것, 즉 단위 경제성(Unit Economics)의 관점이 새로운 기준으로 자리 잡고 있습니다. 무조건 저렴한 모델보다 비용 대비 성능이 가장 좋은 모델을 고르는 AI 가치 최적화가 새로운 판단 기준으로 자리 잡으면서 관리 범위도 클라우드를 넘어 SaaS, 라이선싱, 데이터센터, AI 워크로드까지 확장되고 있습니다.

인터넷과 모바일이 확산되면서 기업이 수집할 수 있는 데이터의 종류와 양이 폭발적으로 늘어났습니다. 고객 구매 기록, 클릭 로그, SNS 반응, IoT 센서 데이터 등 더 많은 데이터를 확보할수록 더 정확한 의사결정이 가능하다는 것이 기본 전제가 되었습니다. 빅데이터 전략의 핵심은 단순했습니다. 실제 데이터일수록 믿을 수 있고, 많을수록 좋다는 것이었죠.

그런데 AI 시대에는 이 전제가 뒤집히고 있습니다. 수년간 공들여 쌓아온 데이터가 정작 AI에는 쓸 수 없는 상황이 벌어지고 있기 때문입니다. 포맷 불일치, 데이터 편향, 개인정보 문제, 희귀 시나리오의 부재 등이 그 이유인데요. 한 연구에 따르면 조직의 63%가 AI에 적합한 데이터 관리 방식을 갖추지 못하고 있으며, AI 프로젝트의 60%가 2026년까지 폐기될 것이라고 하죠.

이 공백을 메우는 것이 합성 데이터(Synthetic Data)입니다. 현실 세계에서 수집한 것이 아니라 AI가 생성한 데이터인데요. 실제 데이터의 특성은 살리면서 개인정보 문제나 데이터 부족 같은 문제를 극복할 수 있어 주목받고 있습니다. 올해 기업의 75%가 생성형 AI를 통해 합성 데이터를 생성할 것이라고 하고요. 전 세계 합성 데이터 시장도 2033년까지 72억 달러 규모로 성장할 전망입니다.

물론 아직까지 합성 데이터는 실제 데이터를 완전히 대체하기보다 보완하는 역할에 가깝습니다. 그러나 데이터 전략의 방향은 분명히 바뀌고 있는데요. 단순히 많이 모으는 것에서 벗어나, 실제 데이터의 품질을 높이고 AI 활용에 최적화된 합성 데이터를 함께 설계하는 방향으로 나아가고 있습니다.

LLM이 기업 현장에 본격적으로 도입되면서, 모델이 학습하지 않은 내부 문서나 최신 정보를 AI에 어떻게 전달할 것인가가 핵심 과제로 떠올랐죠. 이 문제를 해결한 것이 바로 RAG(Retrieval-Augmented Generation)인데요. 사용자가 질문하면 관련 문서를 검색해 AI에 전달하고, AI는 이를 바탕으로 답변을 생성하는 비교적 단순한 구조였습니다.

하지만 지금은 AI 에이전트가 직접 질문하고 결과를 소비하는 흐름으로 바뀌었습니다. 에이전트는 스스로 목표를 세우고 여러 단계의 추론을 거쳐 작업을 완료하는데요. 이 환경에서는 관련 문서를 검색해 첨부하는 방식만으로는 AI 에이전트의 복잡한 추론을 지원하기 어렵습니다. 대신 어떤 맥락을 언제, 어떤 형태로 제공하느냐가 훨씬 중요한 문제가 되었습니다.

이에 따라 주목받는 개념이 CAG(Context-Augmented Generation)입니다. 단순히 문서를 검색해 넘겨주는 RAG와 달리, 추론 단계마다 필요한 맥락을 설계해 제공하는 방식인데요. 이처럼 AI가 참고할 맥락을 직접 설계하는 컨텍스트 엔지니어링(Context Engineering)이 새로운 핵심 역량으로 떠오르고 있습니다. RAG가 사라지는 것이 아니라, 더 넓은 컨텍스트 설계의 일부로 진화하고 있는 것이죠.

재해 복구(DR, Disaster Recovery)는 장애나 사고가 발생했을 때 시스템을 원상 복구하기 위한 전략입니다. 장애 유형마다 대응 방안이 담긴 플레이북을 사전에 작성해두고, 문제가 발생하면 사람이 개입해 해결하는 구조였죠. IT 인프라가 비즈니스의 보조 수단이었을 때는 이 방식으로도 충분했습니다. 복구에 수 시간이 걸려도, 사람이 판단하고 실행하는 속도가 크게 문제 되지 않았습니다.

그런데 AI가 핵심 역량으로 자리 잡으면서 DR의 전제가 달라졌습니다. 그중에서도 가장 큰 변화는 복구의 목표인데요. 단순히 시스템을 되살리는 것을 넘어, AI 가용성을 유지하는 것이 새로운 기준이 되었습니다. 동시에 AI 기반 공격과 장애는 속도와 복잡도 모두 사람이 대응할 수 있는 수준을 넘어서고 있습니다. 플레이북대로 팀이 움직이는 사이, 피해는 이미 걷잡을 수 없이 확산되는 것이죠.

이에 따라 DR은 자율 복구(Autonomous Recovery) 체계로 진화하고 있습니다. AI가 이상 징후를 실시간으로 감지하고, 비용이나 SLA(서비스 수준 협약), 컴플라이언스 기준에 따라 복구 방법을 스스로 판단해 실행하는 구조입니다. 모든 행동은 로그에 기록되고 감사 가능한 형태로 설계되며, 사람의 역할은 거버넌스와 감독으로 바뀌었습니다. 이처럼 DR 역시 AI 시대의 속도와 복잡도에 맞게 업데이트가 필요한 영역입니다.

지금까지 다섯 가지 영역에서의 IT 전략이 어떻게 변화하고 있는지 살펴보았는데요. 각 영역에는 공통된 패턴이 있습니다. AI가 기존 전략에 기능을 추가하는 것이 아니라, 그 전략이 작동하던 전제 자체를 바꾸고 있다는 것입니다. 그러다 보니 오랫동안 당연하게 여겨져 온 전제들을 바꿔야 한다는 인식조차 갖기 쉽지 않은 것이 현실입니다.

그러나 도구보다 전략이 먼저입니다. 새로운 AI 도구를 도입하기 전에, 우리 조직의 전략이 여전히 AI 이전의 전제 위에서 작동하고 있지는 않은지 먼저 살펴보시길 강력히 추천드립니다. AI 시대의 진짜 경쟁력은 더 많은 도구를 도입한 조직이 아니라, AI에 맞게 전략을 업데이트한 조직에서 나올 것입니다.