최신 리포트 다운로드 지금 바로 문의하기
최신 리포트 다운로드 지금 바로 문의하기
구글 클라우드 인사이트

Agentic AI 시대를 위한 인프라 패러다임의 변화

구글 인사이트

by Miyeon. Jo
– AI Infrastructure in the agentic era
최근 엔터프라이즈 AI의 트렌드가 단순 대화형 AI(Conversational AI)에서 스스로 판단하고 복잡한 워크플로우를 자율적으로 실행하는 ‘Agentic AI’로 급격히 이동하고 있습니다. Google이 1,400명 이상의 IT 리더를 대상으로 조사한 ‘State of AI Infrastructure’ 리포트에 따르면, 무려 83%의 조직이 현재의 인프라로는 Production 단계의 Agentic AI를 감당할 수 없어 대대적인 업그레이드가 필요하다고 답했습니다. Legacy 인프라와 미래의 AI Ambition 사이의 격차를 줄이기 위해 우리가 주목해야 할 6가지 핵심 포인트를 공유합니다.

1. Fluid Compute를 통한 'Inference Tax' 극복

Agentic 워크로드가 도입되면 하나의 Prompt가 수백 개의 Downstream Action을 트리거하고, 대규모 Context Window를 메모리에 유지해야 하므로 인프라에 엄청난 부하를 주게 됩니다. Legacy 아키텍처에서 이러한 Reasoning Loop를 계속 실행하는 것은 비용 측면에서 불가능에 가깝습니다. 실제로 응답자의 62%가 Data Egress Fee, 스토리지 비대화, Specialized Hardware의 유휴(Idle) 등으로 인한 ‘Inference Tax(추론세)’ 부담을 겪고 있으며, 81%는 스케일업의 숨은 비용으로 운영 복잡성을 꼽았습니다.
  • 해결책: 작업의 특성에 맞게 실리콘(칩셋)을 다이나믹하게 매칭하는 Fluid Compute 가 필요합니다.
    • Heavy Training: 대규모 모델 학습에는 확장성이 뛰어난 TPU 8t 도입.
    • Low-Latency Inference: On-Chip Memory를 극대화해 에이전트가 실시간으로 반응할 수 있도록 설계된 TPU 8i 활용.
    • Orchestration: Control Plane 운영에는 CPU 기반의 범용 컴퓨팅이 핵심으로 부상 중이며, Arm 기반의 고효율 프로세서인 Google Axion을 활용해 Reinforcement Learning 시뮬레이션 및 에이전트 Orchestration을 비용 효율적으로 처리.

2. Agent Sprawl 방지를 위한 중앙 집중식 Governance

에이전트가 이메일을 읽고, 데이터베이스를 쿼리하며 워크플로우를 자율적으로 실행하게 되면서, 다양한 플랫폼에 수천 개의 에이전트가 흩어져 통제력을 잃는 ‘Agent Sprawl(에이전트 난립/확산)’ 현상이 새로운 과제로 떠오르고 있습니다. (테크 리더의 79%가 Security, Governance, MLOps를 Inference 스케일업 시의 가장 큰 과제로 지적)
  • 해결책: 에이전트의 Permissions, Identity, Workflow를 한눈에 볼 수 있는 Centralized Control Plane이 필수적입니다. 데이터 공유 가시성을 확보해 주는 Agent Gateway 같은 솔루션을 도입해 정확한 Read/Write Scope를 정의하고 Full Audit Trail을 유지해야 하며, 크리티컬한 액션 전에는 Human-in-the-loop(인간 개입) 오버사이트를 구축해야 합니다.

3. Unified Data Layer 구축

에이전트는 비즈니스 전반을 Reasoning(추론)해야 하므로 데이터가 Silo화되어 분산되어 있으면 무용지물이 됩니다. 비정형 데이터에 자동으로 주석을 달아 검색 가능하게 만드는 Smart Storage나 Cross-Cloud Lakehouse 같은 기술을 통해, 에이전트가 데이터의 위치에 상관없이 Custom Pipeline이나 데이터 복제 없이도 데이터를 Native하게 읽고 이해할 수 있는 Unified Data Layer 환경을 만들어야 합니다.

4. Hybrid Multicloud와 Digital Sovereignty

이제 Public Cloud냐 Local Computing이냐의 이분법적 논쟁은 끝났으며, Hybrid가 최종 목적지(52%의 조직이 Hybrid Multicloud 아키텍처 사용)로 자리 잡았습니다. 이러한 변화는 주로 Digital Sovereignty(디지털 주권)와 Data Gravity 때문입니다. 리더의 48%가 엄격한 Data Residency Control이 가능한 인프라를 우선시하고 있으며, 퍼블릭 클라우드를 넓은 영역의 연산에 활용하더라도 민감한 Foundation Model은 Google Distributed Cloud를 통해 Air-gapped(폐쇄망) 환경의 온프레미스로 가져올 수 있는 유연한 인프라 전략이 필요합니다.

5. AI at the Edge (엣지 배포)

모든 에이전트의 Interaction을 처리하기 위해 엄격하게 중앙 집중화된 클라우드 토폴로지(Centralized Cloud Topology)에만 의존하는 것은 지속 가능한 전략이 아닙니다. 무려 90%의 조직이 AI 이니셔티브에서 Edge 배포가 중요하다고 응답했습니다. AI를 Edge로 전진 배치하면 세 가지 문제를 해결할 수 있습니다.
  • Latency Bottleneck 해결: 음성, 영상, 파이낸셜 트레이딩 알고리즘 등 실시간 에이전트의 마이크로초 단위 반응 속도 확보.
  • Operational Resilience(운영 회복탄력성): 인터넷 연결이 끊겨도 공장, 매장, 병원 내의 에이전트가 독립적으로 계속 기능 수행.
  • Cost-Efficiency 유지: 지속적인 Reasoning을 클라우드에서 항상 구동하는 비용을 줄이기 위해 스마트폰, IoT, 로컬 웨어하우스 서버에서 분산 처리함으로써 토큰당 가변 비용(Per-token Cost) 절감.

6. Energy Wall(에너지 장벽) 돌파

전력 소비는 이제 매년 발간하는 지속가능성 리포트용 지표가 아니라, 당장 컴퓨팅 인프라를 프로비저닝할 수 있느냐를 결정하는 실질적인 운영 제약 조건이 되었습니다. 리더의 91%가 하드웨어 선정 시 전력 소비를 고려하고 있습니다. 글로벌 전력망 부족(Grid Scarcity)과 엄격해진 규제(예: 독일의 PUE 1.2 이하 의무화 등)에 대응하고 TCO를 낮추기 위해, 하드웨어 선정 시 Performance-per-watt(와트당 성능)를 최우선 지표로 다루어야 합니다. (예: Google TPU 8t는 전 세대 대비 에너지는 2배 효율적이면서 성능은 3배 향상)

Key Takeaway
우리가 2026년에 AI 비즈니스를 성공적으로 확장하기 위해서는, Pilot 단계를 넘어 Production 레벨의 Agentic Application을 감당할 수 있는 인프라 재정비가 필수적입니다. 비용 효율성, Edge에서의 회복탄력성, 자율적 액션에 최적화된 아키텍처, 그리고 Governance가 기본 탑재된 Unified 인프라 재구축이 현시점 테크 기업들의 핵심 과제입니다.

출처

문의하기 베스픽 구독하기
궁금한 점이 있다면 클릭해주세요.