[기고] 추론의 시대, 개방형 AI 컴퓨팅 생태계로

숲의 경쟁력은 커다란 나무 한 그루가 아니라 토양과 물, 햇빛과 생명체가 유기적으로 연결된 생태계에서 나온다. 인공지능(AI)도 마찬가지다. 본격적인 추론의 시대, 토큰 경제가 시작되면서 개별 모델이나 반도체의 성능 뿐 아니라, 컴퓨팅 자원의 효율성과 공급망 안정성이 AI 경쟁력을 좌우하고 있다. 특정 반도체와 플랫폼에 대한 의존은 단기적으로 불가피할 수 있지만, 장기적으로는 비용 상승과 공급망 충격에 취약할 수 있기 때문이다. 이러한 흐름에 대응해 지난 7월 23일 과기정통부와 AMD는 개방형 AI 컴퓨팅 인프라 협력을 위한 MOU를 체결했다. AMD의 CPU·GPU와 추론에 강점을 가진 국산 NPU를 연계해 우리 기술이 글로벌 컴퓨팅 환경에서 경쟁력을 입증하고, 추론시장 공급망에 진입할 기반을 확장했다는 데 의미가 크다.

이번 협력이 중요한 이유에는 AI 시장의 구조적 변화가 있다. 생성형 AI가 검색과 판단, 업무 수행까지 맡는 에이전틱 AI로 발전하면서 추론 수요가 빠르게 증가하고 있기 때문이다. 이제 AI 서비스의 승부는 모델 성능을 넘어 폭증하는 토큰을 얼마나 적은 비용과 에너지로 처리하느냐에 달려 있다.

이러한 변화는 AI 컴퓨팅 인프라의 경쟁 방식도 바꾸고 있다. 지금까지는 GPU와 같은 더 빠르고 강력한 칩을 만드는 성능 경쟁이 중심이었다. 그러나 AI 서비스마다 필요한 성능과 응답속도, 전력·비용이 다른 만큼 고성능 AI 반도체 하나가 모든 문제의 해답이 될 수는 없다. CPU, GPU, NPU와 메모리·네트워크·운영소프트웨어를 처리 업무의 성격과 부하량에 맞게 조합하는 이기종 컴퓨팅이 중요해진 이유다.

경쟁의 단위도 개별 칩에서 서버를 거쳐 '랙' 단위로 확대되고 있다. 수십 개의 AI 반도체와 CPU, 메모리, 네트워크를 하나의 랙으로 연결하고 소프트웨어로 통합 운영해야 AI 서비스의 성능과 비용을 함께 최적화할 수 있기 때문이다. AI 인프라 경쟁이 반도체 단품을 넘어 시스템 전체의 설계·연결·운영 역량을 겨루는 풀스택 경쟁으로 진화하고 있는 것이다.

더 중요한 것은 이번 협력으로 국산 NPU의 성장을 넘어 국내 메모리·데이터처리장치(DPU)·컴퓨트익스프레스링크(CXL)·네트워크·서버·소프트웨어 기업이 함께 참여하는 생태계로 확장될 수 있다는 점이다. 이를 통해 대한민국은 개별 부품 공급자를 넘어 최적의 AI 인프라를 공동 설계하는 핵심 파트너로 성장할 수 있다.

이번 MOU는 정부가 추진하는 반도체, 피지컬AI, AI 데이터센터 3대 메가 프로젝트에 글로벌 기술협력과 개방형 생태계라는 공통 기반을 강화하는 계기가 될 수 있다. 정보통신기획평가원(IITP)도 공동연구와 이기종 인프라 실증, AI 데이터센터 적용, 인재양성을 구체화해 국가 AI 역량 축적으로 이어지도록 힘을 보탤 것이다.

지난 24일 이재명 대통령은 '샌프란시스코 AI 선언'을 통해 대한민국을 대체 불가한 글로벌 AI 공급망의 핵심 국가이자 세계의 기술·자본·인재와 아이디어가 연결되는 글로벌 AI 협력 플랫폼으로 만들겠다는 비전을 제시했다. 이번 협력은 그 비전을 컴퓨팅 인프라 분야에서 구체화하는 출발점이다. 학습의 시대가 규모의 경쟁이었다면 추론의 시대는 효율과 연결, 생태계의 경쟁이다. 이제 개방과 연결을 경쟁력으로 삼아 대한민국이 글로벌 AI 생태계의 핵심 국가로 힘차게 도약하기를 기대한다.

홍진배 정보통신기획평가원장