오픈AI ·브로드컴과 합작 추론 칩 공개··· 추론 인프라 생태계 '지각변동' 남시현 2026.06.25. [IT동아 남시현 기자] 오픈AI가 현지시간으로 지난 24일, 브로드컴과 함께 대형언어모델 추론에 최적화된 전용 반도체 ‘할라페뇨(Jalapeño)’를 공개했다. 오픈AI는 지난해 | KS News

[IT동아 남시현 기자] 오픈AI가 현지시간으로 지난 24일, 브로드컴과 함께 대형언어모델 추론에 최적화된 전용 반도체 ‘할라페뇨(Jalapeño)’를 공개했다. 오픈AI는 지난해 10월 브로드컴과 10기가와트 규모의 대규모 인공지능 칩 계약을 체결하고 2029년 말까지 AI 가속기 및 네트워크 시스템을 공급하기로 했다. 일반적으로 1기가와트 급 데이터센터는 원자력 발전소 1기 분량의 전력이 필요하며 약 1만 대의 AI 서버 랙과 수십만 대의 GPU를 갖춘다. 외신들은 10기가와트 규모 계약에 약 499조 원 가량이 투입될 것으로 예측했다.

당시 계약에서 구체적인 제품이나 도입 규모 등은 공개되지 않았는데, 이번에 공개된 할라페뇨가 두 회사의 첫 합작 결과물이라 할 수 있다. 할라페뇨는 AI 모델을 구축하는 학습, 사전에 구축된 AI 모델을 구동하는 추론 중 추론 기능만 수행하는 맞춤형 반도체(ASIC)다. 기존에는 엔비디아의 GPU를 활용해 학습과 추론 기능을 모두 지원하나 GPU의 높은 단가 및 운용 비용, 전력 효율성 등을 복합적으로 고려해 추론 전용 반도체를 만든 것이다.

9개월 만에 칩 설계부터 생산 완료, 추론 대체 나선 오픈AI

오픈AI는 할라페뇨의 초기 설계부터 제조 테이프아웃까지 단 9개월만에 공동 개발되었다고 밝혔다. 테이프아웃은 제품 설계를 끝내고 제조로의 전환을 의미하는 중요한 이정표다. 즉 모든 설계를 최종적으로 완료하고 본격적인 칩 생산과 시범 운영을 시작하고, 세부 조율을 진행한다는 의미다. 일반적으로 스타트업에서 데이터센터용 고성능 AI 가속기를 개발할 때에는 아키텍처 및 IP 선정에만 수개월이 소요되며 사전 설계와 검증, 테이프 아웃까지 18개월 이상 소요된다. 사전에 설계 자원과 생태계를 제공해 설계속도를 단축한 Arm 토탈 디자인을 활용해도 약 12개월에서 18개월이 소요되는 것으로 알려졌다.

브로드컴이 오픈AI의 주문을 빠르게 소화할 수 있었던 것은 향후 수요나 공급 우려 없이 단일 목적에 맞춰 설계할 수 있었고, 인력과 자본이 풍부하기 때문이다. 브로드컴은 네트워킹, PCIe, HBM 컨트롤러 등의 지식재산을 모두 갖췄으며 TSMC의 최첨단 공정을 위한 물리 설계 인프라를 모두 갖춘 몇 안 되는 기업이다. 또한 거두절미하고 오픈AI의 GPT 추론에만 최적화하면 되는 구성이라 설계 복잡도를 낮추고 필요한 성능만 딱 맞췄다. 반도체 제작 시 가장 오래 걸리는 오류 검증 부문도 오픈AI가 설계 및 최적화 과정에 AI 모델을 활용해 개발 속도를 크게 단축시켰다.

물론 설계가 9개월 만에 이뤄진 것은 아닐 가능성이 크다. 오픈AI는 지난 2023년 11월, 구글에서 9년 가까이 TPU 아키텍처 개발을 이끈 리처드 호를 하드웨어 최고 책임자로 영입했으며, 꾸준히 구글에서 거물급 인재들을 영입해 온 것으로 알려져 있다. 그가 이끈 팀은 챗GPT의 트래픽 구조, 메모리 병목 현상, 모델 아키텍처 등을 분석하는 사전 작업을 1년 반 이상 진행해 왔고, 이를 기반으로 칩 제작에 착수했기 때문에 9개월 만에 설계를 끝낼 수 있었다. 즉 오픈AI가 밝힌 9개월은 칩의 논리 회로를 물리적 도면으로 구현하는 기간으로 보는 게 옳다.

오픈AI는 올해 말까지 제품 배치를 목표로 작업 중이며, 앞으로 몇 년에 걸쳐 제품을 고도화해 나갈 예정이다. 제품의 스펙 및 성능에 대한 상세한 기술 보고서는 몇 달 내에 발표될 예정이다.

칩 판매 나선 구글, AWS··· AI 반도체 시장의 지각변동

오픈AI가 자체 반도체를 설계한 것은 예견된 수순이었다. 구글은 향후 데이터센터가 범용 CPU만으로 감당하기 어려울 것으로 보고 2013년부터 전용 반도체 설계를 시작했다. 이어 2015년 1세대 TPU(텐서 프로세싱 유닛)을 만들어 데이터센터에 시험 배치했고, 2016년 구글 I/O에서 그 모습을 처음 드러냈다. 출시 10년이 지난 지금은 8세대에 해당하는 학습용 반도체 TPU 8t와 추론용 반도체 TPU 8i로 이원화되었으며 엔비디아의 GPU를 견제할 수 있는 데이터센터용 하드웨어로 인정받고 있다.

AWS는 2015년 이스라엘의 반도체 스타트업 ‘안나프루나 랩스’를 인수하며 자체 반도체 설계를 시작했다. 당시에는 클라우드 서버의 효율성을 위한 CPU로 시작했고, 2017년 Arm 기반 CPU인 ‘그래비톤’을 출시해 인텔 및 AMD CPU 의존도를 낮췄다. 이후 AI 시장이 커지면서 2019년 말 AI 추론 단가를 낮추기 위한 전용 반도체 ‘인퍼런시아’를 정식 출시했으며 2020년에는 학습용 반도체인 ‘트레이니엄’까지 출시했다. AWS는 지난 6월 15일 192코어로 구성된 그래비톤 5를 정식 출시했고, 2026년 하반기에는 트레이니엄 3 양산을 시작한다.

구글과 AWS가 자체 반도체를 도입한 시작점은 클라우드 서비스의 운영 효율성과 엔비디아 GPU, 인텔 및 AMD CPU 의존도를 낮추기 위해서였다. 하지만 지금은 AI용 연산 효율성과 도입 단가 확보, 맞춤형 서비스 구현을 위한 독자생존을 위한 와일드카드로 되고 있다. 그래서 하이퍼스케일러 기업들은 자체 반도체를 외부에 판매하기보다는 자체 수요를 위한 도구로 활용해 왔다.

그런데 올해부터 구글과 AWS의 태도가 바뀌고 있다. 구글은 지난 5월, TPU 출시 10년 만에 처음으로 TPU를 자사 클라우드 외부의 고객에게 직접 판매하겠다고 공식 선언했다. 구글은 자산운용사 블랙스톤과 함께 50억 달러(약 7조 7000억 원) 규모의 구글 TPU 및 소프트웨어를 제공하는 AI 클라우드 합작 법인을 설립했다. 이어서 뉴욕에 지어지는 레이크 매리너 데이터센터에 구글이 약 32억 달러(약 4조 90000억 원) 규모의 재정 보증을 서면서 수천 대의 구글 TPU를 판매 및 배치할 계획이다. 이 센터의 자원은 앤트로픽이 전량 활용한다.

아마존 역시 이달 들어 AWS 클라우드 외부의 일반 기업 및 타사 데이터센터에 트레이니엄 서버 랙 패키지를 통째로 판매하겠다고 발표했다. 칩만 파는 것은 아니고 서버 보드, 네트워크 장비까지 전체로 팔겠다는 것이다. 이미 앤트로픽은 AWS와 5기가와트 규모의 계약을 체결했고, 오픈AI도 2기가와트 규모를 계약했다. AWS는 자사의 반도체를 판매할 시 연간 약 500억 달러(약 77조 원) 규모의 매출을 일으킬 것이라 보며, 2027년 출시 예정인 트레이니엄 4까지 예약이 밀려있는 것으로 알려졌다.

AI 다루는 빅테크 기업, ‘자체 칩’이 정석으로 자리 잡아

오픈AI의 자체 반도체 공개는 구글, AWS, 마이크로소프트같은 하이퍼스케일러 기업들의 자체 반도체 구축과는 결이 다르다. 클라우드 기업들의 자체 반도체는 수익성 강화와 엔비디아의 의존성을 낮추기 위한 해결책이었다. 반면 오픈 AI의 할라페뇨는 소비자였던 AI 기업이 공급자까지 겸하는 것이므로 AI 반도체 시장의 흐름 자체가 하드웨어와 소프트웨어의 수직계열화로 전환되는 것이다. AI 기업들이 AI 가속기 제조사에 더는 종속되지 않고 직접 도구까지 만들어 기술적으로 자립하는 단계에 이른 것이다.

기술적 자립이 당장 엔비디아의 몰락을 뜻하진 않는다. 엔비디아의 그래픽 카드는 여전히 AI 시장에서 범용 고연산 장치이며 초거대 AI 모델의 학습에서는 유일무이한 입지를 갖고 있다. 다만 구동 비용이 높은 추론 부문에서의 입지를 빼앗기는 것인 만큼 미래에는 엔비디아의 독점 구조가 지금과 같지는 않을 것이다.

미래 AI 시장의 승자는 ‘누가 AI를 잘 만드는가’를 넘어서 ‘누가 더 저렴하고 효율적으로 좋은 AI를 서비스하는가’에 달렸다. 이미 시장은 가능한 저렴하면서도 최대한 성능이 높은 AI에 높은 점수를 주고 있다. 오픈AI가 반도체 내재화를 내세우면서 자금력을 갖춘 AI 빅테크 기업들도 조심스레 자급자족을 고려하기 시작할 것이다. 오픈AI의 행보가 학습에서 추론으로 옮겨간 AI 반도체 시장 전반의 지각을 또 한 번 바꾸는 신호탄이 될지 업계의 이목이 쏠리고 있다.

IT동아 남시현 기자 (sh@itdonga.com)