엔비디아 최신칩 1개 5500만원

“이대론 AI 개발 148년 걸릴 것”

인공지능(AI) 연구의 한 축을 담당하는 국내 대학들이 최신 칩을 구하지 못해 대형언어모델(LLM)을 기반으로 한 생성형 AI 연구를 제대로 하지 못하는 것으로 드러났다. 서울대 KAIST 등 주요 대학들조차 정부 지원 사업에 선정되더라도 배정 예산이 적어 AI 칩을 충분히 구할 수 없는 상황이다. 칩을 확보하더라도 전력 부족으로 대학 시설에서 구동할 수 없는 경우가 많다.

KAIST의 A 교수는 2일 “오픈AI의 ‘소라’ 같은 생성형 AI 모델을 만들려면 엔비디아 최신 그래픽처리장치(GPU) 수백 개가 필요하다”며 “정부 사업을 수주하더라도 엔비디아의 GPU를 여럿 구매하기는 불가능해 구형 게임용 GPU로 연구하고 있다”고 말했다. ‘소라’는 동영상 생성 AI 서비스다. 이 서비스를 만들려면 여러 개의 연산을 동시 수행할 수 있는 GPU가 필요하다. GPU는 엔비디아가 전 세계 80%를 차지하며 부르는 게 값인 상황이다. 특히 엔비디아의 최신 GPU 시스템인 H100 가격은 개당 5500만 원 정도다. A 교수는 “우리가 현재 가용할 수 있는 엔비디아의 GPU 시스템 A100 8개로 소라와 유사한 서비스를 만들려면 148년 걸리는 것으로 분석됐다”고 말했다.

어렵게 칩을 구해도 전력 문제를 해결해야 한다. 서울대 김건희 컴퓨터공학부 교수는 “GPU를 추가로 가동하고 싶지만 학교 측에서 전력 추가 공급이 불가능하다는 답변이 왔다”면서 “교수들이 직접 전력이 남는 건물을 찾아다녀야 하는 실정”이라고 말했다.

정부 예산을 확보했더라도 장비 구매에 따르는 심의를 거쳐야 한다. 국가 연구개발(R&D) 사업에서 연구 장비가 1억 원이 넘으면 국가연구시설장비센터(NFEC)의 심의를 받아야 하고, 결과가 나오는 데 통상 3개월 이상 걸린다. 김종원 광주과학기술원(GIST) AI대학원장은 “일반적인 AI 연구를 하려고 해도 엔비디아 GPU가 최소 8개 필요하고, 서버 구매 가격까지 합쳐 대략 5억 원이다”라며 “하지만 그 예산을 확보해도 심의를 거치면 실제 연구하기까지 계속 시간이 지연된다”고 말했다. 김 원장은 “대학들이 AI 칩을 공동으로 사용하는 연구센터를 만드는 등의 대안이 필요하다”고 조언했다.

인공지능(AI)을 연구하는 한국 주요 대학들이 어려움을 겪는 것은 일차적으로 ‘AI 칩 인플레이션’을 교수 연구비가 따라가지 못하기 때문에 일어난다. 엔비디아의 그래픽처리장치(GPU) 시스템인 A100은 약 1만 달러(약 1400만 원), 이보다 고사양인 H100은 4만 달러(약 5500만 원) 수준이다. 더 높은 사양이 나올 때마다 가격은 뛰고 있다. 한 국내 대기업 AI 담당 임원은 “국내에선 네이버가 세종시에 지은 데이터센터 ‘각’에 가장 많은 2000∼3000대를 들인 것으로 알고 있고 삼성이 그다음”이라며 “이는 세계 순위로 치면 20∼30위 정도인데 미국 빅테크의 10분의 1도 안 되는 수준”이라고 말했다.

GPU를 몇 개 확보했다고 연구를 바로 할 수 있는 것은 아니다. GPU를 여러 개 이어 붙인 ‘랙(서버)’을 만들어야 하는데 각 랙마다 광통신을 연결하고 냉각장치, 소프트웨어 등을 연동해야 해 비용은 다시 또 오른다. 보통 H100 8개를 장착한 엔비디아 DGX H100 가격은 대당 40만∼50만 달러(약 5억5000만∼6억8000만 원)로 알려져 있는데, 이 정도가 돼야 어느 정도 AI 연구를 할 수 있는 수준이 된다. 칩 가격이 치솟는 반면 교수들에 대한 정부의 연구비 지원은 부족한 상황이다. 한국연구재단에 따르면 지난해 공학 분야 전임 교원 1인당 평균 연구비는 2억5000만 원에 그쳤다. 여기에는 인건비 등이 모두 포함돼 있다.

● 엔비디아발 ‘AI 칩 인플레’, 연구 예산은 제자리

예산이 있더라도 구매력이 있는 빅테크가 칩을 ‘선매입’해 대학까지 최신 칩이 내려오는 일은 드물다. 김종원 광주과학기술원(GIST) AI대학원장은 “대량으로 칩을 구매하는 회사에 우선권이 있다”면서 “소규모 구매자는 우선순위에서 밀리고 있다”고 말했다.

고려대에서 AI 연구를 진행 중인 A 교수도 “AI 연구를 위해 자체적으로 GPU를 모았는데 구형 제품 24개를 확보했다”면서 “엔비디아에서 최신 모델이 나와도 빅테크가 모두 ‘싹쓸이’하고 나면 실제로 구매할 수 있는 시기는 6개월 이상 늦어진다”고 말했다. 그는 “항상 ‘열등한’ 자원을 갖고 경쟁하게 되는 셈”이라고 토로했다.

전력 부족도 심각하다. 현재 서울대에서 가용할 수 있는 전력량은 총 5만6000kWh(킬로와트시) 정도다. 이미 전력 수요가 많은 여름과 겨울에는 사용량이 80%에 달하고 있다. 남는 전력으로 GPU를 가동하기에는 부족한 상황이다. 전력을 과하게 사용할 경우 자칫 서울대 전체가 ‘블랙 아웃’되는 상황을 초래할 수 있다.

서울대 관계자는 “2026∼2027년경에는 가용 전력이 포화 상태에 이를 것으로 전망된다”면서 “GPU 설비가 증가하며 전력 수요가 높아질 것으로 예상돼 한국전력 측에 전력량을 늘려줄 것을 요구했지만 어렵다는 대답이 돌아왔다”고 말했다.

현재 정부는 기업과 대학 등에 무상으로 GPU를 제공하는 지원을 하고 있지만 이미 수요가 넘치고 있다. 광주 인공지능산업융합사업단에 따르면 올해 초 H100을 8장씩 묶어서 AI 연구 등에 활용하는 데 대한 신청은 291건에 달했다. 이 가운데 최종 156건만 지원 대상으로 선정됐다. 연구과제를 선발해 GPU를 제공하는 한국과학기술정보연구원(KISTI)에 따르면 엔비디아 A100 등을 이용할 수 있는 신청 과제 수는 90건이었지만 제공 자원 한계로 75건만 선정됐다.

● 미국 대학에는 기업들이 적극 지원

미국 대학의 상황은 한국과 크게 다르다. 미 주요 대학은 기업으로부터 기부나 투자를 받아 대규모로 GPU를 공급받고 있다. 미 플로리다대는 2020년 엔비디아 등으로부터 기부를 받아 AI 슈퍼컴퓨터를 구축했다. 여기엔 엔비디아 GPU ‘A100’ 1120장이 탑재됐다. 플로리다대는 엔비디아 공동 창업자인 크리스 맬러차우스키의 모교이기도 하다.

오스틴 텍사스대는 1월 대규모의 생성형 AI 센터를 캠퍼스 내에 출범시켰다. 텍사스대는 미국에서 손꼽히는 연구 중심 대학으로, 대규모의 AI 연구를 수행 중이다. 이 대학이 1월 구축한 생성형 AI 센터에는 엔비디아의 최신 GPU ‘H100’ 600장이 탑재됐다. 센터 구축에는 미국국립과학재단(NSF) 등에서 자금을 지원한 것으로 알려졌다.

김종원 원장은 “대학 자체적으로 대규모 연구를 할 만한 GPU를 구매하거나 데이터센터를 구축하기는 사실상 불가능”이라며 “대학이 공동으로 AI 연구 전용 센터를 구축하자”고 제안했다.