워싱턴대학(UW)과 스탠퍼드대학 인공지능(AI) 연구진이 50달러(약 7만3000원)의 클라우드 컴퓨팅 비용으로 AI 추론 모델 훈련에 성공했다고 8일 밝혔다.
미 정보기술(IT) 전문 온라인 매체 테크크런치에 따르면 이번에 공개된 모델 's1'은 수학·코딩 능력 테스트에서 오픈AI의 'o1'·딥시크의 'R1'과 유사한 성능을 보였다. s1 모델과 훈련에 사용된 데이터와 코드는 깃허브(GitHub)에 공개됐다. 깃허브는 개발자들이 코드를 공유하고 협업하는 플랫폼이다.
연구진에 따르면 s1은 구글의 AI 추론 모델인 '제미나이 2.0 '을 기반으로 증류(distillation)됐다. 증류는 기존 AI 모델을 통해 수십만 개의 질문을 생성하고 그 답변을 분석하는 방식으로 새로운 모델의 추론 능력을 추출하는 과정이다.
앞서 지난달 UC 버클리 연구진은 450달러의 비용으로 오픈AI의 최신 모델과 동급 성능을 갖춘 AI 추론 모델을 훈련시켰다고 발표했다. 버클리 연구진은 중국 전자상거래 테크기업 알리바바의 AI 모델 오픈소스를 증류했다.
딥시크는 메타와 알리바바가 공개한 오픈소스 AI를 활용해 증류를 진행한 적이 있으며, 자체 개발 모델을 또 다른 모델로 발전시키는 과정에서도 증류 기법을 활용했다고 밝혔다. 오픈소스 AI 개발자들은 대개 출처를 명확히 밝히는 조건에서 증류를 허용하고 있다. 딥시크도 자체 AI 모델을 오픈소스로 공개하고 있다.
현재 오픈AI, 앤스로픽 등 주요 AI 기업들이 방대한 원시 데이터를 활용해 AI 모델을 자체적으로 훈련시키는데 수개월이 걸리며 수천만 달러 이상의 비용이 소요된다. 반면 증류 기법을 사용하면 기존 모델의 학습 결과를 활용해 단 몇 주나 며칠 만에 비슷한 수준의 AI를 훨씬 적은 비용으로 만들 수 있다.
대형 AI 연구소들은 이런 흐름을 반기지 않는 분위기다. 오픈AI는 딥시크가 모델 증류를 위해 자사의 데이터를 부적절하게 활용했다고 비난한 바 있다. 오픈AI의 서비스 약관은 AI를 이용해 경쟁 제품을 개발하는 것을 금지하고 있다고 월스트리트저널(WSJ)은 전했다.
s1은 알리바바 계열 AI 연구소인 큐원(Qwen)이 개발한 소형 AI 모델을 기반으로 한다. 연구진은 1000개의 정제된 질문과 답변, 그리고 구글 '제미나이 2.0'이 제공한 '추론 과정'을 포함한 데이터셋을 만들어 s1을 훈련했다. 훈련 과정은 16개의 엔비디아 H100 GPU를 사용해 30분도 채 걸리지 않았다.
특히 연구진은 s1의 답변 정확도를 높이기 위해 모델이 답변하기 전 "기다려라(wait)"라는 지시어를 추가하면 사고 시간이 길어지면서 보다 정확한 답변을 생성한다는 사실을 발견했다. (기사제휴=아시아투데이)
<저작권자 ⓒ 조이시애틀뉴스, 무단전재 및 재배포금지>
//www.joyseattle.com/news/58543
Powered by Newsbuilder
