특히 이번 평가가 정부가 일방적으로 정한 기준에 따라 진행된 것이 아니라, AI 기술의 빠른 변화에 맞춰 6개월마다 평가 목표와 기준을 조정하는 ‘무빙 타깃’ 방식으로 운영됐으며, 2차 평가 기준 역시 4개 정예팀과 수차례 협의를 거쳐 마련됐다는 게 과기정통부의 설명이다.
|
과기정통부는 “독파모는 단순한 순위 경쟁이나 탈락팀 선정을 목적으로 하는 것이 아니라, 우리 AI기업들이 경쟁을 넘어 성장하고 국내 AI 생태계의 질적 성장과 확장을 견인하는 데 그 취지가 있다”고 밝혔다.
또 “평가 결과 공개에 따른 일부 기업의 예기치 않은 직·간접적 피해를 최소화하는 한편, 평가 과정·결과에 대한 공정성과 투명성이라는 가치 역시 균형 있게 고려해 결과 공개 범위에 신중을 기해 왔다”고 설명했다.
과기정통부는 AI 기술의 빠른 진화를 고려해 6개월마다 AI 모델 개발 목표를 변경하는 ‘무빙 타깃’ 방식을 적용하고 있다고 밝혔다. 이에 따라 단계평가 기준과 방식도 매 차례 정예팀과 협의를 거쳐 마련한다는 것이다.
이번 2차 단계평가는 △벤치마크 평가 40점 △전문가 평가 35점 △사용자 평가 25점 등 총 100점으로 진행됐다.
벤치마크 평가는 글로벌 AI 평가 플랫폼인 아티피셜 애널리시스(Artificial Analysis)의 AAII 평가 25점과 한국지능정보사회진흥원(NIA) 평가 15점으로 구성됐다. 전문가 평가는 개발 전략·기술, 개발 성과·계획, 파급효과·기여계획 등을 평가했고, 사용자 평가에는 AI 전문 사용자와 일반 국민 평가가 포함됐다.
최종 점수는 SK텔레콤(017670) 70.6점, 업스테이지 69.9점, LG(003550) AI연구원 69.0점, 모티프 65.8점으로 집계됐다. 이에 따라 SK텔레콤·업스테이지·LG AI연구원 등 3개 정예팀이 다음 단계에 진출하고 모티프는 탈락했다.
세부적으로 보면 평가 항목별 결과는 크게 엇갈렸다. 글로벌 벤치마크인 AAII에서는 모티프가 11.9점으로 1위를 차지했다. 반면 전문가 평가에서는 LG AI연구원이 29.5점으로 1위였고, AI 전문 사용자 평가에서는 SK텔레콤이 11.6점, 일반 국민 평가에서는 LG AI연구원이 7.6점으로 각각 가장 높은 점수를 받았다.
과기정통부는 이번 2차 평가 기준과 방식에 대해 “정예팀들과 수차례 협의를 거쳐 마련하였으며, 평가 전 최종안을 공식 안내한 결과, 정예팀 이견이 없었고, 이를 토대로 평가를 진행하였다”고 밝혔다.
1차 평가와 비교해 평가체계도 달라졌다. 글로벌 공신력이 높은 AAII를 새롭게 도입했고, 전문가 평가에서는 개발전략뿐 아니라 실제 개발 성과와 국내외 생태계 파급효과에 대한 평가 비중을 확대했고, 일반 국민 평가도 새롭게 추가했다는 게 과기부 설명이다.
과기정통부는 이를 두고 “단계평가가 단순 정예팀 간 경쟁을 통해 압축·선별하는 데에 의의가 있는 것이 아니라, 정부가 평가 기준을 적극적으로 설계·진화시켜 나감으로써 정예팀들의 글로벌 수준 AI모델 개발 역량 강화, 독자 AI모델 국내 AI생태계 현장 접목·확산, 국민의 눈높이에 부합하는 AI모델 개발 등을 유도했다는 점에서 의미가 있다”고 밝혔다.
전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 외부 전문가 10명이 참여했다. 정예팀이 제출한 평가서류를 바탕으로 서면평가와 질의응답을 진행했으며, 위원별 평가점수 중 최고·최저 점수를 제외한 나머지 점수를 산술평균해 최종 점수를 산출했다.
사용자 평가도 정예팀 간 상대평가가 아닌 절대평가로 진행됐다. AI 전문 사용자 49명과 일반 국민 185명이 각 모델을 직접 사용한 뒤 1~5점으로 평가했다.
과기정통부는 “단순 AI모델이 보여주는 성능에서 나아가, 실제 다양한 사용자들이 AI모델을 직접 사용하며 체감하는 사용성과 효능감까지 종합적으로 평가하기 위해 마련했다”고 밝혔다.
다만 이번 평가에서는 글로벌 성능을 측정하는 AAII에서 1위를 차지한 모티프가 전문가·사용자 평가에서 상대적으로 낮은 점수를 받으면서 최종 탈락했다는 점에서 평가 배점과 방식이 결과에 미친 영향에 대한 논란은 남을 전망이다.
과기정통부는 탈락한 모티프의 기술력 자체에 대해서는 긍정적으로 평가했다. 모티프의 ‘Motif 3’가 AAII에서 미국·중국 외 국가가 개발한 AI 모델 가운데 가장 높은 성능을 기록했으며, 에이전트·코딩 등 고난도 벤치마크에서 글로벌 빅테크에 버금가는 수준을 보였다고 설명했다.
과기정통부는 “모티프테크놀로지스 정예팀은 AAII에서 미국·중국 외 국가에서 개발한 AI 모델 중 세계 최고 성능을 기록하여, 에이전트·코딩 등의 고난도 벤치마크 분야에서 글로벌 최선두 빅테크들에 버금가는 높은 수준을 선보이는 등 독자 AI모델 개발 분야에서 의미있는 성과를 보여준 만큼, 앞으로도 국내 AI 생태계에 다각도로 기여할 것으로 기대된다”고 밝혔다.
다음 단계에 진출한 3개 정예팀에는 고성능 GPU 지원도 확대한다. B200 기준 GPU 지원 규모는 지난해 하반기 약 500장에서 올해 상반기 768장 수준으로 늘었으며, 올해 하반기에는 1000장 수준까지 확대할 계획이다. 이는 SK텔레콤, 업스테이지, LG AI연구원에 각각 400억원의 예산이 지원되는 셈이다.
과기정통부는 최근 AI 모델 경쟁이 미국과 중국을 중심으로 격화하고 AI 모델이 국가안보와 산업 경쟁력을 좌우하는 전략자산으로 부상하는 상황을 고려해 최상위급 독자 AI모델 개발을 위한 새로운 지원체계도 관계부처와 논의하고 있다.
과기정통부는 “최상위급 독자 AI모델 개발 필요성을 깊이 인식하고, 기존의 방식을 뛰어넘는 새로운 지원체계를 관계부처와 논의 중에 있으며, 추후 구체적 내용을 준비해 발표할 계획”이라고 밝혔다.
