|
토치뉴런은 아파치 2.0 라이선스 기반의 오픈소스로 제공되며, 최신 ‘트레이니움2’와 ‘트레이니움3’를 모두 지원한다. 개발자는 코드가 작동할 칩을 지정하는 설정값 하나만 변경하면 기존 파이토치 환경을 트레이니움으로 즉시 전환할 수 있다.
“반도체 바꾸려 작업 재검증하던 시대 끝”…개발 비용 절감
현재 글로벌 AI 연구자와 개발자의 약 85%가 파이토치로 코드를 작성하고 있다. 하지만 지금까지는 하드웨어 호환성 문제로 인해 새로운 칩을 도입하려면 수개월에 걸쳐 작성한 소스코드를 다시 짜고 재검증하는 과정을 거쳐야 했다.
기업 입장에서 AI 인프라 구축의 실제 부담은 단순 칩 구매 비용을 넘어, 신규 하드웨어에 맞게 소프트웨어를 수정하는 엔지니어링 시간에 집중돼 있었다. 토치뉴런은 이러한 하드웨어 전환 장벽을 허물어 개발자에게 실질적인 인프라 선택권을 제공하고 개발 주기를 대폭 단축시킬 것으로 전망된다.
이미 음성 AI, 신약 개발, 로보틱스, 자율주행, 대규모 언어 모델(LLM), 금융 등 다양한 분야의 기업들이 토치뉴런을 도입하고 있다. 인간형 AI를 개발하는 ‘카르테시아(Cartesia)’는 파이토치 코드를 최소한으로 수정한 상태에서 표준 추론 파이프라인을 트레이니움으로 전환했다. 뇌질환 치료제를 연구하는 ‘리버 뇌발달연구소’ 역시 연산 비용이 높은 분자동역학 시뮬레이션을 트레이니움 기반 AI 도구로 가속하는 검토를 진행 중이다.
오픈소스 생태계 확장…‘하드웨어 중립성’ 지향
AWS는 토치뉴런을 통해 특정 하드웨어에 종속되지 않는 ‘하드웨어 중립적’ 생태계를 구축한다는 목표다. 이를 위해 파이토치 커뮤니티와 협력해 프레임워크를 특정 칩에 묶어두는 코드를 제거하고, 해당 변경 사항을 파이토치 원본 코드(업스트림)에 기여하고 있다.
글로벌 AI 모델 공유 플랫폼 ‘허깅페이스’도 자사 AI 개발 도구에 트레이니움 네이티브 지원을 적용해, AWS 전용 코드 없이도 개발자가 트레이니움 상에서 작업할 수 있도록 구현했다.
아울러 토치뉴런은 파이토치 네이티브 분산 학습 프레임워크인 ‘토치타이탄’과 통합돼 완전 샤딩 데이터 병렬 처리(FSDP) 기술을 지원한다. 이를 통해 하나의 모델을 여러 트레이니움 인스턴스에 확장해 학습시킬 수 있다. AWS는 추론 속도를 높이는 ‘vLLM’ 기여는 물론, 성능 최적화 커널 전체를 오픈소스로 공개하며 완성도를 높였다.
AWS 관계자는 “토치뉴런은 아마존이 2015년 반도체 설계 기업 안나푸르나랩스를 인수한 이래 10년간 이어온 맞춤형 반도체 투자의 결실”이라며 “파이토치 기반 개발자들이 인프라 제약 없이 자유롭게 최상의 AI 성능을 구현할 수 있도록 지원을 이어갈 것”이라고 말했다.
