인도의 AI 연구소 Sarvam, '작고 효율적인' 오픈소스 모델로 구글·OpenAI와 맞서다

인도의 AI 연구소 Sarvam이 최근 발표한 새로운 대규모 언어 모델은, 정말 '작고 효율적인' 오픈소스 모델을 통해 시장 점유율을 높이려는 큰 베테랑입니다. 이번 발표가 무엇인지 궁금하지 않으실까요?

무슨 일이 일어났나

Sarvam은 30억과 105억 파라미터를 가진 새로운 모델을 공개했습니다. 이는 지난 10월 발표된 2억 파라미터 버전보다 크게 업그레이드됐습니다. 특히 30B 모델은 'expert mixture' 아키텍처를 사용해, 전체 파라미터 중 일부만 활성화하여 계산 비용을 크게 줄였다고 합니다. 이는 구글의 Gemma 27B나 OpenAI의 GPT-OSS-20B와 같은 모델과 경쟁하기 위한 전략입니다.

또, 30B 모델은 32,000 토큰을 지원하는 실시간 대화용으로 설계되었고, 105B 모델은 128,000 토큰의 컨텍스트 윈도우를 제공하여 복잡한 멀티스텝 추론 작업에 적합합니다. Sarvam은 이 모델들을 인도 언어로 학습시켰으며, 30B 모델은 약 1600조 토큰의 텍스트 데이터로, 105B 모델은 여러 인도 언어를 포함한 수조 토큰으로 학습했습니다.

이번 모델 발표는 인도 정부가 추진하는 'IndiaAI Mission'을 통해 제공받은 컴퓨팅 리소스와 데이터 센터 운영사 Yotta, 그리고 NVIDIA의 기술 지원을 받았습니다. Sarvam은 30B와 105B 모델을 오픈소스로 공개할 계획이라고 밝혔지만, 학습 데이터나 전체 코드가 공개될지는 명확하지 않습니다.

내가 보기엔

이번 Sarvam의 행보는 '작고 효율적인' 오픈소스 모델을 통해 시장을 뒤집으려는 인도의 강력한 의지를 보여줍니다. 특히 인도 내에서 사용되는 언어와 용도에 맞춘 모델 개발은 중요합니다. 하지만, 구글과 OpenAI 등의 거대 기업들에게는 과연 충분한 위협인지 의문이 듭니다.

또, 오픈소스 모델을 통해 AI를 더욱 보편화하고 싶은 목적은 좋지만, 학습 데이터나 코드가 공개되지 않으면 실질적인 혁신에는 제약이 될 수 있습니다. 또한, 이 모델들이 인도 시장에서 실제로 어떤 영향을 미칠지는 아직 불확실합니다.

결론적으로, Sarvam은 인도의 AI 독립을 위한 중요한 첫걸음이지만, 오픈소스 모델이 얼마나 성공할 수 있는지에 대한 시험기간입니다. 이번 발표가 AI 산업에 어떤 변화를 가져올지 기대됩니다.