ChatGPT가 아닌 '폰 안의 AI'에 주목해야 한다고? 클라우드 중심이 아닌 디바이스를 위한 새로운 길

왜 지금 클라우드 중심의 AI에만 집중할까? 대부분은 구글이나 Meta가 만든 모델을 사용해야 하지만, 실제로는 폰 안에서도 AI를 돌릴 수 있어야 한다고 생각하지 않았어요. 그런데 런던의 Mirai라는 스타트업이 '폰 안의 AI'를 위한 새로운 길을 열고 있다니까요.

무슨 일이 일어났나

Reface와 Prisma의 공동 창업자들이 손잡고 나온 Mirai가, 폰과 노트북 같은 디바이스에서 AI 모델을 더 빠르고 효율적으로 실행하는 기술을 개발하고 있다는 소식입니다. 14명의 기술 팀이 뛰어나며, $10만 달러 규모의 시드라운드로 시작했죠. 창업자인 Dima Shvets와 Alexey Moiseenkov은 각각 Reface(얼굴 스왑 앱)과 Prisma(AI 필터 앱)을 만들었던 경험을 살려, '클라우드가 아닌 디바이스 안에서 AI를 돌리는 것'이라는 비전을 세웠습니다.

Mirai는 Rust 언어로 엔진을 개발했는데, 이걸 사용하면 모델의 생성 속도가 최대 37% 향상된다고 합니다. 또한, 모델 가중치를 조정하지 않고 성능을 최적화해 결과 품질이 떨어지지 않게 만들었죠. 현재는 텍스트와 음성 모달리티에 집중하고 있지만, 앞으로 비전도 지원할 계획이라고 합니다. Apple Silicon을 위한 엔진은 이미 개발되었으며, SDK를 통해 개발자들이 몇 줄의 코드만으로 통합이 가능하다고 합니다.

내가 보기엔

클라우드 중심의 AI 시장에서 Mirai는 '반전'을 제시하는 존재인데요. 지금은 클라우드 인퍼런스 비용이 점점 늘고 있지만, 장기적으로는 디바이스에 AI를 내리는 것이 더 경제적일 수 있다고 생각합니다. 특히 개발자들이 토큰 사용량을 최적화하고 마진을 높이려 할 때, Mirai의 솔루션은 큰 도움이 될 것 같아요.

하지만 아직 Android 지원이 없다는 점과, 모든 앱에 적용하기까지 시간이 걸릴 수 있다는 단점도 있습니다. 또한, 클라우드와 디바이스를 조율하는 '오케스트레이션 레이어'가 완성되기 전까지는 일부 작업은 여전히 클라우드로 넘겨야 할 것 같아요. 하지만 Mirai의 비전은 분명히 시장에 큰 영향을 미칠 수 있을 거예요.

결론적으로, 우리는 클라우드 AI만큼이나 '폰 안의 AI'를 주목해야 한다고 생각합니다. 이런 기술이 보편화되면, 모바일 앱의 사용성과 개인 정보 보호에 큰 변화가 있을 거예요.