ARCEE(아르시) AI가 발표한 기술인 DistillKit은 모델 증류(model distillation)라는 과정을 통해 대형 언어 모델(LLMs)이 갖고 있는 지식과 인사이트를 작고 효율적인 모델로 전달하는 오픈 소스 도구입니다. 이 기술은 큰 모델(선생님 모델)의 지식을 작은 모델(학생 모델)에게 전달하는 것입니다. 예를들어 작은 모델이 노트북이나 휴대폰과 같은 적은 컴퓨팅 자원을 사용하면서도 거의 선생님 모델과 동일한 수준의 성능을 낼 수 있게 합니다.
DistillKit의 작동 원리
- 로짓 기반 증류(Logit-based Distillation): 큰 모델이 작은 모델에게 답변의 정확도뿐만 아니라 가능한 다른 답변에 대한 확신도를 가르칩니다. 이 방법을 통해 작은 모델은 큰 모델처럼 사고하는 방법을 배웁니다.
- 은닉 상태 기반 증류(Hidden States-based Distillation): 큰 모델의 사고 과정을 작은 모델이 이해하도록 도와줍니다. 이는 작은 모델이 최종 답변만을 배우는 것이 아니라, 처리 과정 자체를 배우게 합니다.
DistillKit의 필요성
- AI 접근성 증가: 작고 효율적인 모델을 생성함으로써 더 많은 사람들과 기업이 고급 모델 기능을 사용할 수 있습니다.
- 에너지 및 비용 절약: 작은 모델은 적은 컴퓨팅 파워를 필요로 하므로, 에너지 소비가 줄고 운영 비용도 절감됩니다.
- 개인 정보 보호 및 보안 향상: 데이터를 클라우드로 보내지 않고 기기 내에서 모델을 실행할 수 있으므로, 더 나은 개인 정보 보호와 보안을 제공합니다.
- 특정 분야의 전문 AI 보조: 특정 분야나 작업에 능숙한 작은 모델을 만들 수 있습니다.
장단점
장점:
- 큰 모델과 비슷한 성능을 유지하면서 자원 사용을 최소화할 수 있습니다.
- 개발자와 연구자들이 쉽게 접근하고 사용할 수 있도록 오픈 소스로 제공됩니다.
- 다양한 환경에서 AI의 활용을 증가시킬 수 있습니다.
단점:
- 증류 과정에서 일부 정보가 손실될 수 있어, 큰 모델만큼의 성능을 완벽히 재현하기 어려울 수 있습니다.
- 특정 고급 기능이나 복잡한 작업을 처리하는 데는 여전히 큰 모델이 필요할 수 있습니다.
DistillKit은 효율적이고 접근 가능한 AI 모델의 생성을 목표로 하여, 더 많은 사용자가 고급 인공 지능 기능을 활용할 수 있게 도와줍니다. 이러한 기술의 발전은 AI의 민주화에 기여하며, 새로운 가능성의 문을 열어 줍니다.
위 도표는 Arcee AI라는 회사가 개발한 새로운 인공지능 모델(DistillKit)을 다양하게 적용하여 만든 디바이스 모델들에 대한 설명입니다.
Vanilla model: 이 모델은 다른 모델들과 같은 작은 크기의 모델이지만, DistillKit을 사용하지 않고 훈련되었습니다. ‘Vanilla’라는 용어는 여기서 기본 설정, 추가 기능이나 최적화 없이 기본적인 방법으로 훈련된 모델을 의미합니다.
7B model (Arcee-Agent): 이 모델은 7 billion parameters (7B는 70억 개의 파라미터를 의미)를 가진 큰 모델로, 다른 작은 모델들을 훈련시키는 ‘선생님’ 역할을 합니다. 이 큰 모델은 복잡한 작업을 처리할 수 있는 능력을 가지고 있으며, 작은 모델에 지식을 전달하는 데 사용됩니다.
1.5B model: 이 모델은 증류 과정 없이 훈련된 1.5 billion parameters (15억 개의 파라미터)를 가진 모델입니다. 증류 과정을 거치지 않은 상태에서도 일정 수준의 작업을 수행할 수 있지만, 증류를 통해 훈련된 모델에 비해 성능이 떨어질 수 있습니다.
1.5B-Distilled model: 이 모델은 7B 모델을 ‘선생님’으로 사용하여 증류 과정을 통해 훈련되었습니다. 즉, 1.5B 모델이지만, 더 큰 7B 모델로부터 지식을 전달받아 더 효과적인 학습과 성능 향상이 이루어졌습니다.
Arcee-Labs은 어떤 곳
Arcee-Labs는 Arcee AI 내에 설립된 부서로, 오픈 소스 연구를 가속화하는 것을 목표로 합니다. 이들의 미션은 자원, 모델, 연구 결과를 빠르게 배포하여 Arcee AI와 넓은 커뮤니티를 지원하는 것입니다. 이를 통해 연구 및 개발 과정에서의 협업과 혁신을 촉진히는 것이 목표입니다.
<이하 광고>