LLM은 현실을 어떻게 이해할까, 프루빙 기술로 들여다 보니

최근 MIT 컴퓨터과학 및 인공지능 연구소(CSAIL)의 연구팀이 언어 모델(Large Language Models, LLMs)이 단순한 언어 모방을 넘어서 자체적인 ‘현실 이해’를 발전시킬 가능성을 보여주는 흥미로운 실험 결과를 발표했습니다. 이 연구는 언어 모델이 언어의 의미를 이해하는 데 필요한 요소들이 무엇인지에 대해 재고할 수 있는 중요한 기회를 제공합니다.

LLM에게 “비에 젖은 캠프장의 냄새를 맡아봐”라고 요청하면 그 모델은 자연스럽게 이 요청을 거절할 것입니다. 하지만 같은 시스템에 그 냄새를 묘사해달라고 하면, “기대감으로 가득 찬 공기”와 “신선하고 흙냄새가 나는 향기”와 같이 시적인 묘사를 펼칩니다. 이와 같은 현상은 LLM이 비나 냄새에 대한 실제 경험 없이도 이러한 설명을 만들어낼 수 있는 이유가 단순히 방대한 훈련 데이터 내의 텍스트를 모방한 결과일 수도 있다는 의문을 불러일으킵니다.

그러나 MIT 연구진의 새로운 실험은 LLM이 언어를 단순히 모방하는 것 이상으로 이해할 수 있는 잠재력이 있음을 시사합니다. 연구팀은 로봇을 제어하기 위한 명령을 구성하는 소규모 Karel 퍼즐 세트를 개발하고, 그 해답을 훈련 데이터로 삼아 LLM을 학습시켰습니다. 그리고 ‘프루빙(probing)’이라는 기계 학습 기법을 사용해 모델이 새로운 솔루션을 생성하는 과정에서 나타나는 ‘사고 과정’을 탐구했습니다.

                                                                                         <프루빙 기술에 대한 가상도>

언어 모델의 내부: 모델의 ‘생각’을 들여다보는 프루빙

MIT 전기공학 및 컴퓨터과학 박사 과정 학생이자 CSAIL 연구원인 Charles Jin이 주도한 이 연구에서, 프루빙 기법을 통해 언어 모델이 명령어를 어떻게 이해하는지 관찰할 수 있었습니다. 연구 초기에는 언어 모델이 랜덤한 지시어를 생성했으나, 훈련이 완료된 후에는 92.4%의 정확도로 올바른 지시어를 생성했습니다. 이는 언어 모델이 언어의 의미를 이해하기 시작했음을 나타내며,  “단순히 단어를 무작위로 조합하는 것이 아니라 텍스트를 실제로 이해할 가능성이 있다는 점에서 매우 고무적이었다”고 말했습니다.

MIT 연구진의 연구 결과는 LLM이 언어의 의미를 이해하는 데 있어 기존의 상식적인 개념을 뛰어넘을 가능성을 보여주며, 이는 AI 연구 분야에서 중요한 전환점을 의미할 수 있습니다.

예를 들어, 프루빙을 통해 LLM이 특정 문장에서 주어(SUBJECT)와 목적어(OBJECT)를 구분할 수 있는지 확인할 수 있습니다. 이 경우, 문장을 모델에 입력하고, 중간 레이어에서 추출된 벡터 표현을 프로브에 입력하여 주어와 목적어를 정확하게 식별할 수 있는지를 평가합니다. 이를 통해 모델이 단순히 단어를 나열하는 것이 아니라, 문법적 구조를 이해하고 있는지를 판단할 수 있습니다.

프루빙의 의의: 프루빙은 모델의 “검은 상자” 속을 들여다보는 도구로서, 모델이 단순히 표면적인 통계적 관계를 학습하는 것이 아니라, 언어의 깊은 구조와 의미를 어느 정도까지 이해하고 있는지를 확인하는 데 중요한 역할을 합니다. 특히, 모델이 실제로 인간과 비슷한 방식으로 언어를 이해할 수 있는지 여부를 탐구하는 데 중요한 기법입니다.

그러나 프루빙의 한계: 하지만 프루빙 기법에도 한계가 있습니다. 프로브 자체가 간단한 신경망 구조를 갖고 있어, 복잡한 태스크에서는 정확한 평가가 어려울 수 있습니다. 또한, 프로브가 과연 모델의 진정한 이해를 측정하는지 아니면 단순히 태스크에 맞게 조정된 것인지를 판단하는 것도 쉽지 않은 문제입니다.

결론: 프루빙은 언어 모델이 내부적으로 어떤 정보를 어떻게 처리하고 있는지를 이해하기 위한 중요한 도구로서, 모델의 언어 이해 능력을 평가하고 개선하는 데 중요한 기여를 하고 있습니다. 그러나 그 결과를 해석하고 적용하는 데는 신중한 접근이 필요합니다.

<이하 광고>

© 2023 나의 웹 페이지