메타버스는 이제 더 이상 공상과학 소설의 소재가 아닙니다. 최근 몇 년간 메타버스는 기술 발전의 중심에 자리 잡았으며, 다양한 분야에서 실제로 구현되고 있습니다. 특히, 메타버스 기술을 선도하는 빅테크 기업들, 그중에서도 메타(구 페이스북)와 구글은 이 분야에서 상당한 연구 성과를 보여주고 있습니다. 이번 글에서는 메타의 ‘코덱 아바타’ 프로젝트를 중심으로 메타버스의 현재와 미래를 조명해보겠습니다.
코덱 아바타: 디지털 아바타의 현실성 증대
메타의 리얼리티 랩스는 메타버스를 준비하는 데 있어 핵심적인 연구기관입니다. 이곳에서 개발 중인 ‘코덱 아바타’ 프로젝트는 현실적인 디지털 아바타를 생성하는 데 초점을 맞추고 있습니다. 이 프로젝트는 가상 현실(VR)과 증강 현실(AR) 환경에서 사용자가 실제 자신의 모습과 매우 유사한 아바타를 통해 상호작용할 수 있도록 하는 것을 목표로 하고 있습니다.
코덱 아바타 프로젝트의 주요 기술적 성과 중 하나는 최근 발표된 사피엔스 모델입니다. 사피엔스 모델은 인간의 이미지 분석을 위해 개발된 비전 모델로, 메타버스 환경에서 인간의 동작과 표정을 더욱 정교하게 구현하는 데 기여할 수 있는 기술입니다.
사피엔스 모델의 주요 기능
사피엔스 모델은 인간 중심의 컴퓨터 비전 작업에서 뛰어난 성능을 보여주는 네 가지 핵심 작업으로 구성되어 있습니다.
2D 포즈 에스티메이션: 인간의 관절 위치를 파악하여 팔, 다리, 얼굴의 위치를 예측하는 기술입니다. 이 기술은 메타버스에서 사용자가 실제 움직임을 디지털 아바타에 반영하는 데 중요한 역할을 합니다.
바디 파트 세그멘테이션: 이미지 속에서 각 픽셀을 분석하여 해당 픽셀이 어느 신체 부위에 속하는지를 분류하는 기술입니다. 이 기술은 아바타의 세밀한 부분까지 정교하게 구현하는 데 필수적입니다.
데스 에스티메이션: 2D 이미지에서 각 픽셀이 카메라로부터 얼마나 떨어져 있는지를 예측하는 기술입니다. 이는 메타버스 환경에서 사용자와 주변 환경 간의 상호작용을 더욱 현실감 있게 만듭니다.
서페이스 노멀 에스티메이션: 물체 표면의 방향을 예측하여 3D 형상을 더 정확하게 파악할 수 있게 해주는 기술입니다. 이는 아바타가 입고 있는 옷이나 얼굴의 질감 등 세밀한 부분을 실제처럼 구현하는 데 활용됩니다.
이 네 가지 작업은 메타버스에서 인간의 동작과 외형을 더욱 사실적으로 표현하는 데 중요한 역할을 하며, 메타의 메타버스 비전 실현에 필수적인 요소입니다.
위의 이 논문은 메타(구 페이스북)의 리얼리티 랩스에서 개발한 사피엔스 모델을 설명하고 있습니다. 이미지는 인간의 얼굴과 상반신 이미지를 이용해 사피엔스 모델이 어떻게 작동하는지 보여주는 예시입니다.
이미지에는 네 가지 주요 작업이 시각적으로 표현되어 있습니다:
Image (원본 이미지): 첫 번째 열은 원본 이미지를 보여줍니다. 각 행은 서로 다른 사람의 이미지를 나타내며, 다양한 각도와 포즈에서 촬영된 이미지를 포함하고 있습니다.
Pose (포즈 추정): 두 번째 열에서는 포즈 추정 결과를 보여줍니다. 포즈 추정은 이미지 내에서 사람의 관절 위치를 추정하여 팔, 다리, 얼굴 등의 위치를 예측하는 작업입니다. 이 열에서는 이미지 속 인물의 손, 팔, 다리, 얼굴 등 주요 관절 위치가 추정되어 선으로 표시되고 있습니다.
Segmentation (신체 부위 세분화): 세 번째 열은 신체 부위 세분화 결과를 보여줍니다. 이 작업에서는 이미지 속의 각 픽셀이 어느 신체 부위에 속하는지를 분석하여, 예를 들어 머리카락, 얼굴, 옷 등을 색상으로 구분합니다. 각 인물의 신체 부위가 분명히 구분되어 색상으로 표시되고 있습니다.
Depth (깊이 추정): 네 번째 열에서는 깊이 추정 결과를 보여줍니다. 깊이 추정은 2D 이미지에서 각 픽셀이 카메라로부터 얼마나 떨어져 있는지를 예측하는 기술입니다. 여기서는 색상으로 각 픽셀의 깊이가 표시되며, 빨간색과 보라색 등이 사용되어 카메라와의 거리를 나타내고 있습니다.
Normal (표면 법선 추정): 마지막 열은 표면 법선 추정 결과를 보여줍니다. 표면 법선 추정은 물체 표면의 방향을 예측하여 3D 형상을 더 정확하게 파악할 수 있게 해주는 기술입니다. 각 표면의 방향이 색상으로 표현되어, 인물의 얼굴과 신체 표면이 어떻게 구성되어 있는지 시각적으로 보여줍니다.
이 이미지는 사피엔스 모델이 인간의 이미지 분석 작업을 얼마나 정확하고 세밀하게 처리할 수 있는지를 보여주기 위해 구성된 것입니다
메타버스의 미래와 전망
메타의 코덱 아바타와 구글의 GameNGen 프로젝트는 각각 메타버스의 다른 측면에서 중요한 발전을 이루어내고 있습니다. 메타는 인간의 현실적인 디지털 표현을 강화함으로써 메타버스에서의 상호작용을 더욱 자연스럽고 몰입감 있게 만들고 있습니다. 이러한 기술은 단순히 메타버스의 기술적 발전에 그치지 않고, 다양한 산업 분야에서 새로운 기회를 열어줄 것입니다. 예를 들어, 가상 현실 기반의 원격 교육, 메타버스 기반의 사회적 상호작용, 그리고 가상 경제 시스템의 구축 등에서 이 기술들이 어떻게 활용될지 기대해 볼 만합니다.
<이하 광고>
