비디오와 이미지의 연속성이 부족해서 AI 업계의 고민이 깊었지만 다양하고 일관된 캐릭터 애니메이션을 만들 수 있게 해주는 혁신적인 기술이 스로리 디퓨전(story diffusion)에 의해 개발 될 예정입니다.
스토리 디퓨전은 consistent self-attention for long-range과 video generation이라는 두 가지 기술을 결합한 기술을 github에 발표했습니다. 이를 통해 캐릭터를 일관되게 유지하면서도 풍부한 스토리를 만들 수 있습니다. 아래의 카툰을 보시면 다른 ai 서비스와 달리 캐릭터가 한 공간안에서 다양한 행동을 취하는 등 놀랍도록 일관된 캐릭터가 생성된 것을 알 수가 있습니다.
더욱이 아래의 배포된 그림을 보시면 캐릭터 3명이 스토리에 개입되어 서로 다른 역활을 부여받았음에도 그 들이 확실히 구분되는 역활을 카툰 속에서 잘 소화해 주는 것을 볼 수 있습니다. 잘하고 있습니다.
consistent self-attention 기술은 아래 도표에 나타난 것처럼 캐릭터를 환경으로 부터 분리해내고 그 캐릭터의 행동을 전부다 분해해서 다시 조립하는 과정을 보여주고 있습니다. 그리하여 이미지와 비디오가 더욱 안정적으로 긴 시퀀스를 유지하면서 다양한 스토리를 만들어냅니다.
또 다른 하나는 motion predictor기술인데요, 이는 이미지 간의 연관성을 파악하고 부드러운 전환을 만들어서 일관된 비디오를 만들어냅니다. 이것으로 생성되는 이미지와 이미지를 연결한 비디오를 통제할 수 있게되는 것입니다.
이런 기술을 통해 마음에 드는 캐릭터와 스타일로 다양하고 일관된 애니메이션을 만들어낼 수 있습니다. 더욱이 캐릭터의 변화 없이도 풍부한 이야기를 표현할 수 있기 때문에 제작자들은 스토리에 집중할 수 있게 되었습니다.
스토리 디퓨전은 또한 다양한 캐릭터의 생성도 가능합니다. 여러 캐릭터의 정체성을 유지하면서 일관된 이미지를 생성할 수 있기 때문에 복잡한 시나리오나 다양한 캐릭터가 등장하는 스토리에도 적합합니다.
스토리 디퓨전은 애니메이션 제작뿐만 아니라 블로그나 유튜브 채널에서도 활용할 수 있습니다. 코믹 제작, 유튜브 동영상, 블로그 포스팅 등 여러분의 창작 활동에 새로운 가능성을 제공할 것으로 보입니다.
<이하 광고>