구글 AI 연구팀이 영화의 처음과 마지막 프레임 사이에 중간 프레임을 생성하는 AI를 개발했다.
지난 27일(현지시간) 코넬대학 공개형 논문 초고 저장소 '아카이브(arXiv.org)'에 '
From Here to There: Video Inbetweening Using Direct 3D Convolutions'라는 논문 제목으로 이 같은 내용이 게재됐다.
개발된 AI는 동물의 시각 피질을 응용한 딥 신경망으로 구성되어 있다. 2차원 회선 이미지 디코더, 3차원 회선 잠재적 표현 제너레이터, 그리고 비디오 생성기 같은 요소로 구성되어 있다.
먼저 이미지 디코더가 영화 처음과 마지막 프레임을 잠재적인 공간에 매핑하고, 잠재적 표현 생성기가 입력 프레임의 정보를 학습, 마지막으로 비디오 생성기가 중간 프레임을 생성한다.
연구진은 3개의 샘플을 이용해 개발한 AI의 성능을 실험했다. 각 샘플은 16프레임으로 이루어진 짧은 영화이고, 프레임 당 해상도는 64 × 64픽셀로 낮은 상태였다. 이 영화에서 추출한 처음과 마지막 프레임만 빼고 AI가 중간 14프레임을 생성시켰다.
AI는 각 샘플에 대해 100번 정도 모델을 실행하고 수정해 동일한 프로세스가 10회 정도 반복됐다. 실험 데이터는 총 5일 정도 걸렸으며, 엔비디아(NVIDIA) GPU 'Tesla V100'을 사용했다.
위 그림은 3편의 영화에서 AI가 만든 프레임과 실제 프레임을 각각 비교한 것으로 그다지 큰 차이가 없다. 각 영화 위의 열이 AI에 의해 생성된 프레임이며, 아래 열이 실제 영화에서 추출한 프레임이다.
이 기술이 먼저 적용될 분야는 애니메이션으로 AI를 이용해 프레임을 자동으로 생성해 어떤 내용도 만들 수 있다. 이는 애니메이션 업계에 일대 혁명을 일으킬 것으로 전망된다.
KPI뉴스 / 김들풀 전문기자 itnews@kpinews.kr
[저작권자ⓒ KPI뉴스. 무단전재-재배포 금지]
