영화를 찍을 때 배우가 대사를 실수하면 해당 장면을 다시 촬영해야 한다. 그런데 인공지능(AI)이 해당 영상에서 말하고 있는 내용을 텍스트만 바꿔주면 영상과 음성이 동시에 수정되는 기술이 나왔다.
이 기술은 스탠포드대학과 막스플랑크 정보과학연구소, 프린스턴대학, 어도비연구소(Adobe Research) 연구원들이 공동으로 개발했다.
연구 결과는 지난 4일, 코넬대학 공개형 논문 초고 저장소 '아카이브(arXiv.org)'에 '텍스트 기반 음성 및 비디오 편집(Text-based Editing of Talking-head Video)'이라는 제목으로 게재됐다.
영상을 보면 여성이"애플의 주가는 종가 191.45달러를 기록했다"라는 대사를 말하고 있다. 이후 해당 문장을 "애플의 주가는 종가 182.25달러를 기록했다"고 수정하자 인공지능 시스템이 여성의 얼굴과 음성을 동시에 편집해 자연스러운 영상으로 수정됐다.
이 기술의 AI 시스템은 동영상을 입력하면 그 음성을 음소에 따라 분해하고 음소는 텍스트와 연결한다. 이후 텍스트를 수정하면 다른 음성에서 필요한 음소를 찾아 수정된 음성을 만들어준다. 이와 동시에 말하고 있는 사람의 얼굴 모델을 생성하고 수정된 음성에 따라 영상을 추적해 합성한다.
이 기술을 응용하면 배우가 영화 촬영에서 불량화면(NG)를 내도 해당 동영상을 쉽게 수정할 수 있어 영상 촬영, 편집과정 등의 비용 절감은 물론 물리적 시간을 현저히 줄일 수 있다.
한편, 지난달 구글 AI 연구팀은 영화의 처음과 마지막 프레임 사이에 중간 프레임을 생성하는 AI를 개발해 공개한 바 있다.
KPI뉴스 / 김들풀 전문기자 itnews@kpinews.kr
[저작권자ⓒ KPI뉴스. 무단전재-재배포 금지]
