오픈AI의 비디오 생성 도구 Sora는 2월에 출시되어 AI 커뮤니티를 놀라게 했으며, 경쟁업체들과 비교해서 훨씬 앞선 현실적인 비디오를 보여주었습니다. 그러나 신중하게 무대를 설계한 데뷔행사는 많은 세부사항을 생략했는데, Sora를 사용하여 짧은 영화를 만들 수 있는 촬영자가 세부사항을 보충해주었습니다.
토론토를 기반으로 한 디지털 제작팀인 Shy Kids는 오픈AI에 의해 오픈AI 홍보 목적으로 짧은 영화를 제작하기 위해 선정된 몇 명 중의 한 팀이었으며, "에어 헤드" 만들기에 상당한 창의적 자유를 부여하였습니다. fxguide라는 비주얼 이펙트 뉴스 아웃렛과의 인터뷰에서 포스트 프로덕션 아티스트인 Patrick Cederberg는 자신의 작업의 일부로 '실제로 Sora를 사용하는 것'에 대해 설명했습니다.
아마도 대부분의 사람들이 언플의 짧은 영화가 Sora에서 거의 완전히 생성되었다고 가정할 정도로 떠난 오픈AI의 후속 포스트들은 실제로 이것들이 프로페셔널 촬영물이라는 것, 강력한 스토리보드, 편집, 색 보정 및 로토스코핑 및 VFX와 같은 포스트 작업으로 완전한 제작품임을 강조하지 않습니다. 애플이 '아이폰 촬영'이라고 말하지만, 스튜디오 설정, 프로 편집, 컬러 작업은 보여주지 않는 것과 같이 Sora 포스트는 사람들이 무엇을 할 수 있는지만 언급하고, 실제로 어떻게 그것을 수행했는지는 언급하지 않습니다.
Cederberg의 인터뷰는 흥미로우며 매우 비기술적이므로, 조금이라도 관심이 있다면 fxguide로 가서 읽어보십시오. 그러나 Sora를 사용하는 것에 대한 몇 가지 흥미로운 사실들이 있으며, 우리가 생각한 것보다 모델이 실제로는 거대한 발전이 아닌 것으로 나타납니다.
가장 바람직하고 동시에 가장 알기 어려운 것은 여전히 제어입니다. ... 우리가 할 수 있는 가장 가까운 방법은 우리의 프롬프트에 매우 세부적으로 설명하는 것이었습니다. 옷장을 선택하고 캐릭터의 옷 색상을 설명하는 것은 일관성의 방법 중 하나였는데, 샷 간, 세대 간에 일관성을 완전히 제어할 수있는 기능이 아직 마련되어 있지 않습니다.
다시 말해, 전통적인 필름 제작에서 간단한 문제인 캐릭터의 옷 색상 선택과 같은 문제는 각 샷이 다른 것과 독립적으로 생성되기 때문에 복잡한 우회해결책과 점검이 필요합니다. 이는 변할 수 있지만, 현재는 훨씬 더 번거로운 과정입니다.
Sora의 출력물은 불필요한 요소를 확인하기 위해 확인되어야 했습니다. Cederberg는 주인공이 머리로 사용하는 풍선에 얼굴을 생성하거나, 앞쪽에 매달린 끈을 생성하는 모델이 계속 생성되는 것을 설명했습니다. 이러한 요소들은 제외되도록 프롬프트를 설정할 수 없는 경우 후 처리에서 제거해야 하는 다른 시간 소비적인 프로세스였습니다.
캐릭터나 카메라의 정확한 타이밍과 이동은 실제로 불가능합니다. Cederberg는 '실제 생성에서 이러한 다양한 동작이 어디에서 일어나는지에 대한 약간의 시간 제어가 있지만, 정확하지 않습니다 ... 이것은 조준하는 것과 같습니다,'라고 말했습니다.
예를 들어, 손 흔들기와 같은 제스처의 타이밍은 매우 대략적이고 제안 중심적인 프로세스이며, 수동 애니메이션과는 다릅니다. 또한 캐릭터의 몸을 상단으로 팬하는 샷은 제작자가 원하는 것과 일치할 수도 있고 일치하지 않을 수도 있습니다. 이 경우 팀은 세로 방향으로 구성된 샷을 렌더링하고 후 처리에서 크롭 팬을 수행했습니다. 생성된 클립은 종종 특별한 이유없이 슬로우 모션으로 만들어졌습니다.
사실, '우측으로 이동' 또는 '트래킹 샷'과 같은 필름 제작의 일상적인 언어를 사용하는 것은 일반적으로 불일치했으며, 이는 팀이 상당히 놀랍게 여겼습니다.
'연구원들은 도구를 사용해보기 전에 예술가처럼 생각한 적이 없었기 때문입니다,'라고 그는 말했습니다.
결과적으로 팀은 각각 10~20초의 수백 개의 생성을 수행했으며, 결과적으로 소수만 사용하게 되었습니다. Cederberg는 비율을 300:1로 추정하였으며, 물론 보통의 촬영에서의 비율에 대해 우리는 아마도 모두 놀랐을 것입니다.
이 팀은 실제로 문제에 부딛힌 일부 내부 비디오를 설명하는 비하인드 신스 비디오를 만들었으며, 궁금한 사람들을 위해 제공합니다. AI와 관련된 많은 콘텐츠와 마찬가지로, 댓글들은 전반적으로 전체 노력에 대해 비판적이지만, 최근 우리가 비난받은 AI 지원 광고만큼은 아닙니다.
마지막으로 저작권 문제에 대한 흥미로운 착기는 다음과 같습니다: Sora에게 '스타 워즈' 클립을 요청하면 거절할 것입니다. 그리고 '레트로 미래적 우주선 상에 레이저 검을 든 로브드 맨'으로 피하려고 시도해도 동일하게 거절합니다. 어떤 메커니즘을 통해 당신이 무엇을 시도하고 있는지 인식하기 때문입니다. 그리고 '아로노프스키식 샷'이나 '히치콕 줌'과 같은 것도 거절합니다.
한편으로는 이해하기 쉽지만, Sora가 이러한 것을 알고 있는데, 그러면 모델이 그것이 저작권을 침해한다는 것을 인식하는 것을 배우려면 그 내용이 학습되었음을 의미하는 것일까요? OpenAI는 훈련 데이터를 세심하게 보존하며 대부분의 경우 우리에게 알려주지 않으리라는 점까지도 현저하기 때문에 명확히는 알려주지 않을 것입니다.
영화 제작에서 Sora와 그 사용에 대해 말하면, 분명히 그것은 그 자리에서 강력하고 유용한 도구이지만, 그 장소는 '전체적인 천부적인 영화를 만드는 것'이 아닙니다. 아직. 다른 악당이 한번 유명히 말했다시피, '그것은 나중에 옵니다.'
