Segmentation de séquence vidéo en plans cohérents pour compositing 2D

Conference: 27es journées de l’Association Française d’Informatique Graphique (AFIG)

Abstract

Dans le cadre d’un tournage cinématographique, le projet Previz vise à fournir au réalisateur une prévisualisation des effets spéciaux en temps réel pendant le tournage. Pour ce faire, il est nécessaire d’accorder le virtuel sur le réel, et plus particulièrement d’assurer une cohérence d’intéraction entre les personnages réels et les personnages virtuels. Dans ce cas, il est indispensable, dans le flux vidéo de la caméra réalisateur, d’une part de distinguer le sujet du décor et d’autre part de reconstituer son mouvement. Ce travail se concentre uniquement sur la distinction sujet/décor. Ce processus est connu pour fonctionner parfaitement en environnement contraint c’est-à-dire en utilisant un fond vert ou au mieux avec un décor dont les éléments qui le constituent sont statiques, en utilisant plusieurs caméras fixes, en controllant l’éclairage pour éviter les brusques variations de luminosités. Dans un premier temps, nous nous concentrons sur l’utilisation d’une caméra en mouvement libre dont la position dans l’environnement est calculée en temps réel. L’utilisation d’une caméra mobile entraîne des difficultés quant à la distinction de l’acteur dans le décor. D’une part des éléments du décor peuvent apparaître et disparaître du champ de vision de la caméra et, d’autre part, le décor qui est statique apparaît en mouvement dans la séquence vidéo. Une reconstruction partielle ou complète a priori du décor seul pourrait résoudre les problèmes de l’utilisation d’une caméra mobile mais nous nous plaçons dans le cas où un tel apprentissage est impossible.