Developpez.com

Club des développeurs et IT pro
Plus de 4 millions de visiteurs uniques par mois

Google invente un algorithme pour le redimensionnement des vidéos
Capable de s'adapter aux différents formats d'écrans

Le , par Idelways, Expert éminent sénior
Des chercheurs Google ont développé en collaboration avec Georgia Tech un algorithme permettant de redimensionner les vidéos et de les adapter aux différents formats d'écran (4:3, 16:9...) sans rognage, ni étirement, ni bandes noires (Letterboxing)

L'algorithme identifie les éléments réellement important sur l'image : figures, visages et objets structurés (comme un immeuble) et préserve le ratio de ces derniers.

En revanche, les surfaces non-saillante comme le ciel, l'eau ou un arrière-plan flou hors mise-au-point sont écrasées ou étirées sans changer l'apparence globale et sans que le spectateur ne constate un changement radical.

Selon Google, l'algorithme inclut une fonctionnalité de maintien de la continuité temporelle de la vidéo au même titre que le maintien de la structure spatiale.

Ce lissage « spatio-temporel » peut être automatique ou guidée par la sélection de l'utilisateur ou, troisième possibilité, traité image-par-image. Il pourrait donc même être utilisé éventuellement pour les vidéos en streaming.

Une vidéo assez impressionnante illustre le fonctionnement de cet algorithme :



L'algorithme en est encore au stade expérimental. Mais bientôt utilisable par les développeurs ?

Source : le site du projet

Et vous ?

Que pensez-vous de cette technique : bluffante ou ordinaire ?
Pensez-vous qu'elle a un avenir ?

En collaboration avec Gordon Fowler


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de mabdylon mabdylon - Membre à l'essai https://www.developpez.com
le 15/09/2010 à 15:59
J'ai vu ça dans un tuto Gimp il y a quelques mois, le redimensionnement liquide :

« Liquid rescale » est une implémentation de l’algorithme « Seam Carving« . Un algorithme de redimensionnement d’image écrit par Shai Avidan et Ariel Shamir (ce sont eux les bons !!!), qui va privilégier la déformation de zones dites de moindre importance. L’importance d’un pixel est détecté par la mesure de son contraste par rapport aux pixels voisin. Nous avons la possibilité d’aider le plugin en repérant, grâce à un masque, les zones de grande importance qu’il faudra éviter de déformer.

Source : http://www.jopa.fr/index.php/2010/07/10/liquid-rescale/

Après le vrai tour de force c'est de faire ça en temps réel sur du streaming à mon avis... Enfin sans mettre 1 serveur dédié par stream on s'entend :p
Avatar de gmatta gmatta - Futur Membre du Club https://www.developpez.com
le 15/09/2010 à 16:08
Yes, ça pourrait être sympa pour la TV (TNT, chaîne par ADSL,...) !

Après il faut prendre en compte les droits d'auteur car pour moi ça reste de la modification d'une oeuvre, et donc pas forcément autorisé...

Quelqu'un pourrait m'éclairer sur ce point juridique ?
Avatar de dolu02 dolu02 - Membre actif https://www.developpez.com
le 15/09/2010 à 17:31
Ca a l'air bien fait, mais je ne vois pas trop l'intérêt, en tout cas pour tout ce qui est videos de divertissement.

Maintenant si il y a des cas où ça apporte réellement qqchose (recherche, militaire ou autre), alors oui.
Mais pour du youtube, ou TV, des bandes noires n'ont jamais fait de mal à personne.
Avatar de abriotde abriotde - Membre éclairé https://www.developpez.com
le 15/09/2010 à 20:38
Mais pour du youtube, ou TV, des bandes noires n'ont jamais fait de mal à personne.

Si c'est toujours désagréable de perdre une partie de l'écran quand celui ci est déjà réduit. (téléphone portable... ). Sans parler de l'intérêt de l'algorythme d'un point de vue extraction de donnée importante. Et là on touche au moteur de recherche, à la synthèse de documents, à la compression, aux effets artistique sur les images, à reconnaissance d'image .... bref tout ce qui touche à "comprendre" ce que représente une image, faire un lien avec un texte, en avoir une représentation mental. On en est toutefois pas encore là mais on s'en approche.
Avatar de sinasquax sinasquax - Membre régulier https://www.developpez.com
le 15/09/2010 à 22:25
Comme le premier commentaire le dit, c'est du seam carving inventé par Shai Avidan et Ariel Shamir qui est à la base un traitement sur image.

Et d'ailleurs ils ont aussi porté leur projet pour la vidéo :

http://www.faculty.idc.ac.il/arik/site/seam-video.asp
Avatar de amaury pouly amaury pouly - Membre actif https://www.developpez.com
le 16/09/2010 à 12:45
Effectivement, c'est basé sur un algorithme bien connu. Toutefois, il y a quand même deux choses intéressantes à noter:
  • L'algorithme est basé sur une fonction d'énergie que l'on peut modifier pour changer le résultat; trouver une bonne fonction d'énergie représente une part importante du travail et chacune à ses défauts/qualité
  • L'algorithme optimal pour une image utilise de la programmation dynamique et est très lent, aussi la partie optimisation est crucial pour que cet algorithme soit utilisable. Le faire tourner en temps réel est un vrai défi mais peut-être que çà peut aussi s'optimiser avec un GPU.
Avatar de GCSX_ GCSX_ - Membre confirmé https://www.developpez.com
le 19/09/2010 à 0:45
Comme le premier commentaire le dit, c'est du seam carving inventé par Shai Avidan et Ariel Shamir qui est à la base un traitement sur image.

Autrement dit, Google et Georgia Tech n'ont rien inventés. Ils se sont contenté d'implémenter.
Offres d'emploi IT
Expert décisionnel business intelligence H/F
Safran - Ile de France - Évry (91090)
Responsable protection des données H/F
Safran - Ile de France - Magny-les-Hameaux (78114)
Data scientist senior H/F
Safran - Ile de France - Magny-les-Hameaux (Saclay)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Accueil