L'outil s'appuie sur un autre dédié à la détection d'objets - BASNet. C'est grâce à ce dernier qu'il est possible de prendre un objet en photo, d'en détecter les contours et de supprimer l'arrière-plan.
Le transfert de l'image sans arrière-plan du smartphone vers l'environnement virtuel pour sa part s'appuie sur un stratagème monté autour d'OpenCV SIFT. Celui-ci permet entre autres de détecter les coordonnées de la zone d'écran sur laquelle l'opérateur veut déposer l'objet sans arrière-plan. Illustration avec le code source Python :
Code Python : | Sélectionner tout |
1 2 3 4 5 6 7 8 9 10 11 12 13 | import screenpoint import cv2 # Load input images. screen = cv2.imread('example/screen.png', 0) view = cv2.imread('example/view.jpg', 0) # Project centroid. x, y, img_debug = screenpoint.project(view, screen, True) # Write debug image. cv2.imwrite('example/match_debug.png', img_debug) |
L'outil est encore en développement comme le souligne le développeur Cyril Diagne en précisant qu'il s'agit d'un prototype de recherche. Les temps de latence actuels sont de 2 s pour le couper et 4 s pour le coller. Toutefois, la tête derrière l'outil ajoute qu'il est possible de les réduire. À date, Photoshop est le seul logiciel pris en charge et là aussi des extensions sont prévues pour le futur.
Sources : GitHub, BASNet
Et vous ?
Que pensez-vous de cet outil ?
Quelles sont les utilisations que vous entrevoyez ?
Qu'apporte-t-il par rapport à l'existant ?
Voir aussi :
Les entreprises recherchent surtout les ingénieurs expérimentés en Go et en réalité augmentée / virtuelle,alors que les ingénieurs préfèrent surtout JS et Python, d'après un rapport
Android : Google se lance dans la réalité augmentée sur mobile avec son projet ARCore, pour faire concurrence à Apple et son ARKit
Microsoft veut apporter la réalité augmentée aux PC Windows 10 en 2017, l'expérience Windows Holographic sera disponible dans une mise à jour
Le casque de réalité augmentée Magic Leap One disponible à 2295 dollars, pour un tel prix, est-ce une révolution ou juste un produit ordinaire ?