On a souvent coutume d'utiliser les moteurs de recherche d'images au travers de simples requêtes par mots clés. Pourtant, il existe de nouveaux outils, proposés par les géants du Search comme Google et Bing, mais également par des start-ups, qui mettent à votre disposition des fonctionnalités de recherche innovantes et étonnantes, le tout basé sur des algorithmes de Machine Learning permettant d'aller assez loin dans les requêtes et les stratégies de veille. Voici 5 de ces outils qui proposent des fonctionnalités que vous ne connaissez peut-être pas...

Par Christophe Deschamps


Qu’il s’agisse de rechercher des photos dans le but d’illustrer des publications, de rechercher des contenus similaires à une image existante, d’identifier automatiquement des sujets ou des objets présents dans une photographie ou de mener des investigations sur des clichés (IMINT), les images et les photographies génèrent de plus en plus d’usages (et de chiffre d’affaires) sur le Web. Quelques études et statistiques récentes sont d’ailleurs éloquentes à ce sujet. C’est par exemple plus de 600 millions de recherches visuelles qui sont menées sur Pinterest tous les mois avec leur technologie Lens . Une étude du cabinet Intent Lab menée en 2019 révèle également que lorsqu’il s’agit de shopping en ligne, 59 % des personnes sondées pensent que l'information et la recherche visuelle sont plus importantes que l'information textuelle. Une autre étude effectuée par la société Markets&Markets en 2019 indique par ailleurs que le marché de la reconnaissance automatique de photos va passer de 16 milliards de dollars en 2016 à presque 40 milliards en 2021. Enfin, une dernière étude de la société ViSenze montre que 62% des sondés issus d’un panel agé de 19 à 40 ans (Génération Y et Z) plébiscite les possibilités de recherche par images plus que d’autres technologies de recherche sur leur portable.

La conséquence logique de ces attentes est que les acteurs historiques du Search proposent de nouvelles fonctionnalités, mais aussi que des nouvelles start-ups se lancent sur le marché. Nous avons donc choisi dans cet article de vous en présenter cinq outils, acteurs ou fonctionnalités qui nous semblent innovants et pourraient bien devenir habituels dans les années (voire les mois) à venir.

The Wolfram Image Identification Project (https://www.imageidentify.com/)

Le « moteur » de calcul en langage naturel Wolfram Alpha lancé par Stephen Wolfram en mai 2009 est un outil unique en son genre, que nous avions eu l’occasion de décortiquer dans ces colonnes en …2009. Il a bien sûr énormément évolué depuis et propose toujours plus de fonctionnalités étonnantes. Parmi celles-ci, l’Image Identification Project qui, s’il n’est pas tout à fait neuf (lancé en 2015), se bonifie en permanence du fait des technologies de Machine Learning mises en oeuvre.  Son but est de décrire le mieux possible le contenu d’une photographie. Vous allez pour cela lui soumettre un cliché présent sur votre disque dur et il va alors lancer l’identification.

 


Fig. 1. Identfication proposée par Wolfram Image Identification Project.

Vous pourrez ensuite lui indiquer s’il a réussi l’identification afin de l’aider à « apprendre ».

Si vous lui fournissez la photo d’une personne connue, le système ira plus loin et vous proposera des données supplémentaires la concernant.


Fig. 2. Données supplémentaires ajoutées à la recherche d'un personnage connu.

Google Image Analysis Tool (https://cloud.google.com/vision/#dmonstration-de-lapivision)

Bien évidemment, Google n’est pas en reste sur le sujet et a lancé en avril dernier un puissant service accessible via une API mais qu’il est toutefois possible de tester. La photo que vous lui soumettez va être analysée de 7 manières différentes. L’algorithme tentera d’identifier :

  • Des visages ou des lieux (avec dans le premier cas une détection des sentiments exprimés) :


Fig. 3. Détection des émotions sur les visages présents dans la photographie.

  • Des objets :


Fig. 4. Identification d'objets.

  • Des labels : c’est-à-dire des éléments ou des concepts identifiés dans la photo mais qui n’en sont pas le sujet principal :


Fig. 5. Détection de concepts et éléments liés à la photographie.

  • Des « web entities », c’est-à-dire les mots-clés qui ont été associés à l’image à travers sa réutilisation sur le Web (par exemple dans les titres qui lui ont été donnés dans les journaux l’ayant reprise).


Fig. 6. Mots-clés associés à la photographie dans des publications en ligne.

  • Des propriétés : le panel des couleurs utilisées dans la photo.


Fig. 7. Panel des couleurs présentes dans la photographie.

  • Safe search : indique si le contenu de l’image est, a priori, pour adultes, parodique, médical, violent, raciste.

Un outil extrêmement puissant, vous l’aurez compris, qui ouvre la porte à de très nombreuses applications, notamment dans le domaine de la reconnaissance faciale.

EveryPixel (https://labs.everypixel.com/api/demo)

EveryPixel est une société singapourienne qui propose une API intégrant quatre « outils ». Ainsi, après avoir soumis une photo, le service propose quatre types d’analyses :

  • Image Keywording : présente les mots-clés thématiques qu’il associe à celle-ci.


Fig. 8. Présentation de mots-clés en rapport avec la photo.

  • Stock photo scoring : un algorithme va ici analyser la qualité technique et esthétique de la photo et lui attribuer un score. Le produit est destiné aux banques d’images en ligne et doit leur permettre de faire rapidement le tri dans les clichés.


Fig. 9. Détection de la qualité technique et esthétique des images.

  • UGC Photo scoring : l’idée est un peu la même ici, mais plutôt orientée vers les médias sociaux afin de leur permettre d’attribuer des notes aux photos soumises par leurs utilisateurs (User Generated Content) et de pouvoir ensuite proposer des classements ou des filtres.
  • Age recognition : enfin, et toujours à l’aide d’algorithmes apprenants, le système va tenter de déterminer l’âge des personnes présentes sur une photo et les résultats sont plutôt probants (même s’il a rajeuni l’auteur de ces lignes de 3 ans 🙂 ).

PimEyes (https://pimeyes.com/en/search)

Ce service, lancé en 2019, permet de rechercher les photos dans laquelle une personne est présente à partir d’une photo originale, ce qui diffère des services de recherche par similarité  de type TinEye, qui recherchent les photos identiques à un original.  Le service dit indexer plus de 50 millions de sites web afin d’effectuer ces comparaisons.

Nous avons lancé le test avec une photo de l’auteur Joyce Carol Oates.


Fig. 10. Interface permettant d'ajouter les photos des personnes ciblées.

Notez d’ailleurs qu’il est possible d’ajouter plusieurs photos de la personne à rechercher afin de permettre à l’algorithme d’être plus précis.

On peut voir dans les résultats que PimEyes trouve sans problème des photos de l’écrivaine dans des contextes variés.


Fig. 11. Page de résultats de PimEyes.

On constate également que seule une partie des résultats est accessible dans la version gratuite de l’outil. Ils peuvent être filtrés par noms de domaine et période de publications. Enfin, la version payante propose un système d’alerte qui vous préviendra lorsqu’une nouvelle photo de la personne ciblée sera détectée. Un bel outil de veille sur l'image donc. La limite étant, comme toujours avec les services basés sur le Machine Learning, qu’il fonctionne très bien avec les personnes connues dont les nombreuses photos en ligne constituent un corpus d’apprentissage suffisant, mais beaucoup moins avec celles du quidam moyen. Quoiqu’il en soit, il s'agit là d'un service à suivre de près.

Bing Visual Search (https://www.bing.com/visualsearch)

Même si la fonctionnalité date de 2017, il serait dommage de ne pas terminer ce tour d’horizon sans évoquer  Bing Visual Search. Il s’agit d’une fonctionnalité qui, via Bing Images, permet de zoomer sur le détail  d’une photo et d’afficher des formes similaires ou proches, comme on peut le voir ci-dessous.


Fig. 12. Exemple de photographies aux formes proches de l'élément choisi.

Avec un peu de patience, on sera bientôt en mesure de mener des recherches à la manière de l’agent Deckard !


Fig. 13. Interface de recherche 3D tirée du film Blade Runner (1982).

On le voit, les fonctionnalités d’aide à la recherche d’images sont nombreuses et offrent des expériences  de plus en plus variées aux utilisateurs. Même si nombre d’entre elles sont déjà payantes ou le deviendront à terme, il est évident que les acteurs vont se multiplier dans ce domaine et il ne serait pas étonnant de voir bientôt des sociétés proposer aux marketeurs et enquêteurs en ligne (OSINT) des suites logicielles ou des services en cloud aux fonctionnalités avancées pour des tarifs de plus en plus dérisoires, comme on l’a souvent vu dans d’autres domaines.


Christophe Deschamps,  Consultant-formateur : veille stratégique, intelligence économique, social KM, e-réputation, mindmapping, IST (http://www.outilsfroids.net/)