Lytro : vidéo et sélection par profondeur

Lytro pour­suit son tra­vail sur les champs lumi­neux et a pré­sen­té à quelques semaines d’in­ter­valle deux nou­veau­tés mar­quantes : Immerge, à ma connais­sance le pre­mier sys­tème vidéo plé­nop­tique, et la ver­sion 5 de son logi­ciel de déve­lop­pe­ment pho­to, avec la sélec­tion par profondeur.

Plénoptique, vous dites ?

Pour ceux qui auraient raté les articles sur le sujet, un mot sur l’en­re­gis­tre­ment plé­nop­tique. Un cap­teur d’ap­pa­reil pho­to clas­sique dit : “à tel endroit, j’ai reçu telle quan­ti­té de lumière”. Et c’est tout. Ça per­met de savoir si c’est blanc ou noir, ou rouge ou vert, mais pas de savoir d’où le rayon venait ni ce qu’on aurait vu juste un mil­li­mètre plus loin.

Le prin­cipe d’un appa­reil plé­nop­tique est simple : dire “à tel endroit, j’ai reçu un rayon qui venait d’i­ci, un autre qui venait de là, un troi­sième qui venait d’i­ci”, et ain­si de suite. Je vais pas ren­trer dans la tech­nique, qui est beau­coup plus com­pli­quée que la théo­rie, mais l’i­dée est donc d’en­re­gis­trer non pas la pro­jec­tion des rayons sur un cap­teur, mais la tra­jec­toire indi­vi­duelle de chaque rayon péné­trant dans l’appareil.

Les avan­tages sont mul­tiples. Le pre­mier, c’est la pos­si­bi­li­té de refaire la mise au point à volon­té : vu qu’on a toutes les infor­ma­tions sur les rayons qui passent, on peut les pro­je­ter (cette fois mathé­ma­ti­que­ment) sur un cap­teur vir­tuel qu’on place où on veut. Il est pos­sible de géné­rer autant de pho­tos qu’on le sou­haite, avec à chaque fois des mises au point dif­fé­rentes. Deux exemples typiques : le pho­to­graphe de mariage peut shoo­ter une table une fois, puis géné­rer vingt pho­tos foca­li­sées sur cha­cun des vingt convives ; le pho­to­graphe de sport peut shoo­ter sa mêlée de rug­by et choi­sir tran­quille­ment, chez lui, de faire le point sur le bal­lon ou sur la tête d’un joueur. Dans le cadre ci-des­sus, cli­quez pour modi­fier la mise au point.

Le deuxième, c’est la pos­si­bi­li­té d’i­gno­rer cer­tains rayons lors du cal­cul de la pho­to : on peut donc ajou­ter un dia­phragme vir­tuel et choi­sir sa pro­fon­deur de champ à l’é­di­tion (de f/1 à f/16 pour le Lytro Illum), sans modi­fier l’ex­po­si­tion de la scène ! Notez qu’en mélan­geant ces deux fonc­tions, la ver­sion 4 du logi­ciel Lytro avait per­mis d’a­jou­ter l’ex­ten­sion de mise au point : choi­sir le pre­mier plan net, le der­nier plan net, et gar­der les avant- et arrière-plans coton­neux d’une large ouver­ture. Abso­lu­ment génial en por­trait (“net du nez à l’o­reille, mais l’ar­rière-plan de la pleine ouver­ture, merci”).

La troi­sième, c’est que le cap­teur vir­tuel peut éga­le­ment être dépla­cé et incli­né où l’on veut dans l’ap­pa­reil : il est donc pos­sible de faire du décen­tre­ment et de la bas­cule — lorsque je l’a­vais tes­té, j’a­vais ain­si pu rendre nets une per­sonne à moins de deux mètres de moi et un dra­peau au fond de la place, tou­jours dans une image à “pleine ouverture”.

Il n’y a qu’un incon­vé­nient, mais il est majeur : la quan­ti­té de don­nées à géné­rer, enre­gis­trer, puis trai­ter. L’Illum manque de réac­ti­vi­té, il pro­duit des fichiers énormes qui bouffent une carte mémoire comme qui rigole, et même un ordi­na­teur bien cos­taud va ensuite mettre un bon bout de temps à mou­li­ner tout ça pour géné­rer des images — et les pho­tos de sor­tie ne font que 4 Mpx !

Vidéo plénoptique

Avec Immerge, Lytro passe donc à la vidéo sphé­rique et plé­nop­tique. Sphé­rique, cela veut dire que leur bou­boule voit à 360°, comme un appa­reil de Google Street View ou un Ricoh The­ta. Plé­nop­tique, ça n’a pas chan­gé : elle enre­gistre pour chaque rayon qu’elle cap­ture sa tra­jec­toire exacte. Et tout cela, une tren­taine de fois par seconde, je vous laisse ima­gi­ner la gueule du ser­veur qui doit digé­rer ça.

Mais ensuite, comme pour les pho­tos, il doit être pos­sible de gérer mise au point, pro­fon­deur de champ et dépla­ce­ments du point d’ob­ser­va­tion (dans la limite du champ lumi­neux cap­tu­ré) à volon­té. Et comme avec toute vidéo sphé­rique, il est éga­le­ment per­mis d’o­rien­ter la zone visua­li­sée à volon­té. C’est le but d’Im­merge : per­mettre d’ob­ser­ver une vidéo avec un casque de réa­li­té vir­tuelle, avec non seule­ment la pos­si­bi­li­té de tour­ner la tête (déjà offerte avec un casque Ocu­lus et un Ricoh The­ta S par exemple), mais éga­le­ment celle de se dépla­cer de quelques cen­ti­mètres, de modi­fier la net­te­té, etc. En somme, le fils caché de la réa­li­té vir­tuelle et du ciné­ma. On ima­gine déjà les appli­ca­tions que cela pour­rait avoir (je pense que chez Dor­cel, on suit ça avec beau­coup d’intérêt).

Sélection par profondeur

Si Immerge marque les esprits, une nou­velle fonc­tion de la ver­sion 5 du logi­ciel pho­to qui accom­pagne l’Illum est au moins aus­si inté­res­sante. Rap­pe­lez-vous : dans la ver­sion 4, nous avions vu appa­raître l’ex­ten­sion de mise au point, où la zone de net­te­té n’é­tait plus limi­tée à un plan (“mise au point à 3 m”), mais pas­sait à un volume (“mise au point de 2,5 à 4 m”).

Cette fois, Lytro per­met car­ré­ment d’u­ti­li­ser la pro­fon­deur pour sélec­tion­ner des zones. Voi­là qui devrait sim­pli­fier bien des détou­rages : pour extraire le pre­mier plan de votre image, plu­tôt que d’u­ti­li­ser une brosse de sélec­tion en vous embê­tant à l’u­ti­li­ser che­veu par che­veu, un coup de cur­seur sur la bonne dis­tance s’oc­cu­pe­ra de l’ex­trac­tion voulue.

Ensuite, toutes les opé­ra­tions habi­tuel­le­ment effec­tuées par détou­rage sont pos­sibles : régler sépa­ré­ment les cou­leurs, l’ex­po­si­tion, les détails des dif­fé­rents plans, mais aus­si éven­tuel­le­ment rem­pla­cer un plan par un autre. Là encore, on ima­gine volon­tiers ce que cela pour­rait don­ner pour les cinéastes friands d’ef­fets spé­ciaux : au lieu de tout fil­mer sur fond vert pour per­mettre les incrus­ta­tions, l’hé­ri­tier de Michael Bay pour­ra juste sélec­tion­ner tout ce qui est à plus de trois mètres de la camé­ra et le rem­pla­cer à volonté.

La ver­sion 5 du logi­ciel ne sera lan­cée que dans les pro­chaines semaines, et il faut s’ins­crire pour espé­rer tes­ter un jour l’Im­merge. Mais Lytro pour­suit donc son défri­chage, en pho­to et désor­mais en vidéo, et les pers­pec­tives à long terme peuvent être surprenantes.