Google förklarar “magin” med bokeh-effekten på Pixel 2, men den ser lite ut som räven med druvor

Medan man inte har en dubbel kamera bak (och inte ens fram) lovar Pixel 2 en porträttläge att konkurrera med konkurrenterna, med en Bokeh-effekt i DSLR-stil mestadels erhålls via mjukvara. Men hur är detta möjligt?

Google förklarar detta i ett långt inlägg på sin blogg, där det finns många tekniska detaljer som vi hänvisar till om du är intresserad. Här kommer vi kort att sammanfatta de viktigaste stadierna i porträttläget.

1. Fånga en bild HDR+för att få en perfekt belysning på hela scenen.
2. Tack vare maskininlärning kommer de separera pixlarna i förgrunden från de i bakgrunden. Det är uppenbarligen lättare sagt än gjort. Om förgrundsmotivet var framför en klassiker grönskärm det skulle vara enkelt, men i stället kan bakgrunden vara väldigt heterogen, och det är här TensorFlow kommer in i bilden.
3. En är byggd djupkarta för varje punkt i scenen, för att skilja den närmaste bakgrunden från den längst bort, och tillämpa en oskärpa proportionell mot dessa data, och inte en enhetlig. Detta sker tack vare “dubbla pixlar“, men här blir det lite felaktig. Pixel 2 är faktiskt utrustad med Fasdetektering autofokus (PDAF), som Google säger också kallas dubbla pixlar autofokus (DPAF). Detta är faktiskt inte korrekt, och det är DPAF som är en mer förfinad implementering av PDAF. Kort sagt, Pixel 2 har inte dubbla pixlar (ursäkta ordleken), men Google använder denna term lite felaktigt för att indikera att bilden återigen är uppdelad i två delar, en för den vänstra sidan av linsen och en för den rätta sidan. Skillnaden mellan dessa två synpunkter är bara en millimeter men det räcker för att utarbeta en djupkarta.
4. Sätt ihop alla dessa data, vilket resulterar i den slutliga bilden. Att kombinera “segmenteringsmask“av punkt 2 med”djupkarta“i steg 3 bestämmer algoritmen hur mycket varje pixel i HDR+-bilden som erhålls i steg 1 ska suddas ut. Uppenbarligen” är magin “här, på sättet som denna data kombineras.

De mest uppmärksamma läsarna har redan en fråga: och den främre kameran? Finns det PDAF där också? Svaret är nej, och faktiskt är porträttläget på Pixel 2:s främre kamera mindre exakt, eftersom det hoppar över steg 3.

Du kommer alltid att ha en oskärpa effekt, förutsatt att punkt 2 tydligt känner igen motivets ansikte mot bakgrunden, men det blir inte en “mjuk oskärpa”, som med den bakre kameran.

Maskininlärning som tillämpas på bildbehandling utförd av Google är säkert anmärkningsvärtoch BigG verkar mer än övertygad om att detta är framtiden, så mycket att artikeln slutar med: “Välkommen till den nya världen av mjukvarudefinierade kameror och datorfotografering!“

Men vi kan inte låta bli att fråga oss själva: varför så mycket ansträngning mjukvara när kan det göras (bättre?) via hårdvara? Detta påminner oss lite om förra året, när Google predikade godheten i sin EIS även jämfört med OIS. Synd att en av Pixel 2:s stolthet är kombinationen av dessa två teknologier. Det verkar nästan som att Google spelar rollen som räven med druvor, och om det ger oss så mycket kommer vi nästa år att ha dubbelkamera + maskininlärning. Och naturligtvis kommer Google att berätta för oss att det är den bästa lösningen någonsin.