Google využívá strojového učení k vylepšení portrétového módu

Telefony Pixel 3 a Pixel 3 XL mají ty nejlepší kamerové systémy současnosti. Google zároveň chtěl ukázat, že i s jedním senzorem na zadní straně dokáže udělat fotky, jak kdyby měl duální fotoaparát.

I bez druhého senzoru hloubky dokáže Google udělat bokeh efekt v portrétovém módu a to za pomoci softwaru. Společnost Google vysvětluje, jak dokáže odhadovat hloubku bez použití druhého senzoru.

Pixel 2 a Pixel 2 XL používaly Bokeh efekt softwarově

Bokeh efekt

Minulý rok Pixel 2 a Pixel 2 XL používaly PDAF, taktéž známo jako duální-pixel auto focus, zároveň s tradičním stereo algoritmem (bez učení). Funkce PDAF zachytila obraz ve dvou různých pohledů na stejné scéně a vytvořilo efekt. V takové chvíli bylo možné vytvořit hloubkovou mapu k dosažení bokeh efektu. Telefony z roku 2017 dokázaly vytvořit parádní portréty s rozmazaným pozadím, které jste mohli buď více či méně použít. Google tento mód chtěl u svých telefonu Pixel 3 a Pixel 3 XL vylepšit.

Výpočet zbývající hloubky

PDAF funkce opravdu funguje, ale má pár chyb ve chvíli, kdy přijde na zbývající hloubku scény. Právě k tomuto vylepšení dorazila nová funkce, která se u Pixel 3 telefonu zaobírá porovnáním objektů s objekty „bez zaostření“. Počítání jednotlivých pixelů na fotografií pomáhá vypočíst, jak daleko daná osoba od kamery je. Ve chvíli, kdy má dostatek dat, tak díky algoritmu, který má Google, tak vypočte přesnou hloubku pro dokonalý bokeh efekt.

Učení neuronové sítě

Učení algoritmu probíhalo s 5 fotoaparáty

Aby algoritmus fungoval, tak firma Google musela využít 5 mobilních telefonu, které udělaly fotografií v jedné chvíli (nebo s rozmezím 2 milisekund). Díky těmto fotkám dokázali algoritmus naučit, jak se má za jaké situace chovat. Po vyfocení tak nové telefony Pixel 3 a 3 XL využívají tuto chytrou síť, která fotku zpracovává.