Google má novou technologií „Fused Video Stabilization“ + vysvětlení pojmů

Máme pro vás video, kde si porovnáte video, kde není zapnutá ani optická stabilizace obrazu a ani elektronická stabilizace obrazu. Výsledek je roztřesený obraz a ve výsledku z videa nic nemáte.

Když se však podíváte na nové video, které publikovali na Google Blogu, tak vidíte, jak je taková stabilizace důležitá.

Co je to optická stabilizace obrazu (OIS) ?

Je to asi nejznámější metoda, se kterou se dá odstranit efekt třesení ruky. Typicky je v kamerových modulech s OIS čočka, která je zavěšená ve středu modulu s množství různých pružit a elektromagnety  jsou k tomu, aby se pohybovali uvnitř čočky v jejím krytu. Modul objektivu aktivně snímá a kompenzuje efekt třesení ruky ve vysokých rychlostech. OIS dokáže reagovat na pohyb velmi rychle a tak dokáže potlačit toto rozostření rukou. Nicméně rozsah opravitelného pohybu je omezený a to na obvyklých 1 – 2 stupně. Což rozhodně nestačí proti nadměrnému rozmazání při chůzi. Může také nastat „Jello Artifact“.

Elektronická stabilizace obrazu (EIS)

Sleduje pohyb kamery a odfiltruje nežádoucí součásti a upravuje každičký snímek videa. Konečná stabilizace tak následně závisí na algoritmu výrobce a jeho optimalizaci. Obecně platí, že EIS je flexibilnější než OIS, takže dokáže opravit větší množství pohybu. Nicméně i EIS má své limity. K tomu, aby se zabránilo nežádoucím videím (deformovaným), tak je zapotřebí zmenšit zorné pole nebo rozlišení. Zadruhé EIS potřebuje silný telefon, jelikož při nahrávání využívá mobilní procesor mnohokrát více, než OIS.

Fused Video Stabilizace

Google zkombinoval tyto dvě funkce dohromady v průběh nahrávání videa. Řešení má tři stupně zpracování viz. schéma níže. První stupeň je zpracování, analýza pohybu, extrakce signálu gyroskopu, pohyb OIS a další vlastnosti na odhad pohybu kamery.

Diagram

Následuje fáze filtrování, kde je strojové učení, zpracovává se signál a to vše proto, aby se předpověděl záměr osoby při pohybu fotoaparátu.

Ve fázi tři se již modelují snímky. Díky této funkce mají videa v Pixel 2 menší pohybové rozostření a vypadají přirozeněji. Toto řešení je natolik efektivní, že funguje ve všech módech jako je 60fps nebo 4K nahrávání.

Strojové učení na videu. Google dokázal odhadnout, že uživatel chce jít doprava, proto dokázal vyfiltrovat tento třes a následně tak vypadá video mnohem přirozeněji.