Deep Fusion to całkowicie nowy sposób wykonywania zdjęć przez aparaty iPhone’ów 11, 11 Pro i 11 Pro Max. Zapowiedziana podczas prezentacji najnowszych smartfonów z Cupertino funkcja  nie pojawiła się w dniu ich premiery. Wszystko wskazuje na to, że Deep Fusion trafiła do iOS 13.2, którego pierwsza deweloperska beat może pojawić się już dziś.

Deep Fusion

fot 1. Przykład zdjęcia wykonanego przy użyciu technologii Deep Fusion

Deep Fusion to rewolucyjny system wykonywania zdjęć, który uruchamia się automatycznie przy fotografowaniu iPhonem w warunkach średniego oświetlenia, w tym zdjęć wykonywanych wewnątrz pomieszczeń (czyli statystycznie większości zdjęć jakie wykonujemy). Ale nie należy mylić tej funkcji z Trybem Nocnym, który uruchamia się przy minimalnej ilości światła.

Phil Schiller, prezentując Deep Fusion podczas konferencji Apple, opisał nową funkcję takimi słowami:

Fotografia obliczeniowa oparta na szalonej nauce.

Zależność od obiektywu i warunków oświetleniowych

Deep Fusion uruchamia się automatycznie, jednak jego działanie zależy od tego, którym aparatem wykonujemy zdjęcie oraz w jakich warunkach oświetleniowych:

• przy użyciu standardowego aparatu z obiektywem szerokokątnym: oprogramowanie iPhone’a wybierze funkcję rozszerzonego Smart HDR dla zdjęć z dobrym i średnim oświetleniem, Deep Fusion przy oświetleniu słabym, a Tryb Nocny przy ciemnych sceneriach;
• przy użyciu aparatu z teleobiektywem: w większości przypadków system użyje trybu Deep Fusion. Jedynie przy zdjęciach bardzo jasnych wybierze rozszerzony Smart HDR, a przy zdjęciach bardzo ciemnych nowy Tryb Nocny;
• przy użyciu aparatu z obiektywem ultraszerokokątnym: w tym wypadku oprogramowanie aparatu zawsze użyje trybu rozszerzonego Smart HDR. Ten obiektyw nie wspiera ani Deep Fusion, ani Night Mode.

Jak dokładnie działa Deep Fusion?

fot 2. Przykład zdjęcia wykonanego przy użyciu technologii Deep Fusion

Dobra wiadomość jest taka, że nie musisz się zastanawiać, czy włączyć Deep Fusion, czy nie – oprogramowanie aparatu robi to automatycznie. Nie ma więc żadnych przełączników czy wskaźników, które powiadamiałyby o użyciu Deep Fusion. Wszystko dzieje się samoistnie w tle.

Deep Fusion to cała masa operacji wykonywanych przez przetwornik obrazu, procesor A13 Bionic z Neural Engine oraz iOS 13. Zobaczmy co krok po kroku dzieje się w momencie wykonywania zdjęcia:

1. W chwili, w którym wciskasz spust migawki, aparat zdążył już wykonać 8 zdjęć – 4 „standardowe” oraz 4 z bardzo krótkim czasem naświetlania, żeby ruchome elementy nie były rozmyte. Wciśnięcie migawki skutkuje wykonaniem jednego zdjęcia o długim czasie naświetlania, by „wyciągnąć” detale z cieni.
2. Te 4 „zwykłe” zdjęcia łączone są z fotką wykonaną przy długim czasie naświetlania, tworząc tzw. „synthetic long”, czyli syntetyczne zdjęcie z długim naświetlaniem.
3. Następnie oprogramowanie wybiera najlepsze z 4 zdjęć z bardzo krótkim czasem naświetlania i łączy je w parę z „synthetic long”. Ten proces łączenia polega na skomplikowanej obróbce komputerowej – fotografie są badane i obrabiane piksel po pikselu, by ostatecznie wyciągnąć jeszcze więcej detali i udzielić procesorowi A13 informacji, w jaki sposób ma on połączyć zdjęcia. Priorytet w obróbce mają takie elementy kadru, jak włosy, skóra czy elementy naszego ubioru, natomiast ścianom, niebu czy innym elementom tła nadawany jest mniejszy priorytet.  Inaczej niż Smart HDR, Deep Fusion łączy tylko dwie klatki, nie więcej (choć jedna z tych klatek powstała z połączenia kilku innych).
4. Ostatecznie dwa zdjęcia łączone są w jedno i powstaje finalna fotografia.

Wszystkie te operacje łącznie trwają nieco około jednej sekundy, nieco dłużej, niż przy wykonywaniu zdjeć przy użyciu Smart HDR. Dlatego jeśli zrobimy kilka zdjeć pod rząd i zaraz potem przejdziemy do aplikacji Zdjęcia, fotki mogą być jeszcze przetwarzane i pojawią się minimalnym opóźnieniem (według Apple – maksymalnie półsekundowym).

Niestety, Deep Fusion działa wyłącznie na iPhone’ach 11, 11 Pro i 11 Pro Max. Apple argumentuje taki stan rzeczy koniecznością posiadania procesora A13 Bionic do wykonania zaawansowanej sekwencji procesów.

Szczęśliwym posiadaczom tegorocznych iPhone’ów pozostaje cierpliwie czekać na aktualizację iOS, która odblokuje system Deep Fusion (pierwsza deweloperska beta może pojawić się już dzisiaj). Nieco mniej szczęśliwym właścicielom starszych iPhone’ów pozostaje jedynie zazdrościć tym pierwszym (lub wymienić iPhone’a…).

Aktualizacja: Apple udostępniło pierwszą betę iOS 13.2 z Deep Fusion.