Διάβασα κάποια άρθρα για το πως δουλεύει το deep fusion και παραθέτω εδώ το πιο συνοπτικό αλλά και "ζουμερό" κατά την άποψή μου (από εδώ https://www.imore.com/youll-need-disable-capture-outside-frame-use-deep-fusion-iphone-11):
"Deep Fusion is a new computational photography process specifically on the iPhone 11 line because of the A13 chip. It blends together multiple exposures at the pixel level in order to create a photograph with an even higher level of detail than standard HDR. This means even more detailed textures in things like skin, clothing, and foliage.
Unlike Night Mode, Deep Fusion will happen automatically and we won't even notice it. However, it will only activate in certain situations.
With the Wide (Normal) lens, Deep Fusion kicks in at just above the 10 lux floor that triggers Night Mode. Whether Night Mode or Deep Fusion activates depends on the lighting source for the current scene. On the Telephoto camera, Deep Fusion will be active in pretty much everything except the brightest situations, as that is when the Smart HDR goes into effect due to the abundance of highlights.
Essentially, Deep Fusion has the camera shoot a short frame at a negative EV value. This results in a darker image than you would normally like, but it just pulls sharpness from this frame. It also shoots three regular EV0 images and then a long EV+ frame, aligns everything together, and blends all of the images into one.
You end up with two 12MP images that are combined together in a single 24MP photo. The process to do this uses four separate neural networks, which account for all of the noise characteristics of the camera sensors, as well as the photo subject matter.
The machine learning process looks at every individual pixel before combining, and it only takes about one second to process everything. Deep Fusion will happen in the background, and you'll never really notice it until you see the images it produces."
Ακόμα πιο συνοπτικά, συνήθως τραβάει μια υποφωτισμένη (που ως γνωστόν εξασφαλίζει καλύτερο μικροκοντραστ), τρεις με κανονική έκθεση που δίνουν βαρύτητα σε διαφορετικές παραμέτρους η κάθε μια, και μια "αργή" (μάλλον υπερφωτισμένη). Μετά όλα αυτά τα μαγειρεύει το Α13 - που θα μπορούσε άνετα να στείλει το Apollo στο φεγγάρι το 1968 - σε συνδυασμό με το ειδικό λογισμικό της apple, και προκύπτουν 2 φωτό που συνδυάζονται άλλη μια φορά για να δώσουν ένα τελικό αρχείο 24mp.
Δηλαδή αν το κάναμε χειροκίνητα, θα έπρεπε να τραβήξουμε συνήθως 5 καρέ υπολογίζοντας (επιεικώς) μερικές χιλιάδες παραμέτρους, και μετά να τις επεξεργαστούμε και να τις ευθυγραμμίσουμε για να πάρουμε το τελικό αρχείο.
Άρα η σύγκριση με μεμονωμένα αρχεία - κατά την προσωπική μου πάντα εκτίμηση - δεν ευσταθεί από τεχνική σκοπιά, παρά μόνο ως κρίση για το τελικό αποτέλεσμα. Παραπλήσιες φωτογραφίες από κανονικές μηχανές μπορούμε - εν μέρει - να πάρουμε μόνο με τα scene modes ή άλλες προηγμένες μεθόδους όπως in camera stacking, hdr κ.λ.π.
Τα οποία όμως αν κρίνω εξ ιδίων, καθώς κι απ' ότι έχω δει εδώ (και στο gallery) ΔΕΝ χρησιμοποιούμε - τουλάχιστον ως κύρια μέθοδο, αφού τραβάμε raw, raw+jpeg ή άντε να παίξουμε με κάποιες προσομοιώσεις - κυρίως οι κάτοχοι Fuji και... pen!
Θέλω να πω... Από την μια βάζουμε ένα Χ κινητό που εκμεταλλεύεται έναν ισχυρό υπολογιστή + λογισμικό για το οποίο έχουν δουλέψει κι εγώ δεν ξέρω πόσοι και ποιοι (και με τι resources), κι από την άλλη τραβάμε ένα καρέ, προκύπτει ένα jpeg μηχανής και το πάμε για σύγκριση.
Ενδιαφέρον εκ πρώτης όψεως, αλλά μάλλον ατυχές θα έλεγα...
edit: το deep fusion και το iphone αναφέρεται ως μια περίπτωση, τα ίδια ισχύουν και για άλλα κινητά και το σχετικό λογισμικό.
"Deep Fusion is a new computational photography process specifically on the iPhone 11 line because of the A13 chip. It blends together multiple exposures at the pixel level in order to create a photograph with an even higher level of detail than standard HDR. This means even more detailed textures in things like skin, clothing, and foliage.
Unlike Night Mode, Deep Fusion will happen automatically and we won't even notice it. However, it will only activate in certain situations.
With the Wide (Normal) lens, Deep Fusion kicks in at just above the 10 lux floor that triggers Night Mode. Whether Night Mode or Deep Fusion activates depends on the lighting source for the current scene. On the Telephoto camera, Deep Fusion will be active in pretty much everything except the brightest situations, as that is when the Smart HDR goes into effect due to the abundance of highlights.
Essentially, Deep Fusion has the camera shoot a short frame at a negative EV value. This results in a darker image than you would normally like, but it just pulls sharpness from this frame. It also shoots three regular EV0 images and then a long EV+ frame, aligns everything together, and blends all of the images into one.
You end up with two 12MP images that are combined together in a single 24MP photo. The process to do this uses four separate neural networks, which account for all of the noise characteristics of the camera sensors, as well as the photo subject matter.
The machine learning process looks at every individual pixel before combining, and it only takes about one second to process everything. Deep Fusion will happen in the background, and you'll never really notice it until you see the images it produces."
Ακόμα πιο συνοπτικά, συνήθως τραβάει μια υποφωτισμένη (που ως γνωστόν εξασφαλίζει καλύτερο μικροκοντραστ), τρεις με κανονική έκθεση που δίνουν βαρύτητα σε διαφορετικές παραμέτρους η κάθε μια, και μια "αργή" (μάλλον υπερφωτισμένη). Μετά όλα αυτά τα μαγειρεύει το Α13 - που θα μπορούσε άνετα να στείλει το Apollo στο φεγγάρι το 1968 - σε συνδυασμό με το ειδικό λογισμικό της apple, και προκύπτουν 2 φωτό που συνδυάζονται άλλη μια φορά για να δώσουν ένα τελικό αρχείο 24mp.
Δηλαδή αν το κάναμε χειροκίνητα, θα έπρεπε να τραβήξουμε συνήθως 5 καρέ υπολογίζοντας (επιεικώς) μερικές χιλιάδες παραμέτρους, και μετά να τις επεξεργαστούμε και να τις ευθυγραμμίσουμε για να πάρουμε το τελικό αρχείο.
Άρα η σύγκριση με μεμονωμένα αρχεία - κατά την προσωπική μου πάντα εκτίμηση - δεν ευσταθεί από τεχνική σκοπιά, παρά μόνο ως κρίση για το τελικό αποτέλεσμα. Παραπλήσιες φωτογραφίες από κανονικές μηχανές μπορούμε - εν μέρει - να πάρουμε μόνο με τα scene modes ή άλλες προηγμένες μεθόδους όπως in camera stacking, hdr κ.λ.π.
Τα οποία όμως αν κρίνω εξ ιδίων, καθώς κι απ' ότι έχω δει εδώ (και στο gallery) ΔΕΝ χρησιμοποιούμε - τουλάχιστον ως κύρια μέθοδο, αφού τραβάμε raw, raw+jpeg ή άντε να παίξουμε με κάποιες προσομοιώσεις - κυρίως οι κάτοχοι Fuji και... pen!
Θέλω να πω... Από την μια βάζουμε ένα Χ κινητό που εκμεταλλεύεται έναν ισχυρό υπολογιστή + λογισμικό για το οποίο έχουν δουλέψει κι εγώ δεν ξέρω πόσοι και ποιοι (και με τι resources), κι από την άλλη τραβάμε ένα καρέ, προκύπτει ένα jpeg μηχανής και το πάμε για σύγκριση.
Ενδιαφέρον εκ πρώτης όψεως, αλλά μάλλον ατυχές θα έλεγα...
edit: το deep fusion και το iphone αναφέρεται ως μια περίπτωση, τα ίδια ισχύουν και για άλλα κινητά και το σχετικό λογισμικό.
