Πηγή: Sina Technology Synthesis
Η χρήση μιας μόνο κάμερας για την επίτευξη θαμπής φωτογραφίας δεν είναι κάτι καινούργιο, το προηγούμενοiPhone XRκαι νωρίτεραGoogle Pixel 2είχαν παρόμοιες προσπάθειες.
Το νέο iPhone SE της Apple είναι επίσης το ίδιο, αλλά είναιΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗΤο στοιχείο είναι πολύ παλιό, η κύρια πίστωση είναι ακόμα στον αλγόριθμο.
▲ Από αριστερά προς τα δεξιά, τοΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗαισθητήρες του νέου iPhone SE,iPhone 8καιiPhone XR
Από την αναφορά αποσυναρμολόγησης του iFixit, μπορούμε να δούμε ότι ορισμένα εξαρτήματα στο νέο iPhone SE είναι απολύτως συνεπή με τοiPhone 8, ακόμη και στο βαθμό που μπορούν να χρησιμοποιηθούν εναλλακτικά - συμπεριλαμβανομένης της ευρείας γωνίας 12 megapixelΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ .
Η πρακτική του «νέου κρασιού σε παλιά μπουκάλια» δεν είναι ασυνήθιστη για το iPhone SE.Πριν από τέσσερα χρόνια, το iPhone SE πρώτης γενιάς εφάρμοζε επίσης την εμφάνιση του 5s και του μεγαλύτερου μέρους του υλικού, έτσι η Apple μπορεί να δώσει χαμηλότερη τιμή.
Θεωρητικά, κατά την αντιγραφή του ίδιου υλικού κάμερας, τοΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗτα χαρακτηριστικά των δύο δεν πρέπει να είναι πολύ διαφορετικά.Για παράδειγμα,iPhone 8δεν υποστηρίζει τη λήψη φωτογραφιών μικρού βάθους πεδίου με καθαρό θέμα και θολό φόντο, κάτι που ονομάζουμε συχνά "λειτουργία πορτρέτου".
Αλλά όταν κοιτάξετε τη σελίδα υποστήριξης της Apple, θα διαπιστώσετε ότι η λειτουργία κατακόρυφης προβολής που δεν υποστηρίζεται από τοiPhone 8υποστηρίζεται από το νέο iPhone SE-ακόμα και αν οι προδιαγραφές πίσω φακού των δύο είναι ακριβώς οι ίδιες.
Υπό κανονικές συνθήκες, η λήψη θαμπών φωτογραφιών σε ένα κινητό τηλέφωνο συχνά χρειάζεται να γίνεται με διπλές κάμερες - όπως τα ανθρώπινα μάτια, το κινητό τηλέφωνο πρέπει επίσης να λαμβάνει δύο εικόνες σε διαφορετικές γωνίες μέσω δύο φακών σε διαφορετικές θέσεις και στη συνέχεια να συνδυάζει τις γωνίες προβολή Η διαφορά υπολογίζει το βάθος πεδίου για να επιτύχει θάμπωμα φόντου και να διατηρήσει το θέμα καθαρό.
Η σειρά Plus στη λίστα, ή τα X, XS και 11 τα τελευταία χρόνια, βασίζονται βασικά σε συστήματα πολλαπλών καμερών για την ολοκλήρωση της λήψης θολώματος πορτρέτου.
Πώς λύνεται λοιπόν η μπροστινή μονή κάμερα του iPhone;Ο πυρήνας βρίσκεται στον προβολέα υπέρυθρων κουκκίδων στο σύστημα Face ID, ο οποίος μπορεί επίσης να λάβει αρκετά ακριβή δεδομένα βάθους, τα οποία είναι ισοδύναμα με έναν «βοηθητικό φακό».
Από αυτή την άποψη, το iPhone SE μπορεί να τραβήξει φωτογραφίες σε λειτουργία πορτρέτου είναι πολύ ιδιαίτερο: πρώτον, δεν τραβάει πολλές λήψεις, δεύτερον, δεν έχει Face ID, ουσιαστικά δεν υπάρχει δυνατότητα υποστήριξης υλικού.
Προφανώς, η Apple έχει κάνει κάποιες αλλαγές που δεν μπορούμε να δούμε σε επίπεδο λογισμικού.
Πρόσφατα, ο Ben Sandofsky, ο προγραμματιστής της εφαρμογής κάμερας τρίτων Halide, αποκάλυψε τις τεχνικές αρχές, εξηγώντας γιατί το νέο iPhone SE χρησιμοποιεί τις ίδιες προδιαγραφές ενός φακού με τοiPhone 8, αλλά μπορεί να επιτύχει τη λειτουργία φωτογραφίας πορτρέτου που η τελευταία δεν μπορεί.
Είπαν ότι το νέο iPhone SE είναι πιθανό να είναι «το πρώτο iPhone που μπορεί να δημιουργήσει ένα εφέ θολώματος πορτρέτου χρησιμοποιώντας μόνο μία εικόνα 2D».
Θα μπορούσατε να πείτε ότι τοiPhone XRδεν είναι επίσης θάμπωμα μιας κάμερας.Δεν το αντιγράφει απλώς η SE;
Ωστόσο, η κατάσταση διάλυσης απέδειξε ότι ηκάμερεςτου iPhone SE καιiPhone XRδεν είναι συνεπείς, γεγονός που οδηγεί επίσης σε διαφορές στην τεχνική υλοποίηση των δύο.
▲Samsung Galaxy S7Η σειρά είναι η πρώτη συσκευή που χρησιμοποιεί τεχνολογία DPAF σε smartphoneΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ
Το πιο σημαντικό σημείο είναι ότι τοΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗαποiPhone XRμπορεί να χρησιμοποιήσει τεχνολογία αυτόματης εστίασης διπλού εικονοστοιχείου (DPAF), η οποία του επιτρέπει να λαμβάνει ορισμένα δεδομένα βάθους με βάση το υλικό.
Με απλά λόγια, η τεχνολογία DPAF ισοδυναμεί με τη διαίρεση του pixel στοΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗαισθητήρα σε δύο μικρότερα εικονοστοιχεία δίπλα-δίπλα για να τραβήξετε δύο φωτογραφίες με διαφορετικές γωνίες, όπως το αριστερό και το δεξί μας μάτι.
Αν και η διαφορά γωνίας που παράγεται από αυτό δεν είναι τόσο προφανής όσο αυτή του διπλούΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ, εξακολουθεί να είναι ευνοϊκό για τον αλγόριθμο να δημιουργεί δεδομένα βάθους.
▲Google Pixel 2, 3Δύο χάρτες ανισοτήτων που λαμβάνονται με χρήση τεχνολογίας DPAF είναι δύσκολο να γίνουν με γυμνό μάτι
αντιλαμβάνεται, αλλά μπορεί να βοηθήσει τον αλγόριθμο τμηματοποίησης εικόνας να κάνει κρίσεις
Προηγουμένως,Googleχρησιμοποίησε επίσης αυτή την τεχνολογία σεPixel 2, 3για να επιτύχετε θόλωση μιας λήψης.ΣτοΕικονοκύτταρο4, επειδή η κάμερα αντικαθίσταται από μια προδιαγραφή πολλαπλής κάμερας, η ανίχνευση παράλλαξης είναι σημαντικά πιο ακριβής από την απλή κάμερα.
▲ Ας ρίξουμε μια ματιά στα δεδομένα που έλαβε το Pixel 4 χρησιμοποιώντας δύο κάμερες.
Όσο για το νέο iPhone SE, επειδή οι αισθητήρες του είναι πολύ παλιοί, η Halide ισχυρίζεται ότι δεν μπορεί να βασίζεται στους αισθητήρες για να αποκτήσει χάρτες ανισότητας και βασικά μπορεί να βασίζεται μόνο στον αλγόριθμο μηχανικής εκμάθησης που παρέχεται από το τσιπ A13 Bionic για την προσομοίωση και τη δημιουργία δεδομένων βάθους χάρτες.
Μια εξήγηση είναι ότι η λήψη θολώματος πορτρέτου iPhone SE επιτυγχάνεται εξ ολοκλήρου από λογισμικό και αλγόριθμους.
▲ Τραβήξτε αυτήν τη φωτογραφία απευθείας μεiPhone XRκαι νέο iPhone SE
Η Halide χρησιμοποίησε τοiPhone XRκαι το νέο iPhone SE για να τραβήξετε μια φωτογραφία του κουταβιού (όχι πραγματική λήψη, απλώς για να τραβήξετε μια φωτογραφία "μίας φωτογραφίας") και στη συνέχεια να συγκρίνετε τα δεδομένα βάθους των δύο φωτογραφιών.
Διαπίστωσαν ότι τοiPhone XRαπλώς έκανε μια απλή τμηματοποίηση εικόνας για να βγάλει το κύριο σώμα, αλλά δεν αναγνώρισε σωστά το αυτί του κουταβιού.
▲ Γράφημα δεδομένων βάθους,iPhone XRστα αριστερά, το νέο iPhone SE στα δεξιά
Αλλά στο νέο iPhone SE, με τον νέο αλγόριθμο που παρέχεται από το τσιπ A13, έχουμε έναν χάρτη βάθους που είναι εντελώς διαφορετικός απόXR.Όχι μόνο αναγνωρίζει σωστά τα αυτιά και το γενικό περίγραμμα του κουταβιού, αλλά επίσης κάνει πολυεπίπεδη επεξεργασία για διαφορετικά υπόβαθρα.
Αυτού του είδους ο χάρτης βάθους δεν είναι 100% ακριβής.Ο Halide είπε ότι η ακρίβεια της αποκοπής και του θαμπώματος του νέου iPhone SE κατά τη λήψη θολών φωτογραφιών χωρίς πρόσωπο δεν είναι τόσο ακριβής όσο κατά τη λήψη πορτρέτων.
Ειδικά στην περίπτωση που ορισμένα θέματα και εικόνες φόντου είναι πολύ θολές, το πλεονέκτημα των πολλαπλών καμερών θα είναι πιο εμφανές αυτήν τη στιγμή.
▲ Σε αυτό το είδος θέματος χωρίς πρόσωπο και το θέμα και το φόντο δεν διαχωρίζονται σαφώς, το θάμπωμα του νέου iPhone SE
είναι εύκολο να κάνεις λάθη
Όπως μπορείτε να δείτε από αυτή την εικόνα, τοiPhone 11 Proεξοπλισμένο με ένα σύστημα πολλαπλών καμερών μπορεί όχι μόνο να περιγράψει πλήρως τα μικρά φυτά στο κούτσουρο, αλλά μπορεί επίσης να αναγνωρίσει την απόσταση του φόντου και να κάνει πολυεπίπεδη επεξεργασία.
▲ Γράφημα δεδομένων βάθους,iPhone 11 Proστα αριστερά, το νέο iPhone SE στα δεξιά
Στο νέο iPhone SE, παρά τα ίδια αποτελέσματα της πολυεπίπεδης επεξεργασίας, το θέμα και το φόντο έχουν συγχωνευθεί πλήρως.Φυσικά, η διαδικασία μετά το θάμπωμα θα είναι φυσικά πολύ χειρότερη από αυτήiPhone 11 Pro.
▲ Οι πραγματικές ασαφείς αποδείξεις,iPhone 11 Proστα αριστερά και το νέο iPhone SE στα δεξιά
Γι' αυτό, όταν το νέο iPhone SE χρησιμοποιεί το δικό του iOSΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗεφαρμογή, μόνο όταν ανιχνευτεί ανθρώπινο πρόσωπο, η "Λειτουργία Πορτραίτου" μπορεί να ενεργοποιηθεί για τη λήψη θολών φωτογραφιών.Σε άλλες περιπτώσεις, θα εμφανιστεί ένα σφάλμα.
Ο λόγος εξακολουθεί να σχετίζεται με τον αλγόριθμο της Apple.Ο Halide ανέφερε μια τεχνική που ονομάζεται "Portrait Effects Matte" (Portrait Effects Matte), η οποία χρησιμοποιείται κυρίως για την εύρεση του ακριβούς περιγράμματος των ανθρώπων σε φωτογραφίες σε λειτουργία πορτρέτου, συμπεριλαμβανομένων λεπτομερειών όπως γραμμή μαλλιών στην άκρη, πλαίσιο γυαλιών κ.λπ. Το θέμα και το φόντο τμηματοποιούνται.
Αλλά προς το παρόν, αυτό το σύνολο τεχνολογίας τμηματοποίησης που βασίζεται στη μηχανική μάθηση είναι πιο προετοιμασμένο για «πυροβολισμούς ανθρώπων», μπορεί πράγματι να αναπληρώσει την έλλειψη δεδομένων παράλλαξης σε έναΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗτηλέφωνα όπωςiPhone XRκαι iPhone SE, αλλά εάν το θέμα Ο αλγόριθμος θα κάνει επίσης ένα σφάλμα κρίσης κατά την αλλαγή χαρακτήρων από άλλα αντικείμενα.
Όσο για τηλέφωνα με πολλές κάμερες όπωςiPhone 11 Pro, μπορείτε να λάβετε δεδομένα παράλλαξης απευθείας μέσω τουΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗυλικού, ώστε να μπορούν επίσης να χρησιμοποιούν τη λειτουργία πορτραίτου σε σκηνές χωρίς πρόσωπο όταν χρησιμοποιούν τις δικές τουςΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗ.
▲ Ο μπροστινός φακός του νέου iPhone SE υποστηρίζει επίσης τη λειτουργία πορτρέτου και η ακρίβεια του προσώπου είναι πολύ υψηλή,
και η διαφορά απεικόνισης είναι μόνο στο εφέ bokeh
Φυσικά, οι τρίτοι προγραμματιστές μπορούν ακόμα να χρησιμοποιούν πράγματα που δεν υποστηρίζονται επίσημα.Τώρα η εφαρμογή Halide μπορεί να υποστηρίξειiPhone XR, SE για να τραβήξετε θολές φωτογραφίες μικρών ζώων ή άλλων αντικειμένων.Στην πραγματικότητα, χρησιμοποιεί επίσης την τεχνολογία μάσκας πορτρέτου της Apple για να αποκτήσει χάρτες βάθους και στη συνέχεια να προσθέσει τη δική της βελτιστοποίηση back-end για να επιτύχει.
▲ Χρησιμοποιώντας εφαρμογές τρίτων όπως το Halide, μπορείτε να χρησιμοποιήσετε το νέο iPhone SE για να τραβήξετε θολές φωτογραφίες θεμάτων που δεν έχουν πρόσωπο
Γενικά, το θάμπωμα πορτρέτου που επιτυγχάνεται με αυτό το νέο iPhone SE είναι το όριο που μπορεί να επιτευχθεί με τη βελτιστοποίηση λογισμικού για τηλέφωνα με μία κάμερα.Αυστηρά μιλώντας, αυτό οφείλεται στην πραγματικότητα στο τσιπ A13.Εάν δεν έφερε τον πιο πρόσφατο αλγόριθμο μηχανικής εκμάθησης, τοΦΩΤΟΓΡΑΦΙΚΗ ΜΗΧΑΝΗεμπειρία μόνο, η εμπειρία σκοποβολής SE προφανώς πρέπει να είναι μισή.
Επομένως, εξακολουθεί να έχει νόημα για τα smartphone να αναπτύσσουν συστήματα πολλαπλών καμερών.Μπορούμε να χρησιμοποιήσουμε εξαιρετικά ευρεία γωνία για να διευρύνουμε το οπτικό πεδίο και μπορούμε να βασιστούμε στον τηλεφακό για να αποκτήσουμε μη καταστροφικές φωτογραφίες με ζουμ.Βοηθά στην ανίχνευση επαυξημένης πραγματικότητας, αυτά δεν επιτυγχάνονται μόνο με μια αναβάθμιση OTA ή τη λείανση αλγορίθμων.
Φυσικά, το να καυχιέσαι στα τυφλά και να ανταγωνίζεσαι για τον αριθμό των καμερών είναι επίσης ενοχλητικό.Εάν το υλικό καθορίζει μόνο το κατώτερο όριο απεικόνισης, τότε ένα σύνολο εξαιρετικών αλγορίθμων μπορεί να αυξήσει σημαντικά το ανώτερο όριο απεικόνισης, ακόμη και να εκφράσει εκ νέου την αξία και την αξία του παλιού υλικού.δυνητικός.
Δεν ξέρω αν μπορούμε να περιμένουμε άλλα τέσσερα χρόνια.Όταν βγει η επόμενη γενιά του iPhone SE, θα είναι singleκάμεραέχετε ακόμα μια θέση στη βιομηχανία κινητής τηλεφωνίας;
Ώρα δημοσίευσης: Μάιος-06-2020