Stell dir eine Kamera im iPhone vor, die Bilder von Dingen erfassen kann, die wir Menschen mit bloßem Auge gar nicht sehen. Auf den ersten Blick mag das sinnlos wirken, doch Kameras dienen nicht nur dazu, sichtbare Motive zu fotografieren. Schon seit Langem helfen sie auch dabei, Informationen aufzuspüren, die dem menschlichen Auge verborgen bleiben. Infrarotkameras können zum Beispiel Temperaturunterschiede sichtbar machen, Röntgenkameras innere Strukturen untersuchen. Ultraviolettkameras wiederum erkennen Hautschäden und können an Tatorten Spuren sichtbar machen.
Multispektrale Bildgebung ermöglicht bessere Fotos, weil sie Unsicherheiten bei der Bildverarbeitung verringert. Durch die Erfassung zusätzlicher Wellenlängeninformationen kann die Kamera Oberflächeneigenschaften und Lichtverhältnisse besser verstehen, was Farben, Belichtung und Szenenanalyse verbessert. Außerdem lässt sich dadurch leichter Vorder- vom Hintergrund trennen.
Die rückwärtigen Kamerasensoren des iPhone können bereits heute einige Wellenlängen außerhalb des sichtbaren Bereichs registrieren, vor allem Infrarotlicht. Ein integrierter Sperrfilter verhindert bei normalen Fotos allerdings, dass der Großteil dieses Lichts den Sensor erreicht. So vermeidet Apple ausgewaschene Bilder und sorgt für natürliche Farben. Auch das TrueDepth-Kamerasystem eines iPhone mit Face ID arbeitet bereits mit Infrarot und nimmt ein Infrarotbild deines Gesichts auf. Künftig könnte Apple jedoch deutlich weitergehen: Das iPhone könnte Licht in mehreren klar getrennten Wellenlängenbereichen erfassen und damit eine Art „Super-Vision“ erhalten.
Spannende Entwicklung
Dem chinesischen Leaker „Digital Chat Station“ zufolge prüft Apple derzeit eine Aufrüstung der iPhone-Kamera um multispektrale Bildgebung. In einem Beitrag auf Weibo schrieb der Tippgeber, Hinweise aus der Lieferkette würden darauf hindeuten, dass Apple Komponenten für ein mögliches zukünftiges System erforsche. Noch befinde sich das Projekt offenbar in einem sehr frühen Stadium, und es ist gut möglich, dass die Technik am Ende nie in einem iPhone landet. Trotzdem ist die Entwicklung spannend.
Bislang sind iPhone-Kameras wie alle anderen Smartphone-Kameras darauf ausgelegt, sichtbares Licht aufzunehmen. Sie arbeiten mit einem Bayer-Filter, also einem Muster aus Farbfiltern, das vor den Pixeln des Bildsensors liegt. Apple setzt bei einigen Modellen auf einen Quad-Bayer-Sensor. Der Sensor misst die Lichtintensität, während der Filter – ein Mosaik aus Rot, Grün und Blau – die Farbinformationen für jede Pixelposition erfasst. Dieses Muster wird anschließend an den Bildprozessor weitergegeben, dort analysiert und mithilfe eines Verfahrens namens Demosaicing in ein vollständiges Farbbild umgerechnet.
LiDAR steht für „Light Detection and Ranging“ und kommt bereits in den Pro-Modellen von iPhone und iPad zum Einsatz. Sie ermöglicht eine fortschrittliche Tiefenerfassung, verbesserte Augmented Reality und einen besseren Autofokus bei wenig Licht. Das Grundprinzip ist recht einfach: Das System sendet einen schwachen Laserimpuls aus und misst die Zeit, die das Licht für den Rückweg benötigt. So lässt sich die Entfernung von Objekten bestimmen. Dadurch kann LiDAR die Umgebung besser erfassen, weshalb die Technik auch zur Erstellung von 3D-Karten genutzt wird.
Die multispektrale Bildgebung arbeitet dagegen ohne eigene Lichtquelle. Stattdessen nutzt sie in der Regel äußeres Licht aus mehreren sichtbaren und unsichtbaren Spektralbereichen, das von Sensoren erfasst wird. So kann sie erkennen, worum es sich bei einem Objekt handelt, weil die Technik Material und Zustand besser einordnen kann. LiDAR hingegen dient dazu festzustellen, wo sich etwas befindet, da es besonders gut Raum und Struktur erfasst. Was ein Objekt genau ist, woraus es besteht oder welche Farbe es hat, kann LiDAR dagegen nicht bestimmen.
Ein breiteres Spektrum
Die multispektrale Bildgebung erfasst Licht aus einem deutlich größeren Bereich des elektromagnetischen Spektrums als die üblichen RGB-Wellenlängen. Dazu können etwa Ultraviolett, nahes Infrarot, kurzwelliges Infrarot oder thermisches Infrarot gehören – also Bereiche, die unser Auge nicht wahrnehmen kann. Ursprünglich wurde diese Technik entwickelt, um militärische Ziele zu erkennen, Tarnungen zu durchbrechen oder Landminen aufzuspüren. Später kam sie auch in der Landwirtschaft, Forstwirtschaft, Geologie, Hydrologie und Erdbeobachtung zum Einsatz. Doch wie funktioniert das eigentlich?
Vereinfacht gesagt messen multispektrale Kameras die Strahlung in den einzelnen Bereichen des elektromagnetischen Spektrums. Möglich wird das durch spezielle Sensoren, die Licht in sehr eng definierten Wellenlängenbereichen erfassen. Dahinter steckt die Erkenntnis, dass unterschiedliche Materialien Licht auf jeweils eigene Weise absorbieren und reflektieren. Die multispektrale Bildgebung kann deshalb erkennen, wie viel Energie bei bestimmten Wellenlängen reflektiert oder ausgesendet wird. Algorithmen können daraus ableiten, mit welchen Materialien diese Signaturen zusammenhängen.
Was hätte das iPhone davon?
Zum einen würde Apples „Visual Intelligence“ profitieren. Die Funktion hilft dabei, mehr über die eigene Umgebung zu erfahren, indem man die Kamera auf Gegenstände richtet. Wenn das System nicht nur erkennt, wie ein Objekt aussieht, sondern auch, aus welchem Material es besteht, würde die Erkennung deutlich präziser.
Auch die Trennung von Motiv und Hintergrund könnte sich verbessern. Die Kamera könnte das Hauptmotiv eines Bilds sauberer erkennen, weil Vorder- und Hintergrund klarer voneinander getrennt würden. Insgesamt würde sich die Szenenerkennung deutlich verbessern. Stoffe, Metall, Glas, Pflanzen, Haut, Haare und spiegelnde Oberflächen ließen sich zuverlässiger unterscheiden. Das könnte zu genaueren Porträtfotos und besserer Bildverarbeitung führen.
Die multispektrale Bildgebung ist keine neue Technologie. Es gibt sie schon seit vielen Jahren. Huawei führte die Technik 2024 in der Mate-70-Serie ein. Sie sorgte für eine bessere Farbgenauigkeit, natürlichere Hauttöne und klare, lebendige Bilder. Auch das Nova 15 verfügte über eine Frontkamera mit multispektraler Technik, um Selfies zu verbessern.
Darüber hinaus würde die Technik die Tür für Infrarotfotografie öffnen, die Leistung bei wenig Licht und in Mischlichtsituationen verbessern und Fehler durch Schatten oder Spiegelungen verringern. Das iPhone würde sich damit stärker in Richtung eines echten Verständnisses der physischen Welt bewegen – und sich mit seinem Kamerasystem noch deutlicher von der Konkurrenz abheben.
Wann so etwas kommen könnte, ist allerdings völlig offen. Derzeit wirkt es so, als stecke die Idee noch in den Kinderschuhen und Apple prüfe zunächst nur mögliche Komponenten. Von einem fertigen Kameramodul ist man offenbar noch weit entfernt. Ebenso scheint Apple noch nicht an einem konkreten iPhone-Design zu arbeiten, in das sich solche Bauteile integrieren ließen. Und dann ist da noch der Preis: Die Entwicklung derart komplexer Sensoren dürfte alles andere als billig werden.
Wenn jemand bei der Mac Life Ordnung ins Chaos bringt, dann ist es Sven T. Möller – und das gleich in doppelter Hinsicht. Als Layouter gibt er jeder Ausgabe ihre unverwechselbare Gestalt, als Redakteur sorgt er dafür, dass Apple-Themen mit der nötigen Tiefe behandelt werden. Sven ist seit Mitte der 2000er Jahre an Bord und damit eines der echten Urgesteine des Teams. Smarthome beschäftigt ihn als Eigenheimbesitzer mit besonderer Ernsthaftigkeit – und gelegentlich auch Frustration. Außerdem ist er mit Leidenschaft Musikhörer, wobei „hören“ bei Sven gerne auch als „beschallen“ interpretiert werden darf: Tests etwa für Bluetooth-Lautsprecher verantwortet er, frei nach dem Motto „je größer und lauter, desto besser“. Sven ist Mitbegründer und Co-Host des Apple-Podcasts Schleifenquadrat.
→ Weitere Artikel von Sven T. Möller
→ Schleifenquadrat-Podcast
