Apple Intelligence bekommt neue Funktionen: Live-Übersetzung, Entwickler-Zugriff und mehr

Apple hat heute neue Apple Intelligence-Funktionen angekündigt, die das Nutzererlebnis auf iPhone, iPad, Mac, Apple Watch und Apple Vision Pro deutlich verbessern. Die Erweiterungen umfassen neue Kommunikationsmöglichkeiten, erweiterte visuelle Intelligenz sowie Verbesserungen bei Image Playground und Genmoji. Besonders hervorzuheben ist, dass Entwickler nun direkten Zugriff auf das On-Device-Foundation-Model erhalten, das Apple Intelligence antreibt.

Live-Übersetzung überwindet Sprachbarrieren

Die neue Live-Übersetzungsfunktion ermöglicht es Nutzenden, Sprachbarrieren beim Messaging oder Sprechen zu überwinden. Die Funktion ist in Messages, FaceTime und Phone integriert und läuft vollständig auf dem Gerät – persönliche Gespräche bleiben also privat. In Messages können Nachrichten automatisch übersetzt werden. Plant ein Nutzer beispielsweise mit neuen Freunden im Ausland, wird seine Nachricht während des Tippens übersetzt und in der bevorzugten Sprache des Empfängers zugestellt. Bei FaceTime-Anrufen können Nutzende mit übersetzten Live-Untertiteln folgen, während sie weiterhin die Stimme des Sprechers hören. Bei Telefonaten wird die Übersetzung während des gesamten Gesprächs laut vorgelesen.

Kreative Erweiterungen bei Genmoji und Image Playground

Genmoji und Image Playground bieten Nutzenden noch mehr Möglichkeiten zur Selbstdarstellung. Zusätzlich zur Umwandlung einer Textbeschreibung in ein Genmoji können Nutzende nun Emojis miteinander mischen und mit Beschreibungen kombinieren, um etwas Neues zu erschaffen. Bei der Erstellung von Bildern, die von Familie und Freunden inspiriert sind, können Gesichtsausdrücke verändert oder persönliche Attribute wie Frisuren angepasst werden.

In Image Playground stehen neue Stile mit ChatGPT zur Verfügung, wie beispielsweise Ölmalerei oder Vektorgrafiken. Für spezifische Ideen können Nutzende „Any Style" antippen und beschreiben, was sie möchten. Image Playground sendet die Beschreibung oder das Foto an ChatGPT und erstellt ein einzigartiges Bild – dabei haben Nutzende stets die Kontrolle, und nichts wird ohne ihre Erlaubnis mit ChatGPT geteilt.

Visual Intelligence erweitert iPhone-Funktionen

Die visuelle Intelligenz erweitert sich auf den iPhone-Bildschirm und ermöglicht es Nutzenden, nach allem zu suchen und Aktionen für alles durchzuführen, was sie in ihren Apps sehen. Die Funktion hilft bereits dabei, mithilfe der iPhone-Kamera mehr über Objekte und Orte in der Umgebung zu erfahren. Nun können Nutzende noch schneller mit Inhalten auf ihrem iPhone-Bildschirm arbeiten.

Sie können ChatGPT Fragen zu dem stellen, was sie auf ihrem Bildschirm sehen, sowie Google, Etsy oder andere unterstützte Apps durchsuchen, um ähnliche Bilder und Produkte zu finden. Besonders interessante Objekte wie eine Lampe können hervorgehoben werden, um gezielt danach oder nach ähnlichen Objekten online zu suchen. Die visuelle Intelligenz erkennt auch, wenn Nutzende auf ein Ereignis schauen, und schlägt vor, es dem Kalender hinzuzufügen. Apple Intelligence extrahiert dann Datum, Uhrzeit und Ort, um diese wichtigen Details automatisch in ein Ereignis einzutragen.

Apple Intelligence kommt auf die Apple Watch

Workout Buddy ist ein einzigartiges Trainingserlebnis auf der Apple Watch mit Apple Intelligence, das die Trainingsdaten und Fitnesshistorie eines Nutzers einbezieht, um personalisierte, motivierende Einblicke während der Trainingseinheit zu generieren. Um bedeutsame Inspiration in Echtzeit zu bieten, analysiert Workout Buddy Daten aus dem aktuellen Training zusammen mit der Fitnesshistorie, basierend auf Daten wie Herzfrequenz, Tempo, Entfernung, Aktivitätsringen, persönlichen Fitnessmeilensteinen und mehr.

Ein neues Text-to-Speech-Modell übersetzt dann Erkenntnisse in eine dynamische generative Stimme, die mit Sprachdaten von Fitness+-Trainern erstellt wurde, sodass sie die richtige Energie, den richtigen Stil und Ton für ein Training hat. Workout Buddy verarbeitet diese Daten privat und sicher mit Apple Intelligence und wird auf der Apple Watch mit Bluetooth-Kopfhörern verfügbar sein, wobei ein Apple Intelligence-unterstütztes iPhone in der Nähe erforderlich ist.

Entwickler erhalten Zugriff auf Apple Intelligence

Apple öffnet den Zugriff für jede App, um direkt auf das On-Device-Foundation-Model zuzugreifen, das den Kern von Apple Intelligence bildet. Mit dem Foundation Models Framework können App-Entwickler auf Apple Intelligence aufbauen, um Nutzenden neue Erfahrungen zu bieten, die intelligent sind, offline verfügbar sind und ihre Privatsphäre schützen – mit KI-Inferenz, die kostenlos ist.

Eine Bildungs-App kann beispielsweise das On-Device-Modell verwenden, um ein personalisiertes Quiz aus den Notizen eines Nutzers zu generieren, ohne Cloud-API-Kosten. Eine Outdoor-App kann natürliche Sprachsuchfunktionen hinzufügen, die auch dann funktionieren, wenn der Nutzer offline ist. Das Framework hat native Unterstützung für Swift, sodass App-Entwickler mit nur drei Zeilen Code einfach auf das Apple Intelligence-Modell zugreifen können.

Shortcuts werden intelligenter

Shortcuts sind jetzt leistungsfähiger und intelligenter als je zuvor. Nutzende können auf intelligente Aktionen zugreifen – eine völlig neue Reihe von Shortcuts, die durch Apple Intelligence ermöglicht werden. Sie sehen dedizierte Aktionen für Funktionen wie das Zusammenfassen von Text mit Writing Tools oder das Erstellen von Bildern mit Image Playground.

Nutzende können direkt auf Apple Intelligence-Modelle zugreifen, entweder auf dem Gerät oder mit Private Cloud Compute, um Antworten zu generieren, die in den Rest ihrer Shortcut einfließen, wobei die Privatsphäre der im Shortcut verwendeten Informationen gewahrt bleibt. Ein Student kann beispielsweise einen Shortcut erstellen, der das Apple Intelligence-Modell verwendet, um eine Audiotranskription einer Vorlesung mit den gemachten Notizen zu vergleichen und wichtige Punkte hinzuzufügen, die möglicherweise verpasst wurden.

Weitere neue Funktionen im Überblick

Apple Intelligence ist noch tiefer in die Apps und Erlebnisse integriert, auf die sich Nutzende täglich verlassen. Die relevantesten Aktionen in einer E-Mail, Website, Notiz oder anderen Inhalten können jetzt identifiziert und automatisch in Erinnerungen kategorisiert werden. Apple Wallet kann Bestellverfolgungsdetails aus E-Mails von Händlern oder Lieferdiensten identifizieren und zusammenfassen. Dies funktioniert für alle Bestellungen eines Nutzers und gibt ihm die Möglichkeit, vollständige Bestelldetails, Fortschrittsbenachrichtigungen und mehr an einem Ort zu sehen.

In Messages können Nutzende eine Umfrage für alles erstellen, und mit Apple Intelligence kann Messages erkennen, wann eine Umfrage nützlich sein könnte, und eine vorschlagen. Darüber hinaus können Nutzende mit Hintergründen in der Messages-App ihre Chats mit atemberaubenden Designs personalisieren und mit Image Playground einzigartige Hintergründe erstellen, die zu ihrer Unterhaltung passen.

Verfügbarkeit und Sprachunterstützung

Alle diese neuen Funktionen stehen ab heute zum Testen über das Apple Developer Program zur Verfügung. Eine öffentliche Beta wird nächsten Monat über das Apple Beta Software Program verfügbar sein. Nutzende, die Apple Intelligence auf unterstützten Geräten in einer unterstützten Sprache aktivieren, erhalten diesen Herbst Zugriff, einschließlich aller iPhone 16-Modelle, iPhone 15 Pro, iPhone 15 Pro Max, iPad mini (A17 Pro) sowie iPad- und Mac-Modelle mit M1 und neuer.

Die Funktionen werden zunächst in Englisch, Französisch, Deutsch, Italienisch, Portugiesisch (Brasilien), Spanisch, Japanisch, Koreanisch oder Chinesisch (vereinfacht) verfügbar sein. Bis Ende des Jahres kommen weitere Sprachen hinzu: Dänisch, Niederländisch, Norwegisch, Portugiesisch (Portugal), Schwedisch, Türkisch, Chinesisch (traditionell) und Vietnamesisch.