- Apple soll Gespräche mit dem KI-Start-up PrismML geführt haben
- Qwen3.6-27B soll vollständig auf einem iPhone 17 Pro laufen
- Das Modell besitzt 27 Milliarden gleichzeitig aktive Parameter
- Eine Kompressionstechnik soll Speicherbedarf und Rechenaufwand reduzieren
- Ein konkreter Einsatz durch Apple ist nicht bestätigt
Apple soll Gespräche mit dem KI-Start-up PrismML geführt haben. Dabei gehe es um eine Technik, mit der sich größere Sprachmodelle vollständig auf einem iPhone ausführen lassen. Das berichtet The Information unter Berufung auf mit der Angelegenheit vertraute Personen. Eine Zusammenarbeit oder Übernahme der Technik ist bislang nicht bestätigt.
27 Milliarden Parameter auf einem iPhone
PrismML soll es gelungen sein, Alibabas frei verfügbares Modell Qwen3.6-27B auf einem iPhone 17 Pro auszuführen. Das multimodale Modell besitzt 27 Milliarden Parameter und arbeitet mit einer sogenannten dichten Architektur. Damit können bei einer Anfrage grundsätzlich alle Parameter gleichzeitig zum Einsatz kommen.
Um ein Modell dieser Größe auf einem Smartphone unterzubringen, reduziert PrismML laut eigenen Angaben die für einzelne Modellgewichte benötigte Speichermenge erheblich. Das Unternehmen entwickelt unter anderem Modelle mit 1-Bit- und 1,58-Bit-Gewichten. Eine solche Quantisierung kann den Speicherbedarf und den Rechenaufwand senken, geht je nach Umsetzung aber mit Einbußen bei der Modellqualität einher.
Bei der Quantisierung werden die Zahlenwerte eines KI-Modells mit geringerer Genauigkeit gespeichert. Dadurch benötigt das Modell weniger Speicher und kann effizienter arbeiten. Eine starke Reduzierung kann allerdings die Qualität der Ergebnisse beeinträchtigen.
Größer als Apples aktuelles Gerätemodell
Dem Bericht zufolge verfügt Apples neues lokales Modell AFM 3 Core Advanced über 20 Milliarden Parameter. Es soll jedoch eine dünn besetzte Architektur verwenden, bei der abhängig von der Aufgabe nur rund eine bis vier Milliarden Parameter gleichzeitig aktiv sind.
Das PrismML-Modell wäre mit seinen 27 Milliarden gleichzeitig aktiven Parametern rechnerisch umfangreicher. Aus der Anzahl der Parameter allein lässt sich allerdings nicht zuverlässig ableiten, welches Modell bessere Ergebnisse liefert. Dafür sind unter anderem die Architektur, die Trainingsdaten, die Optimierung und die jeweilige Aufgabe entscheidend.
Mehr KI-Funktionen könnten lokal arbeiten
Größere lokale Modelle könnten Apple ermöglichen, komplexere Funktionen von Apple Intelligence direkt auf dem Gerät auszuführen. Anfragen müssten dann seltener an Apples Private-Cloud-Compute-Server übertragen werden.
Das könnte die Reaktionszeit verkürzen, den Bedarf an Serverkapazität reduzieren und die Verarbeitung persönlicher Daten auf dem Gerät erleichtern. Gleichzeitig stellen große Modelle hohe Anforderungen an Arbeitsspeicher, Speicherbandbreite und Energieverbrauch.
Ob Apple die Technik von PrismML tatsächlich einsetzen wird, geht aus dem Bericht nicht hervor. Gespräche mit einem Start-up bedeuten zunächst lediglich, dass Apple dessen Ansatz geprüft haben soll.
