Meetly Auto Engine, Teil 3: Cloud-Zusammenfassungen und Benchmarks
Wie Meetly Modelle auf dem iPhone plant, was der optionale Zusammenfassungsschritt sendet und ablehnt, wohin die Zeit geht und was wir verworfen haben.
Meetly transkribiert und ordnet Sprecher auf dem iPhone zu, mit immer nur einem schweren Modell im Speicher. Der einzige Cloud-Schritt ist die optionale Zusammenfassung: Sie sendet Transkripttext, nie Audio, mit angeforderter Zero Data Retention. Beim medianen Gespräch von 11,4 Minuten summieren sich die Stufen auf etwa 92 Sekunden; das Transkript ist nach 26 Sekunden lesbar.

Einleitung
In Teil 1 hat Meetly Auto Engine auf dem iPhone eine Sprache und ein Sprachmodell gewählt. In Teil 2 hat sie in fortsetzbaren Abschnitten transkribiert, Aufnahmen aussortiert, die keine weitere Arbeit lohnen, Sprecher zugeordnet und gespeicherte Stimmen erkannt, alles auf dem Gerät. Dieser letzte Teil zeigt, wie sich die Modelle den Speicher teilen, was der eine optionale Cloud-Schritt tut, wohin die Zeit geht und was nicht ausgeliefert wurde.
Er schließt die Serie mit den Lehren, die über alle drei Teile hinweg galten. Beim medianen Gespräch von 11,4 Minuten summieren sich die Stufen auf etwa 92 Sekunden, und das Transkript ist nach den ersten 26 lesbar.
Hintergrund: die Grenzen, die ein Telefon setzt
Zwei Grenzen prägen diesen letzten Teil. iOS beendet eine App ohne Vorwarnung, wenn sie mehr Speicher belegt, als das System erlaubt, und ältere Telefone erlauben weniger. Außerdem sind die kleinen Modelle, die ein Telefon halten kann, bei Zusammenfassungen noch nicht zuverlässig genug. Deshalb ist die Zusammenfassung auf dem iPhone der eine Schritt, der das Gerät verlassen kann, nur als Text und nur mit Ihrer Einwilligung.
Das Problem: Speicher, Datenschutz und Zeit
Jede verbleibende Frage zieht gegen eine andere. Modelle parallel laufen zu lassen, spart Zeit, gefährdet aber den Speicher. Text an ein größeres Modell zu senden, ergibt eine bessere Zusammenfassung, doch es muss so wenig wie möglich gesendet und nur akzeptiert werden, was das Transkript belegt. Und ohne jede Stufe in der realen Nutzung zu messen, wissen wir nicht, welcher dieser Kompromisse sich lohnt.
- Zwei schwere Modelle können das Speicherlimit überschreiten. Ein Sprachmodell und ein Sprechermodell zusammen können auf einem älteren Telefon mehr belegen, als iOS einer App zugesteht.
- Eine Zusammenfassung braucht ein größeres Modell, als ein Telefon heute gut ausführen kann. Der Cloud-Schritt darf kein Audio senden, muss die Anbieter auffordern, nichts zu speichern, und alles zurückweisen, was das Transkript nicht belegt.
- Die Zeit verteilt sich auf mehrere Stufen. Wir müssen wissen, wohin sie geht, bevor wir entscheiden, was parallel laufen soll.
Immer nur ein schweres Modell
Weil zwei schwere Modelle das Speicherlimit überschreiten können, fragt jede Modellstufe zuerst einen Scheduler. Er hat einen Besitzer-Slot, und das Sprachmodell wird entladen, bevor das Sprechermodell geladen wird. Das ist sicher und macht die Pipeline streng sequenziell. Genau diese Kosten versucht der Rest dieses Abschnitts zurückzugewinnen, ohne die Sicherheit aufzugeben.
private func admits(family: String, partners: Set<String>?) -> Bool {
if let partners { return companion == nil && (owner.map { partners.contains($0.family) } ?? true) }
return owner == nil && (companion.map { $0.partners.contains(family) } ?? true)
}
private func grant(_ id: UUID, family: String, partners: Set<String>?) {
if let partners { companion = Companion(id: id, family: family, partners: partners) }
else { owner = Holder(id: id, family: family) }
}Ein Begleiter-Slot lässt den Sprecherdurchlauf neben der Transkription laufen
Der Scheduler hat außerdem einen Begleiter-Slot für ein Modell, das neben genau einem benannten Partner laufen darf. Das Sprechermodell bittet darum, Begleiter von Parakeet zu sein, und von nichts anderem. Wird das gewährt, läuft der gesamte Sprecherdurchlauf gleichzeitig mit der Transkription. Abbildung 1 zeigt die Wirkung bei zwei langen Aufnahmen.

Opt-in, bis wir es auf einem Telefon gemessen haben
Für alle eingeschaltet haben wir das noch nicht. Es läuft nur, wenn Sie es aktivieren, auf einem Telefon mit mindestens 7,5 GB Arbeitsspeicher, das kühl und im Leerlauf ist und nicht aufnimmt, und es lässt sich aus der Ferne abschalten. Bis wir Speicher und Wärme auf einem Telefon mit beiden geladenen Modellen gemessen haben, bleiben die 38 % ein Ergebnis aus dem Simulator.
Der optionale Cloud-Schritt sendet Text, nie Audio
Alles bisher lief auf dem Gerät. Die Zusammenfassung ist auf dem iPhone der eine Schritt, der die Cloud nutzt, und er setzt zuerst Ihre Einwilligung voraus. Gesendet werden: Transkripttext mit Sprecherlabels und Zeitstempeln, Notizen, die Sie getippt haben, und Fotos, die Sie an Notizen angehängt haben. Nie gesendet werden: Audio und Stimmabdrücke. Die Einwilligung ist versioniert und wird vor jeder Anfrage und noch einmal im Moment des Sendens geprüft.
Jede Anfrage fordert die Anbieter auf, nichts zu speichern
var provider: [String: JSONValue] = [:]
if request.schema != nil { provider["require_parameters"] = true }
if requireZDR { provider["zdr"] = true }
if denyDataCollection { provider["data_collection"] = "deny" }
if let order = providerOrder(for: [request.model] + request.fallbackModels) {
provider["order"] = .array(order.map { .string($0) })
provider["only"] = .array(order.map { .string($0) })
provider["allow_fallbacks"] = true
}
if !provider.isEmpty { body["provider"] = .object(provider) }Jede Anfrage verlangt Zero Data Retention, untersagt die Datensammlung und ist auf eine benannte Liste von Anbietern in fester Reihenfolge beschränkt.
Drei Durchläufe statt eines Prompts
Die Arbeit ist auf drei Durchläufe statt auf einen Prompt verteilt, denn ein einzelner Prompt, der bereinigt, klassifiziert und zusammenfasst, erledigt alle drei Aufgaben schlecht.
- Durchlauf A, Bereinigung und Namen. Ein kleines, schnelles Modell liest das Transkript und liefert eine Liste von Änderungen, nie eine Neufassung.
- Durchlauf B, die Art des Gesprächs. Parallel dazu wird die Aufnahme einem von acht Typen zugeordnet, etwa Einzelgespräch, Teammeeting, Interview oder Sprachnotiz, und es werden bis zu drei Tags vorgeschlagen.
- Durchlauf C, die Zusammenfassung. Ein größeres Modell schreibt aus dem bereinigten Transkript und den Namen aus Durchlauf A die Zusammenfassung für diesen Typ.
Am wichtigsten ist, was die App zurückweist
Eine Änderung wird abgelehnt, wenn der ersetzte Text nicht im Transkript steht, wenn sie Wörter einfügt, die niemand gesagt hat, oder wenn sie einen genannten Betrag verändert; der Validator kennt auch Lakh und Crore. Eine Person oder ein Datum fällt weg, sofern es nicht in einer zitierten Zeile vorkommt, und ein Stichpunkt der Zusammenfassung fällt weg, wenn seine Belegstellen sich nicht auflösen lassen. Das gespeicherte Transkript wird nie umgeschrieben.
Die Länge der Zusammenfassung folgt der Dauer
Alle Typen teilen einen Kern aus Rückblick, Kernpunkten, Entscheidungen, Zusagen und offenen Fragen und ergänzen eigene Abschnitte. Die Länge richtet sich nach der Dauer, von etwa 250 bis etwa 700 Wörtern, in der von Ihnen gewählten Sprache. In der realen Nutzung dauerten die Durchläufe im Median 13,8, 3,0 und 26,7 Sekunden, der ganze Schritt 40,6 Sekunden im Median und 74,8 im 90. Perzentil (Telemetrie).
Ergebnisse: wohin die Zeit geht
Zusammengesetzt ergibt das den medianen Weg vom Tipp auf Stopp bis zur lesbaren Zusammenfassung für das mediane Gespräch von 11,4 Minuten. Die Stufen summieren sich auf etwa 92 Sekunden, eine Summe von Medianen und kein gemessener End-to-End-Wert, und das Transkript ist nach den ersten 26 lesbar. Der Stimmabgleich dauert 30 ms, deshalb vergleicht er mit jeder gespeicherten Stimme.

Was wir gemessen und nicht ausgeliefert haben
Der eigentliche Nutzen von Laufprotokollen ist die Liste der Dinge, die richtig aussahen und es nicht waren. Jedes davon wurde gebaut oder gemessen, und jedes unterlag einer einfacheren Option oder wartet auf ein besseres Modell. Sie aufzuschreiben ist unser Mittel, sie nicht alle paar Monate unter neuem Namen noch einmal zu bauen.
- Das Sprachmodell auf bekannte Namen lenken. Der Anteil korrekt geschriebener Namen stieg von 49,7 % auf 57,3 % bei unveränderter Wortfehlerrate von 8,2 %, kostete aber 130 % mehr Rechenaufwand bei der Transkription und ein zusätzliches Modell mit 97,5 MB, und etwa jede zehnte Ersetzung war falsch (Mac-Host).
- Die Regel für saubere Fenster lockern (siehe Teil 2). Einem Stimmabdruck Fenster mit bis zu einer Sekunde fremder Sprache zu erlauben, hätte Schnellsprechern helfen sollen. Stattdessen gingen Abdrücke verloren: 58 statt 63 Personen.
- Whisper mit Wiederholungen. Bei einer einstündigen Aufnahme dauerten fünf Wiederholungen schwieriger Segmente 454 Sekunden und deckten 31 % der Sprache ab; ohne Wiederholungen waren es 272 Sekunden und 98 % (Mac-Host).
Wie es weitergeht
Zwei Funktionen sind heute bewusst nicht auf dem Telefon, und beide sind die nächsten Iterationen, sobald Telefonmodelle besser werden. Zusammenfassungen und das Extrahieren von Personen, Datumsangaben und Themen laufen im optionalen Cloud-Schritt, weil die kleinen Modelle, die ein Telefon halten kann, bei beidem noch nicht zuverlässig genug sind. Sobald sie es sind, wandern beide zurück aufs Gerät.
- Zusammenfassungen auf dem Gerät. Wir haben sie mit Apples On-Device-Modell und einem lokalen offenen Modell gebaut. Laut unserer Telemetrie lieferte der Cloud-Pfad für 86 % der Aufnahmen eine Zusammenfassung, der On-Device-Pfad für 21 %, also haben wir ihn pausiert; der Code bleibt für die nächste Generation von Telefonmodellen.
- Personen, Datumsangaben und Themen auf dem Gerät. Apples Language Tagger fand in unserem Earnings-Call-Set 62 % bis 65 % der Personen, und wir hielten das für zu ungenau. Namen kommen aus dem validierten Cloud-Durchlauf, bis ein kleiner Extraktor auf dem Gerät ihn schlägt.
- Modellwechsel innerhalb einer Aufnahme. Die Entscheidungslogik existiert und ist getestet, mit mindestens 3 Sekunden, um einen Bereich zu beurteilen, und einer Mindestlänge von 8 Sekunden pro Modellabschnitt. Sie ist noch nicht eingebunden; heute bekommt eine Aufnahme ein Modell.
- Messwerte auf dem Telefon für den parallelen Sprecherdurchlauf sowie die Genauigkeit bei langen Meetings, gemessen auf einem physischen Telefon statt im Simulator.
- Kantonesisch. Der Detektor kann es nicht von Mandarin unterscheiden; SenseVoice hat es auf jedem Test-Clip erkannt und liegt hinter einem Schalter, während wir die Prüfung abschließen.
- Der Mac. Er startet jede Aufnahme mit Parakeet ohne Sprachprüfung und ruft noch nicht dieselbe Engine auf wie das iPhone.
Lehren aus der ganzen Serie
Drei Teile, eine Engine und eine Handvoll Lehren, die auf jeder Stufe galten. Keine davon ist spezifisch für Sprache. Sie gelten für jedes System, das auf einem Telefon mit kleinen Modellen Entscheidungen treffen muss und nicht jedes Mal anhalten kann, um einen Menschen um Hilfe zu bitten.
- Einem kleinen Modell eine kleinere Frage stellen. Whisper Tiny lag bei freier Wahl unter allen seinen Sprachen in 78,2 % der Fälle richtig; bei der Entscheidung zwischen Englisch und einer weiteren Sprache erreichte die Sprachidentifikation pro Aufnahme 94,0 %, ohne zusätzliches Modell (Teil 1).
- Spezialisten bevorzugen, die man einzeln herunterlädt. Die indischen Sprachpakete mit 198 MB schlugen ein allgemeines Modell mit 631 MB bei Genauigkeit und Tempo (Teil 1).
- Jede Stufe fortsetzbar machen. Gespeicherte Abschnitte machen aus einer Unterbrechung durch iOS Sekunden wiederholter Arbeit statt eines Neustarts (Teil 2).
- Lieber verzichten als raten, und die falschen Antworten zählen. Das Stimmgedächtnis verweigert, sobald zwei Stimmen passen könnten; es benannte 81 von 81 angelernten Personen richtig und akzeptierte keine von 1725 fremden Stimmen (Teil 2).
- Konstanten an echten Daten prüfen. Eine Sprecher-Obergrenze von 8 ließ einen Call mit 19 Personen zu 8 Personen verschmelzen, bis wir sie auf 32 anhoben (Teil 2).
- Die Liste dessen führen, was nicht ausgeliefert wurde. Sie verhindert, dass wir dieselben Ideen unter neuem Namen noch einmal bauen (Teil 3).
Fazit
Nichts davon ist exotische Forschung. Es sind sorgfältig ausgewählte kleine Modelle, Schwellenwerte, die gemessen statt angenommen wurden, und eine klare Vorliebe dafür, lieber nichts zu sagen als etwas Falsches. Diese Vorliebe würden wir behalten, wenn wir den Rest der Engine von Grund auf neu bauen müssten.
Das ist die ganze Engine. Wenn Sie die Serie von vorn lesen möchten, beginnen Sie mit Teil 1, Sprachidentifikation und Modellwahl.
Nehmen Sie etwas in einer beliebigen Sprache auf, die Sie sprechen. Der Sprachschritt, das gewählte Modell und die erkannten Sprecher werden während der Verarbeitung auf der Gesprächsseite angezeigt.
Meetly für das iPhone ladenFragen zur Meetly Auto Engine
Sendet Meetly mein Audio in die Cloud?
Nein. Meetly Auto Engine transkribiert, ordnet Sprecher zu und gleicht gespeicherte Stimmen auf Ihrem iPhone ab, und Audio wird nie an Meetly oder an einen Modellanbieter gesendet. Der einzige Schritt, der die Cloud nutzen kann, ist die Zusammenfassung, und der ist optional und braucht Ihre Einwilligung. Erlauben Sie ihn, sendet die App den Transkripttext mit Sprecherlabels und Zeitstempeln sowie angehängte Notizen oder Fotos an Anbieter, bei denen Zero Data Retention angefordert wird. Stimmabdrücke sind 256 Zahlen, die auf Ihren Geräten bleiben; Ihre Bibliothek gespeicherter Stimmen wird nur verschlüsselt über Ihre eigene private iCloud synchronisiert, und nur wenn Sie die Synchronisierung einschalten.
Schreibt Meetly Zusammenfassungen auf dem iPhone selbst?
Derzeit nicht. Wir haben Zusammenfassungen auf dem Gerät mit Apples Modell und einem lokalen offenen Modell gebaut, doch laut unserer Telemetrie lieferte der Cloud-Pfad für 86 % der Aufnahmen eine Zusammenfassung, der On-Device-Pfad nur für 21 %. Deshalb nutzt das iPhone für Zusammenfassungen, Namen, Datumsangaben und Themen jetzt den optionalen Cloud-Schritt. Transkription, Sprechererkennung und Stimmgedächtnis bleiben auf dem Telefon. Auf dem Mac werden Zusammenfassungen auf dem Mac selbst geschrieben oder vom iPhone übernommen. Zusammenfassungen und Entitätsextraktion auf dem iPhone sind für eine spätere Version geplant, sobald die Modelle, die ein Telefon halten kann, zuverlässig genug sind, und der Code dafür bleibt erhalten.
Wie lange dauert es bei Meetly von Stopp bis zur Zusammenfassung?
Für das mediane Gespräch von 11,4 Minuten in der ausgelieferten iPhone-App summieren sich die Stufen auf etwa 92 Sekunden: Transkription 26,3 Sekunden, Sprechererkennung 25 Sekunden, Stimmabgleich 0,03 Sekunden, Bereinigung und Qualitäts-Gate 0,78 Sekunden und die optionale Cloud-Zusammenfassung 39,8 Sekunden. Das ist eine Summe von Medianen über 59 Gespräche in 30 Tagen, kein gemessener End-to-End-Wert, denn die Stufen wurden einzeln erfasst. Das Transkript ist bereits nach den ersten 26 Sekunden lesbar, und der Zusammenfassungsschritt selbst dauerte im Median 40,6 Sekunden und im 90. Perzentil 74,8 Sekunden.
Warum lässt Meetly Sprach- und Sprechermodell nicht gleichzeitig laufen?
Zusammen können sie auf einem älteren Telefon mehr Speicher belegen, als iOS einer App zugesteht, und dann beendet das System die App ohne Vorwarnung. Deshalb fragt jede Modellstufe zuerst einen Scheduler, und das Sprachmodell wird entladen, bevor das Sprechermodell geladen wird. Ein Begleiter-Slot lässt das Sprechermodell neben Parakeet laufen, was die Zeit vom Import bis zum Abschluss im Simulator um 38 % verkürzte, bei byte-identischer Ausgabe. Bis Speicher und Wärme auf einem physischen Telefon gemessen sind, läuft das nur, wenn Sie es aktivieren, auf einem Telefon mit mindestens 7,5 GB Arbeitsspeicher, das kühl und im Leerlauf ist und nicht aufnimmt.