Meetly Auto Engine, Teil 1: Sprachidentifikation und Modellwahl
Wie Meetly auf dem iPhone die Sprache bestimmt und jede Aufnahme an ein Sprachmodell gibt: Whisper Tiny hört, eine Paarregel entscheidet, ein Modell schreibt.
Meetly Auto Engine hört zu, bevor sie transkribiert. Whisper Tiny tastet auf dem iPhone bis zu 24 Ausschnitte einer Aufnahme ab, eine Paarregel entscheidet jeden zwischen Englisch und einer weiteren Sprache, und die Aufnahme geht an genau ein Modell: Parakeet, ein IndicConformer-Paket, Hinglish, SenseVoice oder Whisper. Die Sprachidentifikation pro Aufnahme stieg von 88,0 % auf 94,0 %.

Einleitung
Meetly Auto Engine ist der Teil von Meetly, der aus einer fertigen Aufnahme ein Transkript mit Sprechern macht, dazu ein Urteil, ob sich das Behalten lohnt, und, wenn Sie es erlauben, eine Zusammenfassung. Transkription und Sprechererkennung laufen auf dem iPhone, und Audio wird weder an Meetly noch an einen KI-Anbieter gesendet. Diese dreiteilige Serie erklärt mit Code und Messwerten, wie die Engine funktioniert.
Dieser erste Teil behandelt die erste Entscheidung: welche Sprache die Engine hört und welches Sprachmodell sie transkribieren soll. Weil die Engine zwischen Englisch und einer weiteren Sprache entscheidet statt zwischen 99, stieg die Sprachidentifikation auf Aufnahmeebene von 88,0 % auf 94,0 %.
Hintergrund: was die Engine zwischen Stopp und Zusammenfassung tut
Meetly ist eine App für iPhone, iPad und Mac, die Gespräche aufnimmt und auf dem Gerät transkribiert. Die meisten Meeting-Recorder laden das Audio zu einem großen mehrsprachigen Modell im Rechenzentrum hoch. Das ist einfach und genau, weil dieses Modell beliebig groß sein darf. Meetly behält die Aufnahme auf Ihren Geräten und schließt diesen bequemen Weg damit aus.
Eine Datei rein; Transkript, Urteil und Zusammenfassung raus
Wenn Sie auf Stopp tippen, bekommt die Engine eine Audiodatei, die bereits auf dem Gerät liegt. Sie liefert ein Transkript, in dem jede Zeile einem Sprecher zugeordnet ist, ein Urteil darüber, ob sich das Behalten der Aufnahme lohnt, und für behaltene Aufnahmen eine Zusammenfassung, einen Titel und Tags. Abbildung 1 zeigt alle Stufen auf einer Seite.

Jede Stufe im grünen Bereich läuft ohne Netzwerk auf dem iPhone. Der gelbe Bereich ist optional und bekommt Text, nie Audio. Drei Ideen ziehen sich durch alles: Jede Stufe lässt sich ab einem Checkpoint fortsetzen, es liegt immer nur ein schweres Modell im Speicher, und wenn die Engine unsicher ist, wer gesprochen hat oder in welcher Sprache, bleibt die Zeile ohne Zuordnung, statt dass geraten wird.
Zwei Eingaben werden zu einem Plan, den jede Stufe liest
Die Engine erfährt über eine Datei zwei Dinge. Die Art ist entweder ein Gespräch, bewusst aufgenommen, oder ein Clip, den ein tragbarer Rekorder, den wir gerade testen, aufgezeichnet hat, als er Sprache hörte. Das Modell ist Auto oder Fast. Aus diesen beiden Werten entsteht ein Plan, und jede spätere Stufe liest ihr Verhalten aus diesem Plan, statt selbst zu fragen, um welche Art von Aufnahme es sich handelt.
public enum MeetlyAutoEngine {
/// Clip: captured by always-on. Conversation: recorded on purpose.
public enum Kind: String, Codable, Sendable { case clip, conversation }
/// Fast is Parakeet (no check). Auto listens first and picks the model for the language heard.
public enum Model: String, Codable, CaseIterable, Sendable { case auto, parakeet }
public struct Plan: Equatable, Sendable {
public var kind: Kind
public var model: Model
/// A conversation Meetly joined from clips. Nobody is there to answer a language card.
public var automatic = false
public var checksLanguage: Bool { model == .auto }
/// Clips arrive by the dozen: never stop to ask, never wait for a missing model.
public var asksOnLanguageCard: Bool { kind == .conversation && !automatic }
public var waitsForMissingModel: Bool { kind == .conversation && !automatic }
/// An archive verdict archives a clip; a conversation you chose to record is only tagged Review.
public var archivesOnVerdict: Bool { kind == .clip }
public var savedYouLimit: Float { kind == .clip ? 0.45 : 0.35 }
}
}Jede Eigenschaft ist eine Produktentscheidung in Codeform. Ein Gespräch haben Sie bewusst aufgenommen, also darf die Engine Ihnen eine Frage stellen und auf den Download eines Modells warten. Clips kommen dutzendweise, während Sie mit etwas anderem beschäftigt sind, also fragen und warten sie nie. Ein Archivieren-Urteil blendet einen Clip aus, ein Gespräch, das Sie selbst gestartet haben, wird dagegen nur zur Prüfung markiert. Fast heißt Parakeet ohne Sprachprüfung; Auto ist für beide Arten der Standard.
Das Problem: Das Telefon weiß nicht, welche Sprache es hören wird
Bevor die Transkription beginnt, muss die Engine ein Sprachmodell wählen, und das richtige Modell hängt von der gesprochenen Sprache ab. Den Nutzer jedes Mal zu fragen, ist kein Produkt, also muss die Engine selbst entscheiden. Drei Dinge machen das auf einem Telefon schwer: Ein kleiner Detektor verwechselt benachbarte Sprachen, Menschen mischen Sprachen in einem Gespräch, und kein Modell, das ein Telefon halten kann, beherrscht 99 Sprachen gut.
1. Bei freier Wahl verwechselt der Detektor benachbarte Sprachen
Der naheliegende Detektor ist der Sprach-Head von Whisper Tiny, einem Modell mit 81 MB, das für jede seiner 99 Sprachen eine Wahrscheinlichkeit liefert. Wir haben ihn auf 15 Sprachen mit je 200 Clips aus FLEURS gemessen. Bei freier Wahl unter allen seinen Sprachen lag er in 78,2 % der Fälle richtig (Mac-Host).
Die Fehler fallen zwischen benachbarte Sprachen. Entscheidend ist in Tabelle 1 die letzte Spalte: Ein Router, der auf diesen Antworten aufbaut, würde jede dritte Tamil-Aufnahme an das falsche Modell schicken.
| Gesprochen | Richtig | Was Tiny stattdessen meist erkannte |
|---|---|---|
| Urdu | 20,5 % | Hindi |
| Malaiisch | 39 % | Indonesisch |
| Tamil | 57 % | Malayalam |
| Kantonesisch | 0 % | Mandarin; Tiny kann die beiden nicht unterscheiden |
2. Menschen mischen zwei Sprachen in einem Gespräch
In der Praxis ist eine Aufnahme auf Englisch, in einer anderen Sprache oder eine Mischung aus beiden, und Hindi und Englisch können sich einen einzigen Satz teilen. Ein Detektor, der für die ganze Aufnahme einen Gewinner liefert, verdeckt diese Mischung, und ein Router, der dem Gewinner vertraut, schickt ein gemischtes Gespräch an ein Modell, das nur die Hälfte davon kennt.
3. Ein Modell für 99 Sprachen ist langsam und bei den meisten schwach
Ein Telefon fasst kein Modell, das alles gut kann. Das beste kleine Englischmodell kann kein Tamil transkribieren, und das Modell, das 99 Sprachen abdeckt, ist langsam und bei den meisten davon schwach. Die Engine braucht also mehrere Modelle und eine verlässliche Methode, zwischen ihnen zu wählen, bevor das erste Wort transkribiert ist.
Unser Ansatz: erst hinhören, dann an ein Modell pro Sprache weiterleiten
Die Engine beantwortet die Sprachfrage in vier Schritten. Sie tastet die Aufnahme mit Whisper Tiny ab, beschränkt jede Entscheidung auf Englisch und eine weitere Sprache, lässt knappe Fälle von der Gerätesprache entscheiden und führt die Ausschnitte zu einer Antwort mit Konfidenz zusammen. Diese Antwort wählt genau ein Sprachmodell, und fehlt dieses Modell auf dem Telefon, wartet ein Gespräch darauf.
Höchstens 24 Ausschnitte, damit die Prüfung nie mehr als 12 Minuten hört
Vor jeder Transkription lässt die Engine den Sprach-Head von Tiny über Ausschnitte von 30 Sekunden laufen, höchstens 24 davon. Eine kurze Aufnahme wird Ausschnitt für Ausschnitt geprüft; eine dreistündige Aufnahme wird an 24 gleichmäßig verteilten Stellen abgetastet, sodass die Prüfung nie mehr als 12 Minuten hört.
nonisolated static func detectionParts(totalSeconds: Double) -> [Double] {
guard totalSeconds > 0 else { return [] }
let count = max(1, Int((totalSeconds - 5) / 30) + 1)
guard count > maximumDetectionParts else { return (0..<count).map { Double($0 * 30) } }
let step = (totalSeconds - 30) / Double(maximumDetectionParts - 1)
return (0..<maximumDetectionParts).map { (Double($0) * step).rounded() }
}
nonisolated static let maximumDetectionParts = 24Ausschnitte mit weniger als einer Sekunde Sprache werden übersprungen, und für jeden Ausschnitt behält die Engine die vollständige Wahrscheinlichkeitsverteilung, nicht nur den Gewinner. Auf einem iPhone 14 Pro Max dauerte die gesamte Prüfung bei Aufnahmen von 19 bis 87 Minuten 3,6 bis 7,3 Sekunden (iPhone).
Zwischen zwei Sprachen entscheiden, nicht zwischen neunundneunzig
Weil eine Aufnahme fast immer auf Englisch, in einer anderen Sprache oder eine Mischung aus beiden ist, bestimmt die Engine zuerst die zweite Sprache der Aufnahme: die nicht englische Sprache mit der größten, über alle Ausschnitte summierten Wahrscheinlichkeit. Danach wird jeder Ausschnitt nur noch zwischen Englisch und dieser einen Sprache entschieden, mit auf die beiden renormierter Wahrscheinlichkeit.
/// One part decided between English and other, its probability
/// renormalised over the two. A part that heard neither keeps its own top.
public static func restrict(_ distribution: [String: Double], other: String?) -> Part? {
let folded = folded(distribution)
guard let top = folded.max(by: { $0.value < $1.value || ($0.value == $1.value && $0.key > $1.key) }) else { return nil }
guard let other else { return Part(code: top.key, confidence: top.value) }
let en = folded[english] ?? 0, x = folded[other] ?? 0
guard en + x > 0 else { return Part(code: top.key, confidence: top.value) }
return en > x ? Part(code: english, confidence: en / (en + x)) : Part(code: other, confidence: x / (en + x))
}Das nutzt die Wahrscheinlichkeiten, die der Detektor ohnehin geliefert hat: kein zweites Modell, keine zusätzliche Zeit. Urdu wird vorher mit Hindi zusammengelegt, weil Tiny die beiden verwechselt.
Die Gerätesprache entscheidet knappe Fälle
Eine auf Ihrem Gerät eingestellte Sprache bekommt den Platz der zweiten Sprache, wenn sie mindestens ein Viertel der Masse des Spitzenreiters erreicht. Sie ist eine Vorannahme, keine Übersteuerung: Die Sprache muss in der Aufnahme trotzdem zu hören sein. Zusätzlich zur Paarregel hob sie die Sprachidentifikation auf Aufnahmeebene von 90,1 % auf 94,0 % (Mac-Host).
Die Ausschnitte zu einer Antwort mit Konfidenz zusammenführen
Anschließend werden die Ausschnitte zu einer Antwort zusammengeführt. Die Konfidenz ist der Anteil der dominanten Sprache an der Aufnahme, multipliziert mit der Sicherheit des Detektors auf diesen Ausschnitten. Eine Aufnahme, die zu 90 % Hindi ist, bei einer mittleren Wahrscheinlichkeit von 0,9, kommt also auf 0,81. Als gemischt gilt sie, wenn die zweitstärkste Sprache 20 % der Ausschnitte hält, und der Router entscheidet nur dann allein, wenn das Ergebnis nicht gemischt ist und die Konfidenz mindestens 0,5 beträgt.
let total = weights.values.reduce(0, +)
// Ties go to the alphabetically first code, so the result is stable.
let ranked = weights.sorted { $0.value > $1.value || ($0.value == $1.value && $0.key < $1.key) }
guard total > 0, let dominant = ranked.first else { return nil }
let share = dominant.value / total
let detector = confidence[dominant.key].map { $0.sum / $0.weight } ?? 1
let runnerUp = ranked.dropFirst().first.map { $0.value / total } ?? 0
return ConversationLanguage(code: dominant.key, confidence: (share * detector * 1000).rounded() / 1000,
mixed: runnerUp >= mixedShare)Jede Sprache geht an genau ein Sprachmodell
Jede Sprache hat genau ein festgelegtes Modell, und Sie laden nur herunter, was Sie sprechen. Parakeet deckt Englisch und 24 europäische Sprachen ab, IndicConformer-Pakete decken 22 indische Sprachen ab, eine pro Paket, ein Hinglish-Modell verarbeitet gemischtes Hindi und Englisch, SenseVoice übernimmt Chinesisch, wo es aktiviert ist, und Whisper jede andere Sprache.
public static func model(for language: String, senseVoice: Bool) -> DesignatedModel {
let code = LanguageModelRecommendation.canonical(language)
if TranscriptionModelCoverage.parakeetLanguageCodes.contains(code) { return .parakeet }
if let pack = IndicSpeechPacks.pack(languageCode: code) { return .pack(pack.id) }
if ChineseSpeechPack.routes(code, enabled: senseVoice) { return .pack(ChineseSpeechPack.modelID) }
return .whisper
}Tabelle 2 listet jedes Modell, das der Router wählen kann, mit seiner Downloadgröße.
| Engine | Sprachen | Download |
|---|---|---|
| Parakeet TDT 0.6B | Englisch und 24 europäische Sprachen | 483 oder 632 MB |
| IndicConformer (AI4Bharat) | 22 indische Sprachen, je ein Paket | je 198 MB |
| Hinglish (Oriserve) | Hindi und Englisch gemischt, lateinische Schrift | 161 MB |
| SenseVoice Small | Mandarin und Kantonesisch, wo aktiviert | 240 MB |
| Whisper Small | Alle anderen Sprachen, die Whisper abdeckt | 491 MB |
| Whisper Tiny | Nur die Sprachprüfung | 81 MB |
| Sprechermodelle | Alle Sprachen | 22 MB, in der App enthalten |
Spezialisierte Pakete schlagen ein allgemeines Modell bei Genauigkeit und Tempo
Bei den Sprachen unserer Nutzer verliert ein allgemeines Modell auf beiden Achsen zugleich. Abbildung 2 vergleicht Whisper Large v3 Turbo, ein Modell mit 631 MB, das wir nur auf dem Mac einsetzen, auf denselben Clips mit den Paketen mit 198 MB. Eine Fehlerrate über 100 % ist möglich, weil das Maß eingefügte Wörter mitzählt: Das allgemeine Modell schrieb mehr falsche Wörter, als gesprochen wurden.

Das Paket ist außerdem schneller. Einen einstündigen Hindi-Podcast schaffte es in 71 Sekunden, Turbo brauchte mehr als 380 (Mac-Host); in einem Lauf mit 20 Clips lag sein Echtzeitfaktor bei 0,018, bei Turbo zwischen 0,10 und 0,18. Hier stehen Genauigkeit und Zeit ausnahmsweise nicht im Zielkonflikt: Der Spezialist gewinnt beides, bei einem Drittel der Größe.
Für Englisch erreichte Parakeet auf zwei langen Earnings-21-Calls eine Wortfehlerrate von 5,0 % und 6,9 % und auf drei AMI-Meetings, die rund um einen Tisch aufgenommen wurden, 14 % bis 29 % (Simulator). Über alle 44 Earnings-21-Calls, 39 Stunden Audio, lag sie bei 8,2 % (Mac-Host).
Fehlt das Modell, wartet ein Gespräch, statt zu raten
Angenommen, die Engine ist sicher, Gujarati gehört zu haben, und das Gujarati-Paket ist nicht installiert. Am einfachsten wäre es, Parakeet laufen zu lassen und eine Seite selbstbewussten Unsinn zu erzeugen. Bei einem Gespräch wartet die Engine stattdessen, zeigt mit einem Download-Button an, welches Modell sie braucht, und macht von selbst weiter, sobald der Download fertig ist. Ein Clip wartet nie, weil niemand zusieht.
// Unanswered (the app left, or was not open) or a failed download: the recording
// waits for its model, with the page's Download pill, instead of running Parakeet.
// A clip never waits: an uninstalled language's clip runs Parakeet.
let waiting = route == nil && plan?.waitsForMissingModel != false
? Self.waitingModel(needed: needed, answer: answered) : nil
let ran = route ?? waiting ?? (.parakeet, nil)Eine zweite Absicherung greift in die andere Richtung: Ein Auftrag, der eine Sprache mit eigenem Paket an Whisper schicken würde, wird auf das Paket umgeleitet oder wartet darauf. Hört die Prüfung Englisch plus eine indische Sprache, geht die Aufnahme an das Paket dieser Sprache, Hindi mit Englisch geht an das Hinglish-Modell. Ein Modell, das Sie selbst gewählt haben, wird nie übergangen.
Ergebnisse
Die Paarregel machte aus einem Detektor, der pro Clip in 78,2 % der Fälle richtig lag, einen Router, der für die meisten Aufnahmen das richtige Modell wählt, ohne zweites Modell und ohne zusätzliche Zeit auf dem Telefon. Abbildung 3 zeigt die Sprachidentifikation auf Aufnahmeebene nach jedem Schritt, gemessen auf FLEURS mit der Logik der App auf einem Mac-Host.

- Sprachidentifikation. Auf ein Paar beschränkt, erreichte jede getestete Sprache außer Kantonesisch 94,5 % bis 100 %, und der Anteil der Aufnahmen, die richtig und mit ausreichender Sicherheit weitergeleitet wurden, stieg von 66,0 % auf 79,6 % (Mac-Host).
- Transkription. Die Pakete mit 198 MB schlugen Whisper Large v3 Turbo bei jeder getesteten indischen Sprache, bei einem Drittel der Größe (Abbildung 2), und Parakeet kam über 39 Stunden Earnings Calls auf eine Wortfehlerrate von 8,2 % (Mac-Host).
Wie es in dieser Serie weitergeht
Das richtige Modell zu wählen, ist die erste Entscheidung. Teil 2 begleitet die Aufnahme durch die Transkription in Abschnitten, die Unterbrechungen übersteht, den frühen Filter (behalten, prüfen oder archivieren), die Sprechererkennung und das Stimmgedächtnis, das von Ihnen markierte Personen benennt. Teil 3 zeigt, wie sich die Modelle den Speicher teilen, was die optionale Cloud-Zusammenfassung tut, wohin die Zeit geht und was wir gemessen, aber nicht ausgeliefert haben.
Fazit
Ein Telefon kann kein Modell ausführen, das jede Sprache gut beherrscht, also hört Meetly Auto Engine zuerst hin und leitet dann weiter. Die Lehre aus diesem Teil: Die Frage, die man einem kleinen Modell stellt, zählt ebenso viel wie das Modell selbst. Bei der Wahl unter 99 Sprachen verwechselte Whisper Tiny Nachbarn; bei der Wahl zwischen zweien wurde daraus ein Router, dem wir vertrauen können.
Nehmen Sie etwas in einer beliebigen Sprache auf, die Sie sprechen. Der Sprachschritt, das gewählte Modell und die erkannten Sprecher werden während der Verarbeitung auf der Gesprächsseite angezeigt.
Meetly für das iPhone ladenFragen zur Meetly Auto Engine
Wie erkennt Meetly die gesprochene Sprache auf dem Gerät?
Vor der Transkription lässt Meetly den Sprach-Head von Whisper Tiny, einem Modell mit 81 MB, über bis zu 24 Ausschnitte von je 30 Sekunden laufen, sodass die Prüfung nie mehr als 12 Minuten einer Aufnahme hört. Bei freier Wahl unter allen seinen Sprachen lag Tiny auf FLEURS in 78,2 % der Fälle richtig, mit Verwechslungen zwischen benachbarten Sprachen wie Urdu und Hindi. Deshalb bestimmt die Engine zuerst die eine nicht englische Sprache der Aufnahme und entscheidet dann jeden Ausschnitt nur zwischen Englisch und dieser Sprache. Mit dieser Paarregel und der Gerätesprache stieg die Sprachidentifikation auf Aufnahmeebene von 88,0 % auf 94,0 %. Auf einem iPhone 14 Pro Max dauerte die gesamte Prüfung 3,6 bis 7,3 Sekunden.
Welche Sprachen kann Meetly auf dem Gerät transkribieren?
Meetly hört zuerst hin und leitet dann jede Aufnahme an ein Modell weiter, das für ihre Sprache gebaut ist. Parakeet übernimmt Englisch und 24 europäische Sprachen. Dedizierte IndicConformer-Pakete von AI4Bharat decken 22 indische Sprachen ab, ein Paket pro Sprache, und ein eigenes Modell verarbeitet Hindi und Englisch, wenn beide im selben Satz gemischt werden. Chinesisch kann an SenseVoice gehen, wo das aktiviert ist, jede andere Sprache geht an Whisper. Sie laden nur die Pakete für die Sprachen herunter, die Sie sprechen. Wer auf Englisch und Marathi aufnimmt, hat also Parakeet und ein indisches Paket auf dem Gerät, nicht jedes Modell, das die Engine kennt.
Wie genau ist die On-Device-Transkription von Meetly?
Das hängt von Sprache und Audio ab. Für Englisch erreichte Parakeet auf zwei langen Earnings Calls eine Wortfehlerrate von 5,0 % und 6,9 %, über alle 44 Earnings-21-Calls 8,2 % und auf AMI-Meetings, die mit Raummikrofonen rund um einen Tisch aufgenommen wurden, 14 % bis 29 %. Bei indischen Sprachen kamen die dedizierten Pakete auf dem FLEURS-Testset auf 14,6 % für Hindi, 17,8 % für Bengalisch und 26,3 % für Tamil, während Whisper Large v3 Turbo dort 34,2 %, 86,7 % und 71,2 % erreichte. Bei jeder Zahl in diesem Beitrag steht, ob sie auf einem iPhone, im Simulator oder in einem Test-Harness auf dem Mac gemessen wurde.
Was passiert, wenn das passende Sprachmodell nicht heruntergeladen ist?
Bei einem Gespräch, das Sie bewusst aufgenommen haben, weicht Meetly nicht auf ein Modell aus, das die Sprache nicht beherrscht. Ist sich die Engine sicher, etwa Gujarati gehört zu haben, und ist das Gujarati-Paket nicht installiert, wartet die Aufnahme. Die Gesprächsseite zeigt mit einem Download-Button, welches Modell fehlt, und die Transkription läuft von selbst weiter, sobald der Download abgeschlossen ist. Clips eines tragbaren Rekorders warten nie, weil niemand zusieht; sie laufen über Parakeet. Eine separate Absicherung leitet jeden Auftrag um, der eine Sprache mit eigenem Paket an Whisper schicken würde, und ein Modell, das Sie selbst gewählt haben, wird nie übergangen.