Meetly Auto Engine 第1回:言語判定とモデルの振り分け
Meetly が iPhone 上で話されている言語を判定し、各録音を 1 つの音声認識モデルへ振り分ける仕組みを解説します。Whisper Tiny が聞き取り、ペアルールが判定し、1 つのモデルが文字起こしします。
Meetly は文字起こしの前に言語を聞き取ります。iPhone 上で Whisper Tiny が最大 24 パートを調べ、英語ともう 1 言語の 2 択で判定します。判定精度は 88.0% から 94.0% に上がりました。

はじめに
Meetly Auto Engine は、録音を終えたファイルを、話者付きの文字起こし、残す価値があるかどうかの判定、そして許可した場合は要約に変える Meetly の中核部分です。文字起こしと話者識別は iPhone 上で動き、音声が Meetly や AI プロバイダに送られることはありません。全3回の連載で、コードと測定値を交えて仕組みを説明します。
第1回では最初の判断、つまりエンジンが聞いている言語は何か、どの音声認識モデルで文字起こしすべきかを扱います。99 言語ではなく英語ともう 1 言語の 2 択で判定することで、録音単位の言語判定精度は 88.0% から 94.0% に上がりました。
背景:停止から要約までにエンジンがすること
Meetly は、会話を録音してデバイス上で文字起こしする iPhone、iPad、Mac 向けアプリです。多くの会議録音アプリは、データセンターの大規模な多言語モデルに音声をアップロードします。モデルをいくらでも大きくできるので、シンプルで精度も高い方法です。Meetly は録音をご自身のデバイスにとどめるため、この楽な道は選べません。
入力はファイル 1 つ、出力は文字起こし、判定、要約
停止をタップすると、エンジンはすでにデバイス上にある音声ファイルを 1 つ受け取ります。返すのは、各行に話者が付いた文字起こし、録音を残す価値があるかどうかの判定、そして残す録音については要約、タイトル、タグです(要約は任意のクラウド処理です)。図1 に全ステージを 1 枚にまとめました。

緑の領域のステージは、すべてネットワークなしで iPhone 上で動きます。黄色の領域は任意で、受け取るのはテキストだけです。全体を貫く考え方は 3 つです。どのステージもチェックポイントから再開できること、重いモデルは常に 1 つだけメモリに載せること、話者や言語に確信が持てなければ推測せず、話者なしで残すことです。
2 つの入力が、全ステージが参照する計画になる
エンジンはファイルについて 2 つの情報を受け取ります。種類は、意図して録音した会話か、テスト中のウェアラブルレコーダーが発話を検知して記録したクリップか。モデルは Auto か Fast です。この 2 つから計画(Plan)が作られ、後続のステージは録音の種類を問い合わせず、計画から自分の振る舞いを読み取ります。
public enum MeetlyAutoEngine {
/// Clip: captured by always-on. Conversation: recorded on purpose.
public enum Kind: String, Codable, Sendable { case clip, conversation }
/// Fast is Parakeet (no check). Auto listens first and picks the model for the language heard.
public enum Model: String, Codable, CaseIterable, Sendable { case auto, parakeet }
public struct Plan: Equatable, Sendable {
public var kind: Kind
public var model: Model
/// A conversation Meetly joined from clips. Nobody is there to answer a language card.
public var automatic = false
public var checksLanguage: Bool { model == .auto }
/// Clips arrive by the dozen: never stop to ask, never wait for a missing model.
public var asksOnLanguageCard: Bool { kind == .conversation && !automatic }
public var waitsForMissingModel: Bool { kind == .conversation && !automatic }
/// An archive verdict archives a clip; a conversation you chose to record is only tagged Review.
public var archivesOnVerdict: Bool { kind == .clip }
public var savedYouLimit: Float { kind == .clip ? 0.45 : 0.35 }
}
}各プロパティは、プロダクト上の判断をそのままコードにしたものです。会話はユーザーが自分で録音を選んだものなので、エンジンは質問をしてもよく、モデルのダウンロードを待ってもかまいません。クリップはユーザーが別のことをしている間に何十件も届くため、質問もせず、待ちもしません。アーカイブ判定はクリップを表示から外しますが、自分で始めた会話には「要確認」の印が付くだけです。Fast は言語チェックなしの Parakeet を意味し、Auto はどちらの種類でもデフォルトです。
課題:スマートフォンは、どの言語が聞こえてくるかを知らない
文字起こしの前に、エンジンは音声認識モデルを選ぶ必要があり、適切なモデルは話されている言語で決まります。毎回ユーザーに尋ねるのでは製品にならないので、エンジンが自分で判断します。難しさは 3 つです。小さな判定器は近い言語を混同し、人は会話の中で言語を混ぜ、99 言語をうまく扱えるモデルは端末に載りません。
1. オープンセットの判定は近い言語を混同する
自然な候補は Whisper Tiny の言語判定ヘッドです。81 MB のモデルで、対応する 99 言語それぞれの確率を返します。FLEURS の 15 言語、各 200 クリップで測定したところ、全言語の中から選ばせた場合の正解率は 78.2% でした(Mac ホスト)。
誤りは近い言語どうしの間で起きます。表1 の最後の列を見てください。この答えをもとに振り分けると、タミル語の録音の 3 件に 1 件が誤ったモデルに送られます。
| 話された言語 | 正解率 | Tiny が代わりに答えた主な言語 |
|---|---|---|
| ウルドゥー語 | 20.5% | ヒンディー語 |
| マレー語 | 39% | インドネシア語 |
| タミル語 | 57% | マラヤーラム語 |
| 広東語 | 0% | 標準中国語。両者を区別できません |
2. 人は 1 つの会話で 2 つの言語を混ぜる
実際の録音は、英語か、ほかの 1 言語か、その 2 つの混在です。ヒンディー語と英語は 1 つの文の中でも混ざります。録音全体で勝者を 1 つだけ返す判定器はこの混在を隠し、その勝者を信じるルーターは、混在した会話を半分しか理解できないモデルに送ってしまいます。
3. 99 言語を 1 つでこなすモデルは遅く、多くの言語で精度が出ない
スマートフォンには、何でも得意な 1 つのモデルを載せられません。最良の小型英語モデルはタミル語を文字起こしできず、99 言語に対応するモデルは遅く、そのほとんどで精度が出ません。そのためエンジンには複数のモデルと、最初の単語を文字起こしする前にその中から確実に選ぶ方法が必要です。
アプローチ:まず聞き取り、言語ごとに 1 つのモデルへ振り分ける
エンジンは 4 つのステップで言語を判断します。Whisper Tiny で録音をサンプリングし、判定を英語ともう 1 言語に絞り、僅差ならデバイスの言語で決め、各パートを確信度付きの 1 つの答えにまとめます。その答えでモデルが 1 つに決まり、端末になければ会話はダウンロードを待ちます。
最大 24 パートを抜き出し、チェックが聞くのは最長 12 分
文字起こしの前に、エンジンは録音の 30 秒単位のパート、最大 24 個に Tiny の言語判定ヘッドを実行します。短い録音はパートごとにすべて調べ、3 時間の録音は等間隔の 24 か所を抜き出すので、チェックが聞く音声は最長でも 12 分です。
nonisolated static func detectionParts(totalSeconds: Double) -> [Double] {
guard totalSeconds > 0 else { return [] }
let count = max(1, Int((totalSeconds - 5) / 30) + 1)
guard count > maximumDetectionParts else { return (0..<count).map { Double($0 * 30) } }
let step = (totalSeconds - 30) / Double(maximumDetectionParts - 1)
return (0..<maximumDetectionParts).map { (Double($0) * step).rounded() }
}
nonisolated static let maximumDetectionParts = 24発話が 1 秒未満のパートはスキップし、各パートについては最上位の言語だけでなく確率分布全体を保持します。iPhone 14 Pro Max では、19〜87 分の録音に対してチェック全体が 3.6〜7.3 秒で終わりました(iPhone)。
99 言語ではなく 2 言語から選ぶ
録音はほぼ必ず、英語か、ほかの 1 言語か、その混在です。そこでエンジンはまず録音の「もう 1 つの言語」を見つけます。全パートの確率を合計して、英語以外で最も大きい言語です。そのうえで各パートを英語とその 1 言語だけで判定し、確率を 2 つの間で正規化し直します。
/// One part decided between English and other, its probability
/// renormalised over the two. A part that heard neither keeps its own top.
public static func restrict(_ distribution: [String: Double], other: String?) -> Part? {
let folded = folded(distribution)
guard let top = folded.max(by: { $0.value < $1.value || ($0.value == $1.value && $0.key > $1.key) }) else { return nil }
guard let other else { return Part(code: top.key, confidence: top.value) }
let en = folded[english] ?? 0, x = folded[other] ?? 0
guard en + x > 0 else { return Part(code: top.key, confidence: top.value) }
return en > x ? Part(code: english, confidence: en / (en + x)) : Part(code: other, confidence: x / (en + x))
}この方法は判定器がすでに出力した確率を使い回すだけなので、2 つ目のモデルも追加の時間も要りません。Tiny は両者を混同するため、ウルドゥー語は先にヒンディー語へまとめます。
僅差の判定はデバイスの言語で決める
デバイスに設定されている言語は、首位の言語の 4 分の 1 以上の確率があれば「もう 1 つの言語」の枠を獲得します。これは事前情報であって強制ではなく、その言語が録音の中で実際に聞こえている必要があります。ペアルールに加えると、録音単位の判定精度は 90.1% から 94.0% に上がりました(Mac ホスト)。
各パートを確信度付きの 1 つの答えにまとめる
最後に、各パートの結果を 1 つの答えにまとめます。確信度は、優勢な言語が録音に占める割合に、それらのパートでの判定器の確信度を掛けたものです。たとえば 90% がヒンディー語で平均確率が 0.9 なら、スコアは 0.81 です。2 位の言語がパートの 20% を占めると「混在」とみなし、ルーターが単独で判断するのは、混在ではなく確信度が 0.5 以上のときだけです。
let total = weights.values.reduce(0, +)
// Ties go to the alphabetically first code, so the result is stable.
let ranked = weights.sorted { $0.value > $1.value || ($0.value == $1.value && $0.key < $1.key) }
guard total > 0, let dominant = ranked.first else { return nil }
let share = dominant.value / total
let detector = confidence[dominant.key].map { $0.sum / $0.weight } ?? 1
let runnerUp = ranked.dropFirst().first.map { $0.value / total } ?? 0
return ConversationLanguage(code: dominant.key, confidence: (share * detector * 1000).rounded() / 1000,
mixed: runnerUp >= mixedShare)各言語を、ちょうど 1 つの音声認識モデルへ
各言語には指定のモデルがちょうど 1 つあり、ダウンロードするのは自分が話す言語の分だけです。Parakeet が英語と欧州 24 言語、IndicConformer がインドの 22 言語(1 言語 1 パック)、Hinglish モデルがヒンディー語と英語の混在、SenseVoice が有効時の中国語を担当し、残りはすべて Whisper です。
public static func model(for language: String, senseVoice: Bool) -> DesignatedModel {
let code = LanguageModelRecommendation.canonical(language)
if TranscriptionModelCoverage.parakeetLanguageCodes.contains(code) { return .parakeet }
if let pack = IndicSpeechPacks.pack(languageCode: code) { return .pack(pack.id) }
if ChineseSpeechPack.routes(code, enabled: senseVoice) { return .pack(ChineseSpeechPack.modelID) }
return .whisper
}表2 は、ルーターが選べるすべてのモデルと、そのダウンロードサイズの一覧です。
| エンジン | 対応言語 | ダウンロード |
|---|---|---|
| Parakeet TDT 0.6B | 英語と欧州 24 言語 | 483 MB または 632 MB |
| IndicConformer (AI4Bharat) | インドの 22 言語、各 1 パック | 各 198 MB |
| Hinglish (Oriserve) | ヒンディー語と英語の混在、ラテン文字表記 | 161 MB |
| SenseVoice Small | 標準中国語と広東語(有効時) | 240 MB |
| Whisper Small | Whisper が対応するその他すべての言語 | 491 MB |
| Whisper Tiny | 言語チェック専用 | 81 MB |
| 話者モデル | 全言語 | 22 MB、アプリに同梱 |
専用パックは精度でも速度でも汎用モデルに勝つ
ユーザーが話す言語では、汎用モデルが 2 つの軸で同時に負けます。図2 は、Mac でのみ動かしている 631 MB の Whisper Large v3 Turbo と、198 MB のパックを同じクリップで比べたものです。誤り率が 100% を超えることがあるのは、この指標が挿入された単語も数えるためです。汎用モデルは、実際に話された単語数より多くの誤った単語を書き出しました。

パックは速度でも上回ります。1 時間のヒンディー語ポッドキャストをパックは 71 秒で処理し、Turbo は 380 秒以上かかりました(Mac ホスト)。20 クリップの計測では、パックのリアルタイム係数が 0.018、Turbo は 0.10〜0.18 でした。精度と時間がトレードオフにならない珍しいケースで、専用モデルが 3 分の 1 のサイズで両方に勝っています。
英語では、Parakeet の単語誤り率は長時間の Earnings-21 の決算説明会 2 件で 5.0% と 6.9%、テーブルを囲んで録音した AMI の会議 3 件で 14%〜29% でした(シミュレータ)。Earnings-21 の全 44 件、計 39 時間の音声では 8.2% でした(Mac ホスト)。
モデルがないとき、会話は推測せずに待つ
エンジンがグジャラート語だと確信したのに、グジャラート語のパックがインストールされていないとします。手っ取り早いのは Parakeet で処理することですが、それでは自信たっぷりの意味不明な文章が 1 ページ分できあがります。会話の場合、エンジンは代わりに待機し、必要なモデルをダウンロードボタン付きで表示し、ダウンロードが終わると自動で処理を再開します。クリップは誰も見ていないので、待つことはありません。
// Unanswered (the app left, or was not open) or a failed download: the recording
// waits for its model, with the page's Download pill, instead of running Parakeet.
// A clip never waits: an uninstalled language's clip runs Parakeet.
let waiting = route == nil && plan?.waitsForMissingModel != false
? Self.waitingModel(needed: needed, answer: answered) : nil
let ran = route ?? waiting ?? (.parakeet, nil)逆方向の安全策もあります。専用パックがある言語を Whisper に送ろうとするジョブは、パックへ振り直されるか、パックを待ちます。チェックで英語とインドの 1 言語が聞こえた場合、録音はその言語のパックへ、ヒンディー語と英語の場合は Hinglish モデルへ送られます。ユーザーが自分で選んだモデルが上書きされることはありません。
結果
ペアルールによって、クリップ単位で 78.2% しか正解しなかった判定器が、2 つ目のモデルも端末上の追加時間もなしに、ほとんどの録音で正しいモデルを選ぶルーターになりました。図3 は、FLEURS でアプリ自身のロジックを使い、Mac ホストで測定した各ステップの録音単位の判定精度です。

- 言語判定。ペアに絞ると、テストした言語は広東語を除いてすべて 94.5%〜100% となり、正しく、かつ高い確信度で振り分けられた録音は 66.0% から 79.6% に増えました(Mac ホスト)。
- 文字起こし。198 MB のパックは、テストしたすべてのインドの言語で、3 分の 1 のサイズながら Whisper Large v3 Turbo を上回りました(図2)。Parakeet は 39 時間分の決算説明会で単語誤り率 8.2% でした(Mac ホスト)。
連載の次回以降
適切なモデルを選ぶのは最初の判断にすぎません。第2回では、中断に強いチャンク単位の文字起こし、早期フィルタ、話者識別、タグ付けした人に名前を付ける声の記憶を追います。第3回では、モデルのメモリの分け合い方、任意のクラウド要約、時間の内訳、採用しなかった施策を扱います。
まとめ
スマートフォンでは、すべての言語が得意な 1 つのモデルは動かせないため、Meetly Auto Engine はまず聞いてから振り分けます。今回の教訓は、小さなモデルに何を問うかがモデルそのものと同じくらい重要だということです。99 言語から選ばせると Whisper Tiny は近い言語を取り違えましたが、2 つから選ばせると、信頼できるルーターになりました。
話せる言語なら何語でも、まずは録音してみてください。処理中は、言語判定のステップ、選ばれたモデル、検出された話者が会話ページに表示されます。
iPhone 版 Meetly を入手Meetly Auto Engine についてのよくある質問
Meetly はどのようにオンデバイスで話し言葉の言語を判定しますか?
文字起こしの前に、Meetly は 81 MB の Whisper Tiny の言語判定ヘッドを、30 秒ずつ最大 24 パートに対して実行します。そのため、チェックが聞くのは録音のうち最長 12 分です。全言語から選ばせると、FLEURS での Tiny の正解率は 78.2% で、ウルドゥー語とヒンディー語のような近い言語どうしで誤りが出ました。そこでエンジンはまず録音中の英語以外の 1 言語を特定し、各パートを英語とその言語の 2 択で判定します。このペアルールとデバイス言語の併用で、録音単位の判定精度は 88.0% から 94.0% に上がりました。iPhone 14 Pro Max では、チェック全体が 3.6〜7.3 秒で終わります。
Meetly はどの言語をオンデバイスで文字起こしできますか?
Meetly はまず言語を聞き取り、その言語向けに作られた 1 つのモデルへ録音を振り分けます。英語と欧州 24 言語は Parakeet が担当します。インドの 22 言語は AI4Bharat の専用 IndicConformer パック(1 言語 1 パック)が、同じ文の中でヒンディー語と英語が混ざる発話は別のモデルが担当します。中国語は有効にしていれば SenseVoice へ、それ以外の言語はすべて Whisper へ送られます。ダウンロードするのは自分が話す言語のパックだけです。たとえば英語とマラーティー語で録音する人は、エンジンが扱えるすべてのモデルではなく、Parakeet とインドのパック 1 つだけを入れれば済みます。
Meetly のオンデバイス文字起こしの精度はどのくらいですか?
言語と音声の条件によって変わります。英語では、Parakeet の単語誤り率は長時間の決算説明会 2 件で 5.0% と 6.9%、Earnings-21 の全 44 件で 8.2%、テーブルを囲んで離れたマイクで録音した AMI の会議で 14%〜29% でした。インドの言語では、FLEURS テストセットで専用パックがヒンディー語 14.6%、ベンガル語 17.8%、タミル語 26.3% を記録し、Whisper Large v3 Turbo は同じ言語で 34.2%、86.7%、71.2% でした。本記事の数値には、iPhone 実機、シミュレータ、Mac のテストハーネスのどこで測定したかをすべて明記しています。
適切な言語モデルがダウンロードされていない場合はどうなりますか?
意図して録音した会話の場合、Meetly はその言語を扱えないモデルで代わりに処理することはしません。たとえばエンジンがグジャラート語だと確信し、グジャラート語のパックが入っていなければ、録音は待機状態になります。会話ページには必要なモデルがダウンロードボタン付きで表示され、ダウンロードが終わると文字起こしが自動で再開します。ウェアラブルレコーダーのクリップは誰も見ていないため待たず、Parakeet で処理します。専用パックがある言語を Whisper に送ろうとするジョブは別の安全策で振り直され、ユーザーが自分で選んだモデルが上書きされることはありません。