Meetly Auto Engine 第3回:クラウド要約とベンチマーク
連載の最終回です。iPhone 上でのモデルのスケジューリング、任意でテキストのみを扱う要約ステップが送るものと拒否するもの、処理時間の内訳、測定したものの採用しなかった施策を解説します。
Meetly は iPhone 上で重いモデルを 1 つずつ使い、文字起こしと話者識別を行います。クラウドは任意の要約だけで、送るのはテキストのみです。11.4 分の会話は合計約 92 秒で、文字起こしは 26 秒後に読めます。

はじめに
第1回では、Meetly Auto Engine が iPhone 上で言語と音声認識モデルを選びました。第2回では、チャンク単位で文字起こしし、価値のない録音を除外し、話者を識別して登録済みの声と照合しました。すべてデバイス上の処理です。最終回の今回は、メモリの分け合い方、唯一の任意のクラウド処理、時間の内訳、採用しなかったものを扱います。
最後に、3 回すべてに通じる教訓で連載を締めくくります。中央値 11.4 分の会話では各ステージの合計が約 92 秒で、文字起こしは最初の 26 秒で読めるようになります。
背景:スマートフォンが課す制約
最終回を形作る制約は 2 つです。iOS は、システムが許す以上のメモリを使うアプリを警告なしに終了させ、古い端末ほど許容量が小さくなります。また、端末に載る小さなモデルは、要約ではまだ十分に信頼できません。そのため要約は、テキストのみ、同意がある場合に限って端末の外に出せる唯一のステップです。
課題:メモリ、プライバシー、時間
残る問いは互いに引っ張り合います。モデルを並行して動かせば時間は短縮できますが、メモリのリスクがあります。大きなモデルにテキストを送れば要約は良くなりますが、送る量は最小限にし、文字起こしが裏付けるものだけを受け入れる必要があります。実利用で各ステージを測らなければ、どのトレードオフに価値があるかはわかりません。
- 2 つの重いモデルはメモリ上限を超えることがあります。古い iPhone では、音声認識モデルと話者モデルを同時に載せると、iOS がアプリに許すメモリを超えることがあります。
- 要約には、現在のスマートフォンでは十分に動かせない大きさのモデルが必要です。クラウド処理では音声を送らず、プロバイダに何も保持しないよう求め、文字起こしが裏付けないものはすべて拒否しなければなりません。
- 時間は複数のステージに分散しています。何を並行して動かすかを決める前に、時間がどこにかかっているかを知る必要があります。
重いモデルは一度に 1 つ
2 つの重いモデルはメモリ上限を超えうるため、モデルを使うステージは必ず先にスケジューラへ問い合わせます。オーナー枠は 1 つで、話者モデルの前に音声認識モデルを解放します。安全ですが処理は完全に逐次になります。このセクションの残りでは、安全性を保ったままその損失を取り戻す方法を説明します。
private func admits(family: String, partners: Set<String>?) -> Bool {
if let partners { return companion == nil && (owner.map { partners.contains($0.family) } ?? true) }
return owner == nil && (companion.map { $0.partners.contains(family) } ?? true)
}
private func grant(_ id: UUID, family: String, partners: Set<String>?) {
if let partners { companion = Companion(id: id, family: family, partners: partners) }
else { owner = Holder(id: id, family: family) }
}コンパニオン枠で、話者識別を文字起こしと並行させる
スケジューラには、指定された 1 つのパートナーと並んで動くことを許されたモデル用のコンパニオン枠も 1 つあります。話者モデルは Parakeet だけをパートナーとするコンパニオンを申請し、許可されると、話者識別の処理全体が文字起こしと同時に走ります。図1 は、2 つの長い録音での効果です。

実機で測定するまではオプトイン
この機能はまだ全員には有効にしていません。オプトインした場合に限り、メモリが 7.5 GB 以上あり、熱くなく、アイドル状態で録音中でない端末でのみ動作し、リモートで無効化もできます。両方のモデルを読み込んだ実機でメモリと発熱を測定するまで、38% はシミュレータでの結果にとどまります。
任意のクラウド処理が送るのはテキストだけで、音声は送らない
ここまではすべてデバイス上の処理でした。iPhone では要約がクラウドを使う唯一のステップで、事前に同意が必要です。送るのは話者ラベルとタイムスタンプ付きの文字起こしテキスト、入力したメモ、メモに添付した写真で、音声と声紋は決して送りません。同意はバージョン管理され、各リクエストの前と送信の瞬間に確認します。
すべてのリクエストで、プロバイダに何も保持しないよう求める
var provider: [String: JSONValue] = [:]
if request.schema != nil { provider["require_parameters"] = true }
if requireZDR { provider["zdr"] = true }
if denyDataCollection { provider["data_collection"] = "deny" }
if let order = providerOrder(for: [request.model] + request.fallbackModels) {
provider["order"] = .array(order.map { .string($0) })
provider["only"] = .array(order.map { .string($0) })
provider["allow_fallbacks"] = true
}
if !provider.isEmpty { body["provider"] = .object(provider) }各リクエストはゼロデータ保持を求め、データ収集を拒否し、決められた順序の指定プロバイダのリストに限定されます。
1 つのプロンプトではなく 3 つのパス
処理は 1 つのプロンプトではなく 3 つのパスに分けています。整形、分類、要約を 1 つのプロンプトでまとめて行うと、3 つとも中途半端になるからです。
- パス A:整形と名前。小さく高速なモデルが文字起こしを読み、書き直しではなく編集のリストを返します。
- パス B:会話の種類。同時に、録音を 1 対 1、チームミーティング、面接、ボイスメモなど 8 種類のいずれかに分類し、最大 3 つのタグを提案します。
- パス C:要約。より大きなモデルが、整形済みの文字起こしとパス A の名前を使って、その種類に合った要約を書きます。
最も重要なのは、アプリが受け入れを拒否するもの
置き換え対象のテキストが文字起こしにない編集、誰も言っていない単語を挿入する編集、話された金額を変える編集は却下されます。検証器はラーク(lakh)やクロール(crore)といったインドの数の単位も理解します。人名や日付は引用元の行に出てこなければ捨て、要約の箇条書きも引用が解決できなければ捨てます。保存された文字起こしが書き換えられることはありません。
要約の長さは録音時間に合わせる
どの種類も、振り返り、要点、決定事項、約束事項、未解決の問いという共通の核を持ち、そこに種類ごとのセクションを加えます。長さは録音時間に応じて約 250 語から約 700 語まで変わり、選んだ言語で書かれます。実利用では各パスの所要時間の中央値が 13.8 秒、3.0 秒、26.7 秒で、ステップ全体は中央値 40.6 秒、90 パーセンタイルで 74.8 秒でした(テレメトリ)。
結果:時間はどこにかかっているか
まとめると、中央値である 11.4 分の会話で、停止をタップしてから要約を読めるまでの流れは次のとおりです。各ステージの合計は約 92 秒です。これは中央値の合計で、エンドツーエンドの実測値ではありません。文字起こしは最初の 26 秒で読めます。声の照合は 30 ミリ秒で済むため、登録済みのすべての声と比較しています。

測定したが採用しなかったもの
実行記録を残しておく価値は、正しそうに見えて実はそうでなかったもののリストにあります。以下はいずれも実際に作るか測定したもので、どれもより単純な選択肢に負けたか、より良いモデルを待っています。書き出しておくことで、数か月ごとに名前を変えて同じものを作り直すのを防いでいます。
- 既知の名前に向けて音声認識モデルを誘導する。名前を正しく書けた割合は 49.7% から 57.3% に上がり、単語誤り率は 8.2% のままでした。しかし文字起こしの計算量が 130% 増え、97.5 MB のモデルが必要になり、置き換えの約 10 件に 1 件は誤りでした(Mac ホスト)。
- きれいな窓のルールを緩める(第2回参照)。ほかの人の発話を最大 1 秒含む窓も声紋に使えば、早口の人に有利なはずでした。実際には声紋が減り、63 人から 58 人になりました。
- リトライ付きの Whisper。1 時間の録音で、難しいセグメントを 5 回リトライすると 454 秒かかって発話の 31% しかカバーできず、リトライなしでは 272 秒で 98% をカバーしました(Mac ホスト)。
今後の取り組み
現在、2 つの機能をあえてスマートフォン上で動かしていません。どちらも、スマートフォン向けモデルの進化に合わせた次の改良対象です。要約と、人名、日付、トピックの抽出は任意のクラウド処理で行います。スマートフォンに載る小さなモデルは、まだ十分に信頼できないためです。信頼できる水準になれば、デバイス上に戻します。
- オンデバイスでの要約。Apple のオンデバイスモデルとローカルのオープンモデルで実装しました。テレメトリでは、クラウド経由で要約が完成した録音は 86%、オンデバイスでは 21% だったため、一時停止しています。コードは次世代のスマートフォン向けモデルのために残しています。
- オンデバイスでの人名、日付、トピックの抽出。決算説明会のデータセットで Apple の言語タガーが見つけた人名は 62%〜65% で、採用するには精度が低すぎると判断しました。小さなオンデバイスの抽出器が上回るまで、名前は検証済みのクラウドのパスから取得します。
- 1 つの録音の途中でのモデル切り替え。判定ロジックは実装・テスト済みで、領域の判定に最低 3 秒、1 回の連続区間に最低 8 秒を設けています。まだ組み込んでおらず、現時点では 1 つの録音に 1 つのモデルです。
- 並列の話者処理の実機での数値、および長時間の会議の精度を、シミュレータではなく実機で評価すること。
- 広東語。判定器は標準中国語と区別できません。SenseVoice はすべてのテストクリップで広東語を識別しており、確認を終えるまで設定スイッチの後ろに置いています。
- Mac 版。すべての録音を言語チェックなしで Parakeet で始めており、まだ iPhone と同じエンジンを呼び出していません。
連載を通して学んだこと
3 回の連載、1 つのエンジン、そしてどのステージでも通用したいくつかの教訓です。どれも音声に特有のものではありません。小さなモデルを使ってスマートフォン上で判断を下し、毎回人に助けを求めるわけにはいかない、あらゆるシステムに当てはまります。
- 小さなモデルには、より小さな問いを。全言語から選ばせた Whisper Tiny の正解率は 78.2% でしたが、英語ともう 1 言語の 2 択にすると、追加のモデルなしで録音単位の判定精度が 94.0% に達しました(第1回)。
- 1 つずつダウンロードできる専用モデルを選ぶ。198 MB のインドの言語パックは、631 MB の汎用モデルに精度でも速度でも勝ちました(第1回)。
- すべてのステージを再開可能にする。保存済みのチャンクにより、iOS による中断は最初からのやり直しではなく、数秒分の再処理で済みます(第2回)。
- 推測するより判断を保留し、誤答を数える。声の記憶は、2 つの声が当てはまりうるときは名前を付けません。登録済みの 81 人全員を正しく識別し、1,725 回のなりすましを 1 回も受け入れませんでした(第2回)。
- 定数は実データで確かめる。話者数の上限が 8 だったため、19 人の通話が 8 人に混ざっていましたが、32 に上げて解決しました(第2回)。
- 採用しなかったもののリストを残す。同じアイデアを名前を変えて作り直すのを防げます(第3回)。
まとめ
どれも特別な研究ではありません。慎重に選んだ小さなモデル、仮定ではなく測定で決めたしきい値、そして間違ったことを言うくらいなら何も言わないという強いこだわりです。エンジンの残りをすべてゼロから作り直すことになっても、このこだわりだけは残すつもりです。
以上がエンジンの全体像です。連載を最初から読む場合は、第1回:言語判定とモデルの振り分けに戻ってください。
話せる言語なら何語でも、まずは録音してみてください。処理中は、言語判定のステップ、選ばれたモデル、検出された話者が会話ページに表示されます。
iPhone 版 Meetly を入手Meetly Auto Engine についてのよくある質問
Meetly は音声をクラウドに送信しますか?
いいえ。Meetly Auto Engine は文字起こし、話者識別、登録済みの声との照合を iPhone 上で行い、音声が Meetly や AI プロバイダに送られることはありません。クラウドを使う可能性があるのは要約だけで、これは任意であり、ユーザーの同意が必要です。許可した場合、アプリは話者ラベルとタイムスタンプ付きの文字起こしテキストと、添付したメモや写真を、ゼロデータ保持を求めたプロバイダへ送信します。声紋は 256 個の数値でご自身のデバイスに保存され、登録済みの声のライブラリは、同期をオンにした場合に限りご自身のプライベートな iCloud 経由で暗号化して同期されます。
Meetly は iPhone 本体で要約を作成しますか?
現時点では作成しません。Apple のモデルとローカルのオープンモデルでオンデバイスの要約を実装しましたが、テレメトリではクラウド経由で要約が完成した録音が 86% だったのに対し、オンデバイスでは 21% にとどまりました。そのため iPhone では現在、要約と人名、日付、トピックの抽出に任意のクラウド処理を使っています。なお Mac では、要約を Mac 上で作成します。文字起こし、話者識別、声の記憶はスマートフォン上で動きます。iPhone でのオンデバイス要約と抽出は、スマートフォンに載るモデルが十分に信頼できる水準になった将来のバージョンで予定しており、そのためのコードも残しています。
Meetly で停止から要約までどのくらいかかりますか?
リリース済み iPhone アプリで中央値 11.4 分の会話の場合、各ステージの合計は約 92 秒です。内訳は文字起こし 26.3 秒、話者識別 25 秒、声の照合 0.03 秒、整形と品質ゲート 0.78 秒、任意のクラウド要約 39.8 秒です。これは 30 日間、59 件の会話の中央値を合計したもので、エンドツーエンドで実測した値ではありません。文字起こしは最初の 26 秒で読めるようになり、要約ステップ自体は中央値 40.6 秒、90 パーセンタイルで 74.8 秒でした。
Meetly が音声認識モデルと話者モデルを同時に動かさないのはなぜですか?
古い iPhone では 2 つを同時に載せると iOS がアプリに許すメモリを超えることがあり、そうなるとシステムが警告なしにアプリを終了させるからです。そのため、モデルを使うステージは必ず先にスケジューラへ問い合わせ、話者モデルを読み込む前に音声認識モデルを解放します。コンパニオン枠を使うと話者モデルを Parakeet と並行して動かせ、シミュレータではインポートから完了までの時間が 38% 短縮され、出力はバイト単位で同一でした。実機でメモリと発熱を測定するまでは、オプトインした場合に限り、メモリが 7.5 GB 以上で、熱くなく、アイドル状態で録音中でない端末でのみ動作します。