Meetly Auto Engine 第2回:話者識別と声の記憶
長時間の録音を iPhone 上で作業を失わずに文字起こしし、中身のない録音を早い段階で除外し、誰が話したかを識別して、登録済みの声を推測に頼らず認識する Meetly の仕組みを、コードと測定値で解説します。
Meetly は iPhone 上で長い録音を再開可能なチャンクで文字起こしし、中身のない録音を早めに除外し、pyannote モデルで話者を識別します。推測より話者なしを選び、AMI では登録済みの 81 人全員を正しく識別しました。

はじめに
第1回では、Meetly Auto Engine が iPhone 上で録音を聞き取り、ペアルールで言語を判定し、その言語向けの音声認識モデルへ振り分けました。今回は残りのオンデバイス処理を追います。中断に強い文字起こし、さらに処理する価値があるかを決める早期フィルタ、そして各行に名前を付ける話者識別と声の記憶です。
4 つのステージに共通する考え方は、確信が持てないときほど、することを減らすということです。
背景:選ばれたモデルから、名前の付いた話者まで
第1回を終えた時点で、エンジンはどのモデルを動かすかを知っています。読める文字起こしになるまでに、チャンク単位の文字起こし、早期フィルタ、話者識別、声の記憶の 4 つのステージが残り、すべてネットワークなしで端末上で動きます。位置は第1回の図1 のとおりで、どれもチェックポイントから再開できます。
課題:長い音声、中身のない録音、そして間違った名前
4 つのステージにはそれぞれ固有の失敗のしかたがあり、どの失敗も文字起こしを読む人の目に触れます。設計を形作ったのは次の 4 つの課題です。以下の各セクションでは、音声認識モデルが選ばれて読み込まれた後にエンジンが出会う順に、1 つずつ答えていきます。
- iOS はバックグラウンドのアプリを一時停止させます。中断のたびにゼロからやり直す 90 分の録音は、いつまでも終わりません。
- すべての録音に重い処理をかける価値があるわけではありません。隣の部屋のテレビの音に、話者識別や要約を使うべきではありません。
- 2 つのモデルの結果を、各単語を誰が話したかで突き合わせる必要があります。話者の発話区間と単語をつなぐ部分が、目に見える誤りの最大の発生源です。
- 間違った名前は、名前がないより悪い。Daniel さんの発言を Priya さんの発言として表示すれば、ユーザーはすべてのラベルを信用しなくなります。
長い録音を、再開可能なチャンクで文字起こしする
目標は、中断による損失を処理全体ではなく数秒に抑えることです。エンジンは 20 ミリ秒のフレーム単位で音のエネルギーを調べ、約 5 分ごとに区切りを計画します。区切る位置は、各目印の手前 30 秒で最も静かなフレームです。その後、各チャンクを個別に文字起こしして保存します。
無音で区切るので、単語は分断されない
let firstFrame = earliest / frameSamples
let lastFrame = min(latest / frameSamples, frameEnergies.count - 1)
var cut = latest
if firstFrame <= lastFrame, firstFrame < frameEnergies.count {
var quietest = firstFrame
for frame in firstFrame...lastFrame where frameEnergies[frame] <= frameEnergies[quietest] { quietest = frame }
// Cut in the middle of the quietest frame.
cut = min(max(quietest * frameSamples + frameSamples / 2, earliest), latest)
}
chunks.append(.init(index: chunks.count, startSample: start, endSample: cut))
start = cut無音の箇所で区切るので、1 つの単語が 2 つのチャンクにまたがることはありません。Parakeet はデコーダの状態を次のチャンクへ引き継ぐため、つなぎ目は文字起こしに現れません。
保存済みのチャンクで、中断の損失は数秒に
完了したチャンクは、内容のダイジェストを名前にした個別ファイルとして保存し、読み戻すときに検証します。再起動後、ジョブは同じ音声ハッシュを見つけて保存済みのチャンクをすべてスキップし、処理中だったチャンクだけをやり直します。
発熱も中断と同じように扱う
各チャンクの前にエンジンは端末の熱状態を読み取り、熱いときはワーカーを 1 つに減らし、危険な水準なら 60 秒間停止します。バックグラウンドでは 45 秒のチャンクを計画し、iOS が許す時間内にきれいに止まれるようにしています。その結果スマートフォンで得られる速度は図1 のとおりです。

早期フィルタ:残す、要確認、アーカイブ
テキストができた直後、話者識別や要約より先に、エンジンはその録音にさらに手間をかける価値があるかを判定します。答えは「残す」「要確認」「アーカイブ」で、読める 1 行の理由が付きます。まずルールで判定し、判断がつかないときだけ任意のモデルチェックを使います。判定の効果は録音の種類で変わります。
決定的なルールで、まず中身のない録音を見つける
public static func ruleVerdict(duration: Double, lines: [String], now: Date = Date()) -> Verdict? {
let text = lines.map { $0.trimmingCharacters(in: .whitespacesAndNewlines) }.filter { !$0.isEmpty }
if text.isEmpty { return Verdict(decision: .archive, reason: "No speech found", source: .rule, date: now) }
if duration.isFinite, duration > 0, duration < minimumSeconds {
return Verdict(decision: .archive, reason: underTenSeconds, source: .rule, date: now)
}
let assessment = TranscriptQualityGate.assess(lines: text.map { .init(text: $0) }, duration: duration)
guard assessment.hasNoMeaningfulContent else { return nil }
let reason = switch assessment.reason {
case .repetitive: "Repeated sounds"
case .empty: "No speech found"
default: "No real words"
}
return Verdict(decision: .archive, reason: reason, source: .rule, date: now)
}この判定を支える品質ゲートは決定的に動作します。ノイズ記号や、音声認識が無音から作り出しがちなフレーズ(「thanks for watching」など)を取り除き、繰り返しのループを探します。1 つの行が文字起こし全体の 60% を占める場合や、異なる単語が 4 語に 1 語未満の場合です。ラテン文字で書かれたヒンディー語、複数の文字体系の混在、長く多様な発話が、英語の辞書で判定されることはありません。
フェイルオープンの任意のモデルチェック
ルールで判断がつかず、ユーザーがクラウド処理を許可している場合は、小さなモデルを 1 回だけ呼び出してテキストを読ませ、1 単語の答えと 12 語以内の理由を返させます。上限は 200 トークンです。長い文字起こしは丸ごとは送らず、冒頭、中盤、末尾だけを渡します。このチェックはフェイルオープンで、同意なし、ネットワークなし、タイムアウト、読み取れない回答のいずれでも「残す」になります。
/// The start, middle and end of the text, within maxCharacters.
public static func sample(_ lines: [String], limit: Int = maxCharacters) -> String {
let text = lines.map { $0.trimmingCharacters(in: .whitespacesAndNewlines) }.filter { !$0.isEmpty }.joined(separator: "\n")
guard text.count > limit else { return text }
let part = limit / 3
let start = text.prefix(part)
let middleStart = text.index(text.startIndex, offsetBy: (text.count - part) / 2)
let middle = text[middleStart...].prefix(part)
let end = text.suffix(part)
return [String(start), String(middle), String(end)].joined(separator: "\n…\n")
}アーカイブされるのはクリップだけ
判定の効果は種類によって異なります。アーカイブはクリップを表示から外しますが、ユーザーが始めた会話は、明らかに空でない限り「要確認」の印が付くだけです。ユーザー自身が「残す」や「アーカイブ」をタップした判断は、ユーザーを出どころとして保存され、エンジンがそれを上書きすることはありません。アーカイブした録音も保持されており、復元できます。
/// What this verdict does to a recording of this kind: archive only archives a clip.
public func effective(for kind: Kind) -> Decision {
decision == .archive && kind == .conversation && source != .you && !isClearlyEmpty ? .review : decision
}話者識別:誰がいつ話したか
話者識別には、オープンな pyannote community-1 モデルを Core ML に変換し、FluidAudio で動かしています。22 MB でアプリに同梱です。10 秒の窓ごとに話者を見つけ、各声を声紋と呼ぶ 256 個の数値に変換し、クラスタリングで人ごとにまとめます。窓は 1 秒ずつずらし、短い発言も拾います。
上限 8 人の設定が、複数の人を混ぜていた
このライブラリには話者数の上限を指定する必要があり、私たちは 8 にしていました。上限を超えても追加の人を報告するわけではなく、全員をちょうどその数のグループに再クラスタリングします。19 人が参加した決算説明会の録音は、それぞれが複数人の混ざった 8 人の「人」として返ってきました。定数を 1 つ 8 から 32 に変えるだけで直り、回帰確認をした小規模な会議には何の影響もありませんでした。
影響が出た 2 つの録音を表1 に示します。最後の 2 列を比べてください。誤り率が下がり、正しい人に付いた単語の割合が上がっています。
| 録音 | 人数 | 検出数(8 → 32) | 誤り率 | 正しい人に付いた単語 |
|---|---|---|---|---|
| Earnings-21 Hershey | 19 | 8 → 19 | 25.8% → 5.4% | 72.3% → 94.2% |
| Earnings-21 Monro | 10 | 8 → 9 | 35.0% → 6.3% | 62.7% → 93.5% |
長い録音は 30 分の窓に分けて話者を識別する
60 分を超える録音は、静かな箇所で区切った約 30 分の窓に分けてそれぞれチェックポイントを保存し、声紋の距離が 0.35 以内の話者を窓をまたいで同一人物として結び付けます。2 時間の会議では、窓に分ける方式は一括処理と同じ 20.3% の誤り率で、使用メモリは 1,016 MB ではなく 857 MB でした(Mac ホスト)。iPhone 14 Pro Max では、19〜87 分の音声に対して話者識別に 41〜238 秒かかりました(iPhone)。
推測するより、話者なしで残す
話者なしの行は正直です。自信を持って別人に割り当てられた行は、読み手が気づけない誤りです。そこでエンジンは明示的なしきい値で単語と話者をつなぎ、ある単語や小さな単語のまとまりが 1 人に明確に属さないときは、誰かを選ばずに話者なしで残します。
単語に話者を付けるのは、十分に覆われているときだけ
単語に話者を付けるのは、その話者の発話区間が単語の 30% 以上を覆い、かつ最有力の話者が覆われた時間の 60% 以上を占める場合だけです。0.3 秒未満の 1 単語だけが別の人に割り当てられた場合は、ちらつきとみなして無視します。
はぐれグループは、一致が明確なときだけ統合する
クラスタリングでは、小さなはぐれグループがよく生まれます。実際にはほぼ 1 人の話者である 40 語ほどが、正体不明の「話者 5」として表示されるような例です。60 語未満かつ録音の 1% 未満のグループは、その声紋がより大きな話者から 0.35 以内で、かつ次に近い話者が 0.05 以上離れている場合にのみ、その話者に統合します。そうでなければ、その単語には話者を付けません。
for (id, count) in words where !protected.contains(id) {
let share = Double(count) / Double(total)
let isSmall = count < small.words && share < small.share
let isUnprinted = prints != nil && prints?[id] == nil && count < unprinted.words && share < unprinted.share
guard isSmall || isUnprinted else { continue }
result.updateValue(prints?[id].flatMap { own in
let ranked = words.filter { $0.key != id && $0.value > count }.keys
.compactMap { other in prints?[other].flatMap { SpeakerVerification.distance($0.centroid, own.centroid) }.map { (other, $0) } }
.sorted { $0.1 < $1.1 }
guard let best = ranked.first, best.1 <= fold.distance,
ranked.count < 2 || ranked[1].1 - best.1 >= fold.margin else { return nil }
return best.0
}, forKey: id)
}長時間の会議での 37 回の実行で、この処理ははぐれ話者 6 人をすべて取り除き、正しい人に付いた単語の割合は変わらず、実在の話者は全員残りました。最も発話の少ない人でも 70 語以上ありました(Mac ホスト)。ユーザーが設定した名前や、手動で割り当てた行には一切手を加えません。
声の記憶:タグ付けした人に名前を付ける
話者に一度タグを付けると、Meetly は以降の録音でもその人を認識します。最も気づかれやすく、誤りが最も許されない機能です。そのため方針を 3 つ決めました。きれいな発話だけから学ぶこと、当てはまる登録済みの声が 1 つだけのときに名前を付けること、そして重要な誤り、つまり別人の名前を付けることを測定することです。
きれいな発話だけから学ぶ
同じ 10 秒の窓で 2 人が話していると、その窓の声紋は 2 人の混合になります。そこでエンジンは、ほかの誰かが少しでも話している窓はすべて捨てます。残った窓は、ほかのすべての窓に最も近い窓であるメドイドを中心にまとめます。メドイドから 0.45 より離れた窓は除外し、半数を超える窓が除外される場合は声紋の作成自体を失敗とします。
/// Each retained interval is genuine diarizer speech within the embedding window.
/// A window touched by another credible speaker is rejected conservatively.
nonisolated static func evidence(from result: DiarizationResult) -> [SpeakerEvidence] {
(result.chunkEmbeddings ?? []).flatMap { chunk -> [SpeakerEvidence] in
let overlapping = result.segments.filter {
min(chunk.endTimeSeconds, Double($0.endTimeSeconds)) > max(chunk.startTimeSeconds, Double($0.startTimeSeconds))
}
guard !overlapping.contains(where: { $0.speakerId != chunk.speakerId }) else { return [] }
return overlapping.filter { $0.speakerId == chunk.speakerId }.map { turn in
SpeakerEvidence(speakerID: chunk.speakerId,
start: max(chunk.startTimeSeconds, Double(turn.startTimeSeconds)),
end: min(chunk.endTimeSeconds, Double(turn.endTimeSeconds)), embedding: chunk.embedding256,
observationStart: chunk.startTimeSeconds, observationID: String(chunk.chunkIndex))
}
}
}声紋の作成にはきれいな発話が 3 秒、登録済みの声が誰かに名前を付けるには 15 秒が必要です。代償もあります。テンポの速いやり取りでしか話さない人は、きれいな窓を一度も得られないかもしれません。離れたマイクで録った会議音声では、63 人中 60 人の声紋が作成できました。
当てはまる登録済みの声が 1 つだけのときに名前を付ける
照合のコードは、名前を付けない理由のリストとして読むのがいちばんわかりやすいでしょう。
var result: [Int: SavedVoice] = [:]
for (speaker, ranked) in distances where !excluding.contains(speaker) {
guard let best = ranked.first, best.1 <= limit(best.0),
ranked.filter({ $0.1 <= limit($0.0) }).count == 1 else { continue }
if ranked.count > 1, ranked[1].1 - best.1 < policy.margin { continue }
let rivals = distances.filter { other, list in
other != speaker && list.contains { $0.0.id == best.0.id && $0.1 <= limit($0.0) }
}
// On a device you wear, several speakers near your own voice are you, split by the
// diarizer; they all match you. Other saved people still abstain on a rival.
guard rivals.isEmpty || (best.0.isSelf && selfThreshold != nil) else { continue }
result[speaker] = best.0
}
return resultこれは 4 つの「拒否」として読めます。最も近い登録済みの声は、コサイン距離で 0.35 以内でなければなりません。その範囲に入る登録済みの声は 1 つだけでなければなりません。2 番目に近い声は、少なくとも 0.05 離れていなければなりません。そして 1 つの録音内の 2 人の話者が同じ登録済みの声に一致した場合は、どちらかが必ず間違っているので、どちらにも名前を付けません。登録済みの声はクラスタリングの後に名前を付けるだけで、誰が検出されるかを変えることはありません。
重要な誤り、つまり別人の名前を測る
各グループで AMI の会議 1 つから声を登録し、残り 3 つでテストしました。表2 で注目すべきは最後の列、つまり別人の名前が付いた頻度です。
| 音声 | 正しく命名 | 判定保留 | 誤って命名 |
|---|---|---|---|
| クリーンなヘッドセット音声のミックス | 41 人中 41 人 | 0 | 0 |
| 通話品質(12 kbit/s Opus) | 41 人中 40 人 | 1 | 0 |
| 全員を登録、一部は欠席 | 81 人中 81 人 | 0 | 0 |
| なりすまし試行 1,725 回 | 該当なし | 該当なし | 受け入れ 0 |
通話音声での 1 件の取りこぼしは判定保留で、誤った命名ではありません。見知らぬ人が登録済みの声に最も近づいた値は電話音声での 0.396 だったので、0.35 の上限には余裕があります。登録済みの声が 30 件あるライブラリで 10,000 回試行したところ、ラベルの 99.7% が正しく、見知らぬ人にラベルが付いたのは 0.17% でした(Mac ホスト)。
ウェアラブルでの本人の声には、少し広い上限を使う
1 つだけ異なる上限があります。身に着けるレコーダーのクリップでは、あなた自身の声の上限は 0.45 です。短くノイズの多いクリップで、私たち自身の声は登録済みの声紋から 0.13〜0.49 の距離にあり、ほかの誰も 0.6 より近づきませんでした。しかもデバイスは本人の体に着いています。ほかの登録済みの声はすべて 0.35 のままです。声紋は 256 個の数値で、音声は保存しません。登録済みの声は、同期をオンにした場合に限り、ご自身のプライベートな iCloud 経由で暗号化して同期されます。
結果
実利用では、中央値 11.4 分の会話が 26.3 秒で文字起こしされます(テレメトリ)。話者数の上限を 32 に上げると 19 人の通話の誤り率は 25.8% から 5.4% に下がり、はぐれ話者 6 人はすべて除かれ、声の記憶は登録済みの 81 人全員を正しく識別し、なりすまし 1,725 回を 1 回も受け入れませんでした(Mac ホスト)。
連載の次回
ここまではすべて iPhone 上で動きました。第3回では、すべてをスマートフォンに収める方法と、端末から出ていくものを扱います。重いモデルを一度に 1 つだけ載せるスケジューラ、任意のクラウド要約が送るものと拒否するもの、時間の内訳、採用しなかった施策です。
まとめ
今回の 4 つのステージは別々の課題を解きますが、共通のルールが 1 つあります。確信が持てないとき、エンジンは後から取り戻せる結果を選びます。チャンクを 1 つやり直す、録音を残す、行を話者なしで残す、声に名前を付けない。網羅性は多少下がりますが、だからこそ表示されたラベルは信頼できます。
話せる言語なら何語でも、まずは録音してみてください。処理中は、言語判定のステップ、選ばれたモデル、検出された話者が会話ページに表示されます。
iPhone 版 Meetly を入手Meetly Auto Engine についてのよくある質問
Meetly はどうやって誰が話しているかを判別しますか?
Core ML に変換してアプリに同梱したオープンな pyannote の話者モデルが、誰がいつ話したかを見つけ、各声を 256 個の数値からなる声紋に変換します。話者にタグを付けると、Meetly はきれいな発話、つまりほかに誰も話していない窓だけからその声を学習します。以降の録音で名前を付けるのは、距離の上限内にある登録済みの声がちょうど 1 つで、次に近い声が明確に離れており、同じ録音のほかの話者がその声に一致しない場合だけです。テストセットでは 81 人中 81 人を正しくラベル付けし、1,725 回のなりすましを 1 回も受け入れませんでした。確信が持てないときは名前を付けません。
長い文字起こしの途中で iOS に中断されたらどうなりますか?
中断で失うのは処理全体ではなく数秒です。Meetly は音声を 20 ミリ秒のフレーム単位で調べ、約 5 分ごとに、各目印の手前 30 秒で最も静かなフレームで区切るため、単語が分断されません。完了したチャンクは内容のダイジェストを名前にした個別ファイルとして保存し、読み戻すときに検証します。再起動後は同じ音声ハッシュを見つけて保存済みのチャンクをすべてスキップし、処理中だった 1 つだけをやり直します。さらに端末が熱いときはワーカーを 1 つに減らし、バックグラウンドでは 45 秒のチャンクを計画します。
Meetly は中身がないと判断した録音を削除しますか?
いいえ。文字起こしの直後、エンジンは各録音に「残す」「要確認」「アーカイブ」の判定と 1 行の理由を付けます。アーカイブはウェアラブルのクリップを表示から外しますが、ユーザーが自分で始めた会話は、明らかに空でない限り「要確認」の印が付くだけです。アーカイブした録音も保持されており、復元できます。ユーザーが「残す」や「アーカイブ」をタップした判断はユーザーを出どころとして保存され、エンジンが上書きすることはありません。任意のモデルチェックはフェイルオープンで、同意なし、ネットワークなし、タイムアウト、読み取れない回答のいずれでも「残す」になります。
Meetly が話者なしの行を残すことがあるのはなぜですか?
話者なしの行は正直ですが、別人に割り当てられた行は読み手が気づけない誤りだからです。単語に話者を付けるのは、その話者の発話区間が単語の 30% 以上を覆い、最有力の話者が覆われた時間の 60% 以上を占める場合だけです。60 語未満かつ録音の 1% 未満の小さなはぐれグループは、その声紋がより大きな話者に明確に最も近い場合にのみ統合し、そうでなければ単語に話者を付けません。長時間の会議での 37 回の実行で、この処理ははぐれ話者 6 人をすべて取り除き、実在の話者は全員残しました。