Meetly
Engineering2026年11月21日11 min read

Meetly Auto Engine(一):语种识别与模型路由

Meetly 如何在 iPhone 上识别所说的语言,并把每段录音路由给一个语音模型:Whisper Tiny 负责听,语言对规则负责判断,专用模型负责转写。

Meetly Auto Engine 先听再转写:Whisper Tiny 在 iPhone 上最多采样 24 段,语言对规则在英语和另一种语言之间判断,再交给一个指定模型,如 Parakeet、IndicConformer 语言包或 Whisper。录音级别识别准确率从 88.0% 提升到 94.0%。

Inside Meetly Auto Engine. One audio file in. A tagged transcript out.

引言

Meetly Auto Engine 负责把一段录好的音频变成三样东西:带说话人的转写稿、一个“是否值得保留”的判定,以及在你允许时生成的摘要。转写和说话人标注都在 iPhone 上完成,音频不会发给 Meetly 或任何 AI 服务商。本系列共三篇,结合代码和实测数据讲解它的工作原理。

本篇讨论引擎要做的第一个决定:它听到的是哪种语言,又该由哪个语音模型来转写。把选择范围从 99 种语言缩小到“英语加另一种语言”之后,录音级别的语种识别准确率从 88.0% 提升到 94.0%。

背景:从点击“停止”到生成摘要,引擎做了什么

Meetly 是一款 iPhone、iPad 和 Mac 应用,负责录制对话并在设备上完成转写。大多数会议录音工具会把音频上传到数据中心,交给一个庞大的多语种模型处理,这样做简单又准确,因为模型想做多大都可以。Meetly 把录音留在你自己的设备上,也就堵死了这条捷径。

输入一个文件,输出转写稿、判定和摘要

当你点击“停止”时,引擎拿到的是一个已经在设备上的音频文件。它输出一份逐行标注说话人的转写稿、一个“这段录音是否值得保留”的判定;对于保留下来的录音,还会生成摘要、标题和标签,其中摘要属于可选的云端步骤。图 1 在一页之内展示了所有阶段。

Meetly Auto Engine 架构图:在设备端,语种检查把录音路由到 Parakeet、IndicConformer、Hinglish、SenseVoice 或 Whisper,随后依次进行分块转写、早期过滤、说话人标注和声纹记忆;可选的云端部分只处理文本,由 A、B、C 三轮生成摘要。
图 1:引擎全流程。绿色部分全部在手机上运行;云端步骤是可选的,且只处理文本。

绿色区域内的每个阶段都在 iPhone 本地运行,无需联网。黄色区域是可选的,只接收文本,从不接收音频。整个引擎贯穿三条原则:每个阶段都能从检查点恢复;内存中同一时间只加载一个重型模型;当引擎不确定是谁在说话、说的是哪种语言时,宁可不标注,也不去猜。

两个输入组成一份计划,所有阶段都照它执行

引擎对每个文件只需要知道两件事。一是类型:对话是用户主动录制的;片段则是我们正在测试的一款可穿戴录音设备在听到人声时自动录下的。二是模型:Auto 或 Fast。这两个值组合成一份计划(Plan),后续每个阶段都从计划中读取自己的行为,而不必再判断这是哪一类录音。

MeetlyCore/MeetlyAutoEngine.swiftswift
public enum MeetlyAutoEngine {
    /// Clip: captured by always-on. Conversation: recorded on purpose.
    public enum Kind: String, Codable, Sendable { case clip, conversation }

    /// Fast is Parakeet (no check). Auto listens first and picks the model for the language heard.
    public enum Model: String, Codable, CaseIterable, Sendable { case auto, parakeet }

    public struct Plan: Equatable, Sendable {
        public var kind: Kind
        public var model: Model
        /// A conversation Meetly joined from clips. Nobody is there to answer a language card.
        public var automatic = false

        public var checksLanguage: Bool { model == .auto }
        /// Clips arrive by the dozen: never stop to ask, never wait for a missing model.
        public var asksOnLanguageCard: Bool { kind == .conversation && !automatic }
        public var waitsForMissingModel: Bool { kind == .conversation && !automatic }
        /// An archive verdict archives a clip; a conversation you chose to record is only tagged Review.
        public var archivesOnVerdict: Bool { kind == .clip }
        public var savedYouLimit: Float { kind == .clip ? 0.45 : 0.35 }
    }
}

每个属性都是一条写成代码的产品决策。对话是你主动选择录制的,所以引擎可以向你提问,也可以等待模型下载完成。片段则是在你忙别的事情时成批到来的,所以从不提问,也从不等待。归档判定会把片段从视图中移除,但你亲自开始录制的对话只会被标记为待复核。Fast 即 Parakeet,不做语种检查;两种类型默认都用 Auto。

问题:手机事先不知道会听到哪种语言

转写开始前,引擎必须先选定语音模型,而选哪个模型取决于说的是哪种语言。每次都问用户算不上产品,所以引擎得自己判断。在手机上,这件事难在三点:小型检测器会混淆相近语言;人们会在一次对话中混用语言;手机能装下的模型都无法把 99 种语言处理好。

1. 开放集识别会混淆相近的语言

最自然的检测器是 Whisper Tiny 的语种识别头。Tiny 是一个 81 MB 的模型,会为它支持的 99 种语言各给出一个概率。我们用 FLEURS 中的 15 种语言、每种 200 条音频做了测试。让它在全部语言中自由选择时,准确率为 78.2%(Mac 主机)。

错误集中在相近语言之间。请看表 1 的最后一列:如果直接按这些结果路由,每三条泰米尔语录音就有一条会被送错模型。

实际语言正确率Tiny 通常误判为
乌尔都语20.5%印地语
马来语39%印尼语
泰米尔语57%马拉雅拉姆语
粤语0%普通话,它无法区分两者
表 1:Whisper Tiny 在 FLEURS 上的开放集语种识别结果。Mac 主机。

2. 一次对话里常常混用两种语言

实际上,一段录音要么是英语,要么是另一种语言,要么是两者混说,印地语和英语甚至会出现在同一句话里。只给整段录音返回一个结果的检测器会掩盖这种混用,而完全信任这个结果的路由器,会把一段混合语言的对话交给只懂其中一半的模型。

3. 一个模型覆盖 99 种语言,速度慢且多数语言表现差

手机装不下一个样样精通的模型。最好的小型英语模型转写不了泰米尔语,而覆盖 99 种语言的模型速度慢,在大多数语言上表现也不好。所以引擎需要多个模型,还需要一种可靠的方法,在转写第一个词之前就从中选对。

我们的方案:先听,再按语种路由到专用模型

引擎分四步判断这是什么语言:先用 Whisper Tiny 对录音采样;再把每次判断限定在英语和另一种语言之间;难分高下时由设备语言裁决;最后把各段合并成一个带置信度的结论。这个结论只选定一个语音模型;如果手机上没有这个模型,对话会等它下载。

最多采样 24 段,检查最多只听 12 分钟

在任何转写开始之前,引擎会用 Tiny 的语种识别头处理录音中每段 30 秒的片段,最多 24 段。短录音逐段检查;三小时的录音则在 24 个均匀分布的位置采样,因此整个检查最多只听 12 分钟。

ActNote/Services/Transcription/TranscriptionRouter.swiftswift
nonisolated static func detectionParts(totalSeconds: Double) -> [Double] {
    guard totalSeconds > 0 else { return [] }
    let count = max(1, Int((totalSeconds - 5) / 30) + 1)
    guard count > maximumDetectionParts else { return (0..<count).map { Double($0 * 30) } }
    let step = (totalSeconds - 30) / Double(maximumDetectionParts - 1)
    return (0..<maximumDetectionParts).map { (Double($0) * step).rounded() }
}

nonisolated static let maximumDetectionParts = 24

人声不足 1 秒的段会被跳过;对每一段,引擎都保留完整的概率分布,而不只是概率最高的语种。在 iPhone 14 Pro Max 上,对时长 19 到 87 分钟的录音,整个检查耗时 3.6 到 7.3 秒(iPhone)。

在两种语言之间选,而不是 99 种

由于一段录音几乎总是英语、另一种语言或两者混说,引擎会先找出录音的“另一种语言”:把所有段的概率加总后,得分最高的非英语语种。随后,每一段只在英语和这一种语言之间二选一,概率也只在这两者之间重新归一化。

MeetlyCore/LanguagePair.swiftswift
/// One part decided between English and other, its probability
/// renormalised over the two. A part that heard neither keeps its own top.
public static func restrict(_ distribution: [String: Double], other: String?) -> Part? {
    let folded = folded(distribution)
    guard let top = folded.max(by: { $0.value < $1.value || ($0.value == $1.value && $0.key > $1.key) }) else { return nil }
    guard let other else { return Part(code: top.key, confidence: top.value) }
    let en = folded[english] ?? 0, x = folded[other] ?? 0
    guard en + x > 0 else { return Part(code: top.key, confidence: top.value) }
    return en > x ? Part(code: english, confidence: en / (en + x)) : Part(code: other, confidence: x / (en + x))
}

这一步复用的是检测器已经算出的概率:不需要第二个模型,也不增加耗时。乌尔都语会先并入印地语,因为 Tiny 经常把两者混淆。

难分高下时,由设备语言裁决

如果你设备设置的语言至少拿到领先者四分之一的概率总量,就由它占据“另一种语言”的位置。它是先验,而不是强制覆盖:这种语言仍然必须在录音中被听到。在语言对规则之上加入这一步后,录音级别的识别准确率从 90.1% 提升到 94.0%(Mac 主机)。

把各段合并为一个带置信度的结论

随后,各段结果合并为一个结论。置信度等于主导语言在录音中的占比,乘以检测器在这些段上的平均把握,因此一段 90% 为印地语、平均概率 0.9 的录音,得分为 0.81。如果第二名占到 20% 的段,就视为混合语言;只有在结果不是混合语言、且置信度不低于 0.5 时,路由器才会自行决定。

MeetlyCore/ConversationLanguage.swiftswift
let total = weights.values.reduce(0, +)
// Ties go to the alphabetically first code, so the result is stable.
let ranked = weights.sorted { $0.value > $1.value || ($0.value == $1.value && $0.key < $1.key) }
guard total > 0, let dominant = ranked.first else { return nil }
let share = dominant.value / total
let detector = confidence[dominant.key].map { $0.sum / $0.weight } ?? 1
let runnerUp = ranked.dropFirst().first.map { $0.value / total } ?? 0
return ConversationLanguage(code: dominant.key, confidence: (share * detector * 1000).rounded() / 1000,
                            mixed: runnerUp >= mixedShare)

每种语言只路由到一个语音模型

每种语言都恰好指定一个模型,你只需下载自己所说语言对应的模型。Parakeet 覆盖英语和 24 种欧洲语言;IndicConformer 语言包覆盖 22 种印度语言,每种一个包;Hinglish 模型处理印地语和英语混说;SenseVoice 在启用时处理中文;其余语言都交给 Whisper。

MeetlyCore/LanguageDesignation.swiftswift
public static func model(for language: String, senseVoice: Bool) -> DesignatedModel {
    let code = LanguageModelRecommendation.canonical(language)
    if TranscriptionModelCoverage.parakeetLanguageCodes.contains(code) { return .parakeet }
    if let pack = IndicSpeechPacks.pack(languageCode: code) { return .pack(pack.id) }
    if ChineseSpeechPack.routes(code, enabled: senseVoice) { return .pack(ChineseSpeechPack.modelID) }
    return .whisper
}

表 2 列出了路由器可以选择的所有模型及其下载大小。

引擎语言下载大小
Parakeet TDT 0.6B英语和 24 种欧洲语言483 或 632 MB
IndicConformer(AI4Bharat)22 种印度语言,每种一个包每个 198 MB
Hinglish(Oriserve)印地语与英语混说,拉丁字母书写161 MB
SenseVoice Small普通话和粤语(启用时)240 MB
Whisper SmallWhisper 覆盖的其他所有语言491 MB
Whisper Tiny仅用于语种检查81 MB
说话人模型所有语言22 MB,内置于 App
表 2:iPhone 可以路由到的模型及其下载大小。

专用语言包在准确率和速度上都胜过通用模型

在我们用户所说的语言上,通用模型在准确率和速度上同时落败。图 2 对比了 Whisper Large v3 Turbo(631 MB,我们只在 Mac 上运行)与 198 MB 语言包在同一批音频上的表现。词错误率可能超过 100%,因为这个指标会把插入的词也计算在内:通用模型写出的错词比实际说出的词还多。

词错误率柱状图。印地语:语言包 14.6%,Turbo 34.2%。孟加拉语:语言包 17.8%,Turbo 86.7%。泰米尔语:语言包 26.3%,Turbo 71.2%。马拉雅拉姆语:语言包 25.9%,Turbo 108.1%。乌尔都语:语言包 15.7%,Turbo 22.2%。
图 2:专用语言包与 Whisper Large v3 Turbo 在 FLEURS 上的对比,每种语言 100 条音频。Mac 主机。

语言包的速度也更快。处理一期一小时的印地语播客,它用了 71 秒,而 Turbo 用了 380 多秒(Mac 主机);在一次 20 条音频的测试中,它的实时率(RTF)为 0.018,Turbo 为 0.10 到 0.18。这是少见的准确率和速度不必取舍的情况:专用模型以三分之一的体积两项全胜。

英语方面,Parakeet 在两场较长的 Earnings-21 财报电话会议上的词错误率分别为 5.0% 和 6.9%,在三场围桌录制的 AMI 会议上为 14% 到 29%(模拟器)。在全部 44 场 Earnings-21 会议、共 39 小时的音频上,词错误率为 8.2%(Mac 主机)。

缺少模型时,对话宁可等待也不瞎猜

假设引擎很有把握地判断出这是古吉拉特语,但古吉拉特语语言包还没安装。最省事的做法是直接跑 Parakeet,产出一整页看似笃定的胡言乱语。对于对话,引擎会选择等待:在页面上显示它需要哪个模型并提供下载按钮,下载完成后自动继续。片段则从不等待,因为没有人在盯着它。

ActNote/Services/Transcription/TranscriptionRouter.swiftswift
// Unanswered (the app left, or was not open) or a failed download: the recording
// waits for its model, with the page's Download pill, instead of running Parakeet.
// A clip never waits: an uninstalled language's clip runs Parakeet.
let waiting = route == nil && plan?.waitsForMissingModel != false
    ? Self.waitingModel(needed: needed, answer: answered) : nil
let ran = route ?? waiting ?? (.parakeet, nil)

另一道保护机制的方向正好相反:如果某个任务要把一种有专用语言包的语言送给 Whisper,它会被改路由到该语言包,或者等待语言包下载。当检查听到英语加一种印度语言时,录音会交给该语言的语言包;印地语和英语混说则交给 Hinglish 模型。你自己手动选择的模型永远不会被覆盖。

结果

语言对规则把一个逐段准确率只有 78.2% 的检测器,变成了一个能为大多数录音选对模型的路由器,手机上既不需要第二个模型,也不增加耗时。图 3 展示了每一步之后录音级别的识别准确率,数据在 FLEURS 上测得,使用的是 Mac 主机上运行的 App 自身逻辑。

语种识别准确率柱状图:开放集逐段 78.2%,录音级别原方案 88%,加入语言对规则后 90.1%,语言对规则加设备语言 94%。
图 3:加入语言对规则和设备语言后,录音级别的语种识别准确率从 88.0% 提升到 94.0%。Mac 主机。
  • 语种识别。限定为语言对之后,除粤语外,我们测试的每种语言准确率都在 94.5% 到 100% 之间;既路由正确、置信度又足够高的录音比例,从 66.0% 提升到 79.6%(Mac 主机)。
  • 转写。在我们测试的每种印度语言上,198 MB 的语言包都胜过 Whisper Large v3 Turbo,体积只有后者的三分之一(图 2);Parakeet 在 39 小时的财报电话会议音频上词错误率为 8.2%(Mac 主机)。

系列后续

选对模型只是第一个决定。第二篇跟随录音继续往下走:能扛住中断的分块转写、保留/待复核/归档的早期过滤、说话人标注,以及认出你标注过的人的声纹记忆。第三篇介绍模型如何共享内存、可选的云端摘要、时间花在了哪里,以及测过但没上线的方案。

结语

手机跑不动一个精通所有语言的模型,所以 Meetly Auto Engine 先听,再路由。本篇的启示是:你向小模型提出什么问题,和模型本身一样重要。让 Whisper Tiny 在 99 种语言中做选择,它会在相近语言之间出错;让它在两种语言之间做选择,它就成了一个值得信赖的路由器。

用你说的任何一种语言录一段试试。处理过程中,对话页面会显示语种检查步骤、引擎选用的模型以及识别出的说话人。

下载 iPhone 版 Meetly

关于 Meetly Auto Engine 的常见问题

Meetly 如何在设备端识别所说的语言?

转写之前,Meetly 先运行 Whisper Tiny(一个 81 MB 的模型)的语种识别头,最多采样 24 段、每段 30 秒,因此整个检查最多只听录音的 12 分钟。在 FLEURS 上让 Tiny 从全部语言中自由选择,准确率为 78.2%,错误多发生在乌尔都语和印地语这类相近语言之间。所以引擎会先找出录音中唯一的非英语语种,再让每一段只在英语和这种语言之间二选一。加上语言对规则和设备语言后,录音级别的识别准确率从 88.0% 提升到 94.0%。在 iPhone 14 Pro Max 上,整个检查耗时 3.6 到 7.3 秒。

Meetly 可以在设备端转写哪些语言?

Meetly 先听,再把每段录音路由给专为该语言打造的一个模型。Parakeet 负责英语和 24 种欧洲语言;来自 AI4Bharat 的 IndicConformer 专用语言包负责 22 种印度语言,每种语言一个包;另有一个模型专门处理同一句话里印地语和英语混说的情况。中文在启用时可交给 SenseVoice,其余所有语言交给 Whisper。你只需下载自己所说语言的语言包,所以一个用英语和马拉地语录音的人,手机上只需要 Parakeet 和一个印度语言包,而不是引擎支持的全部模型。

Meetly 的端侧转写有多准确?

这取决于语言和音频质量。英语方面,Parakeet 在两场较长的财报电话会议上的词错误率分别为 5.0% 和 6.9%,在全部 44 场 Earnings-21 会议上为 8.2%,在围桌远场录制的 AMI 会议上为 14% 到 29%。印度语言方面,在 FLEURS 测试集上,专用语言包在印地语、孟加拉语和泰米尔语上的词错误率分别为 14.6%、17.8% 和 26.3%,而 Whisper Large v3 Turbo 分别为 34.2%、86.7% 和 71.2%。本文每个数字都注明了是在 iPhone、模拟器还是 Mac 测试框架上测得的。

如果没有下载对应语言的模型,会怎样?

对于你主动录制的对话,Meetly 不会退回到一个处理不了该语言的模型。比如引擎很有把握地判断出这是古吉拉特语,但古吉拉特语语言包尚未安装,录音就会等待:对话页面显示它需要哪个模型并提供下载按钮,下载完成后转写自动继续。来自可穿戴录音设备的片段从不等待,因为没有人在盯着它们,所以会直接用 Parakeet 转写。另有一道保护机制,会把原本要把有专用语言包的语言送给 Whisper 的任务改路由;你自己手动选择的模型永远不会被覆盖。