Meetly Auto Engine(三):云端摘要与性能基准
Meetly 如何在 iPhone 上调度模型,可选的纯文本摘要步骤会发送什么、拒绝什么,时间都花在了哪里,以及我们测过却放弃的方案。
Meetly 在 iPhone 上完成转写和说话人标注,同一时间只加载一个重型模型。唯一的云端步骤是可选的摘要,只发送转写文本、从不发送音频,并要求零数据留存。一段 11.4 分钟的中位对话,各阶段合计约 92 秒,26 秒后即可阅读转写稿。

引言
在第一篇中,Meetly Auto Engine 在 iPhone 上选定了语种和语音模型。在第二篇中,它以可恢复的分块完成转写,过滤掉不值得继续处理的录音,标注说话人并匹配已存声音,全程都在设备上完成。最后这一篇介绍各个模型如何共享内存、唯一一个可选的云端步骤、时间都花在了哪里,以及哪些方案没有上线。
本篇也为整个系列收尾,总结在三篇中都成立的经验。对于时长中位数为 11.4 分钟的对话,各阶段合计约 92 秒,转写稿在最初 26 秒后即可阅读。
背景:手机设下的限制
有两个限制决定了本篇的内容。当 App 占用的内存超过系统允许的上限时,iOS 会毫无预警地终止它,而较旧的手机允许的内存更少。此外,手机能装下的小模型在摘要上还不够可靠,所以摘要是唯一可以离开设备的步骤,只发送文本,并且只在你同意时进行。
问题:内存、隐私和时间
剩下的每个问题都相互牵制。让模型并行运行能节省时间,但有内存风险。把文本发给更大的模型能得到更好的摘要,但必须尽量少发,并且只接受转写稿能支撑的内容。而如果不在真实使用中测量每个阶段,我们就无法判断哪些取舍值得做。
- 两个重型模型可能超出内存上限。在较旧的手机上,语音模型和说话人模型同时加载,可能超出 iOS 允许单个 App 占用的内存。
- 摘要需要的模型,比目前手机能流畅运行的更大。云端步骤不能发送音频,必须要求服务商不留存任何数据,并拒绝转写稿无法支撑的任何内容。
- 时间分散在各个阶段。在决定哪些阶段并行之前,我们得先知道时间花在了哪里。
同一时间只跑一个重型模型
由于两个重型模型可能超出内存上限,每个模型阶段都要先向调度器申请。调度器只有一个主占用槽位,语音模型会在说话人模型加载之前卸载。这样做是安全的,但也让整条流水线变成了严格的串行;本节其余部分要做的,就是在不牺牲安全的前提下把这部分代价找回来。
private func admits(family: String, partners: Set<String>?) -> Bool {
if let partners { return companion == nil && (owner.map { partners.contains($0.family) } ?? true) }
return owner == nil && (companion.map { $0.partners.contains(family) } ?? true)
}
private func grant(_ id: UUID, family: String, partners: Set<String>?) {
if let partners { companion = Companion(id: id, family: family, partners: partners) }
else { owner = Holder(id: id, family: family) }
}伴随槽位让说话人处理与转写并行
调度器还有一个伴随槽位,留给被允许与某个指定伙伴同时运行的模型。说话人模型只申请作为 Parakeet 的伴随者,不与其他模型并行;一旦获准,整个说话人处理就与转写同时进行。图 1 展示了它在两段长录音上的效果。

在真机上测量之前,只对主动开启的用户生效
我们还没有对所有用户开启这项功能。它只在你主动开启、手机内存至少 7.5 GB,并且处于低温、空闲、未在录音的状态时运行,还可以被远程关闭。在真机上测出两个模型同时加载时的内存和发热数据之前,这 38% 仍只是模拟器上的结果。
可选的云端步骤只发送文本,从不发送音频
前面的每一步都在设备上完成。摘要是唯一用到云端的步骤,并且需要你先授权同意。会发送的内容:带说话人标签和时间戳的转写文本、你输入的笔记,以及你附在笔记中的照片。永远不会发送的内容:音频和声纹。授权同意带有版本号,每次请求前都会检查,发送的那一刻还会再检查一次。
每个请求都要求服务商不留存任何数据
var provider: [String: JSONValue] = [:]
if request.schema != nil { provider["require_parameters"] = true }
if requireZDR { provider["zdr"] = true }
if denyDataCollection { provider["data_collection"] = "deny" }
if let order = providerOrder(for: [request.model] + request.fallbackModels) {
provider["order"] = .array(order.map { .string($0) })
provider["only"] = .array(order.map { .string($0) })
provider["allow_fallbacks"] = true
}
if !provider.isEmpty { body["provider"] = .object(provider) }每个请求都要求零数据留存、拒绝数据收集,并且只允许按固定顺序使用一份指定的服务商列表。
拆成三轮,而不是一个提示词
整个工作被拆成三轮,而不是一个提示词,因为让一个提示词同时负责清理、分类和总结,三件事都会做不好。
- A 轮:清理与人名。一个小而快的模型读取转写稿,返回一份修改列表,而不是重写全文。
- B 轮:对话类型。与 A 轮同时进行,把录音归入八种类型之一,例如一对一沟通、团队会议、面试或语音备忘,并提出最多三个标签。
- C 轮:摘要。一个更大的模型根据清理后的转写稿和 A 轮得到的人名,按该类型写出摘要。
最关键的是 App 拒绝接受什么
如果一处修改要替换的文本不在转写稿中,或者插入了没人说过的词,或者改动了口头说出的金额,就会被拒绝;校验器认得 lakh 和 crore 这类印度计数单位。人名或日期必须出现在它所引用的那一行里,否则会被丢弃;摘要要点的引用如果对不上,也会被丢弃。存储的转写稿永远不会被改写。
摘要篇幅随录音时长变化
所有类型共享一个核心结构:回顾、要点、决策、承诺事项和待解决问题,再加上各类型自己的章节。篇幅随录音时长变化,大约从 250 个词到 700 个词,使用你选择的语言。实际使用中,三轮的中位耗时分别为 13.8 秒、3.0 秒和 26.7 秒,整个步骤的中位耗时为 40.6 秒,第 90 百分位为 74.8 秒(遥测)。
结果:时间都花在了哪里
把这些放在一起,就是一段时长中位数为 11.4 分钟的对话,从点击“停止”到读到摘要的中位路径。各阶段加起来约 92 秒,这是各阶段中位数之和,并非端到端实测值;转写稿在最初 26 秒后就可以阅读。声纹匹配只需 30 毫秒,所以它会与每一个已存声音逐一比对。

测过但没有上线的方案
坚持为每次运行留存记录,价值在于积累一份“看起来对、实际上不对”的清单。下面每一项都真正构建或测量过,最后要么输给了更简单的方案,要么在等待更好的模型。把它们列出来,是为了防止我们每隔几个月就换个名字把它们重新做一遍。
- 引导语音模型偏向已知人名。人名写对的比例从 49.7% 提升到 57.3%,词错误率保持 8.2% 不变,但转写算力增加了 130%,还要多一个 97.5 MB 的模型,而且大约每十次替换就有一次是错的(Mac 主机)。
- 放宽干净窗口规则(见第二篇)。允许声纹使用含有最多 1 秒他人语音的窗口,本应对语速快的人有帮助,结果反而少了声纹:从 63 人降到 58 人。
- 带重试的 Whisper。在一段一小时的录音上,对困难片段重试五次耗时 454 秒,只覆盖了 31% 的语音;不重试耗时 272 秒,覆盖了 98%(Mac 主机)。
接下来要做什么
有两项功能目前刻意没有放在手机上,随着手机端模型变强,它们都是接下来的迭代方向。摘要以及人名、日期、主题的提取,目前都在可选的云端步骤中运行,因为手机能装下的小模型在这两件事上还不够可靠。等它们足够可靠时,两者都会回到设备端。
- 端侧摘要。我们用 Apple 的端侧模型和一个本地开源模型做过实现。在我们的遥测中,云端路径为 86% 的录音完成了摘要,端侧路径只有 21%,所以暂停了这项功能;代码保留着,留给下一代手机端模型。
- 端侧提取人名、日期和主题。Apple 的语言标注器在我们的财报电话会议数据集上只找出了 62% 到 65% 的人名,我们认为准确率太低,没有保留。在小型端侧提取器超过它之前,人名都来自经过校验的云端处理。
- 在同一段录音内切换模型。决策逻辑已经实现并通过测试,判断一个区域至少需要 3 秒,一次连续运行至少 8 秒。但它还没有接入流水线;目前一段录音只用一个模型。
- 并行说话人处理的真机数据,以及在真机而非模拟器上评估的长会议准确率。
- 粤语。检测器无法把它和普通话区分开;SenseVoice 在每条测试音频上都识别出了粤语,目前放在功能开关之后,我们还在完成验证。
- Mac 版。它目前对每段录音都直接使用 Parakeet,不做语种检查,也还没有调用与 iPhone 相同的引擎。
整个系列的经验总结
三篇文章,一个引擎,以及几条在每个阶段都成立的经验。它们都不局限于语音。任何必须在手机上用小模型做决策、又不能每次都停下来求助于人的系统,都同样适用。下面六条按所在篇目排列,每条都附有支撑它的实测数据。
- 向小模型提一个更小的问题。Whisper Tiny 在全部语言中自由选择时准确率为 78.2%;改为在英语和另一种语言之间二选一后,录音级别识别准确率达到 94.0%,且不需要额外的模型(第一篇)。
- 优先使用按需下载的专用模型。198 MB 的印度语言包在准确率和速度上都胜过 631 MB 的通用模型(第一篇)。
- 让每个阶段都可恢复。已保存的分块把一次 iOS 中断变成几秒的重复工作,而不是从头再来(第二篇)。
- 宁可放弃也不瞎猜,并统计错误答案。只要有两个声音都可能匹配,声纹记忆就拒绝命名;它为 81 个已录入的人全部正确命名,1,725 次冒认测试无一被接受(第二篇)。
- 用真实数据检验常量。说话人上限设为 8 时,一场 19 人的电话会议被混成了 8 个人,直到我们把上限提高到 32(第二篇)。
- 保留一份“没有上线”的清单。它能防止我们换个名字把同样的想法重做一遍(第三篇)。
结语
这一切都谈不上什么前沿研究。无非是精心挑选的小模型、实测而非拍脑袋定下的阈值,以及一种强烈的倾向:宁可什么都不说,也不说错。如果必须把引擎的其余部分全部推倒重来,这种倾向是我们最想保留的东西。
以上就是整个引擎。想从头阅读本系列,请回到第一篇:语种识别与模型路由。
用你说的任何一种语言录一段试试。处理过程中,对话页面会显示语种检查步骤、引擎选用的模型以及识别出的说话人。
下载 iPhone 版 Meetly关于 Meetly Auto Engine 的常见问题
Meetly 会把我的音频发送到云端吗?
不会。Meetly Auto Engine 在你的 iPhone 上完成转写、说话人标注和已存声音匹配,音频永远不会发送给 Meetly 或任何模型服务商。唯一可能用到云端的是摘要步骤,它是可选的,并且需要你授权同意。开启后,App 会把带说话人标签和时间戳的转写文本,以及你附加的笔记或照片,发送给被要求零数据留存的服务商。声纹是 256 个数字,保留在你自己的设备上;已存声音库只有在你开启同步时,才会通过你自己的私有 iCloud 加密同步。
Meetly 会直接在 iPhone 上生成摘要吗?
目前不会。我们曾用 Apple 的模型和一个本地开源模型实现过端侧摘要,但在我们的遥测中,云端路径为 86% 的录音完成了摘要,端侧路径只有 21%,所以 iPhone 现在通过可选的云端步骤生成摘要,并提取人名、日期和主题。转写、说话人标注和声纹记忆仍留在手机上。在 Mac 上,摘要由 Mac 本机生成,或显示来自 iPhone 的结果。等手机能装下的模型足够可靠,端侧摘要和实体提取会在未来版本中推出,相关代码也为此保留着。
从点击“停止”到拿到摘要,Meetly 需要多久?
以线上 iPhone App 中时长中位数为 11.4 分钟的对话为例,各阶段加起来约 92 秒:转写 26.3 秒,说话人标注 25 秒,声纹匹配 0.03 秒,清理与质量关卡 0.78 秒,可选的云端摘要 39.8 秒。这是 30 天内 59 段对话各阶段中位数之和,并非端到端实测值。前四个阶段都在 iPhone 本地运行,只有最后的摘要需要联网,而且是可选的。转写稿在最初 26 秒后即可阅读;如果不开启云端摘要,带说话人标签的完整转写稿按中位数计算约 52 秒就绪。摘要步骤本身的中位耗时为 40.6 秒,第 90 百分位为 74.8 秒。
为什么 Meetly 不同时运行语音模型和说话人模型?
在较旧的手机上,两者同时加载可能超出 iOS 允许单个 App 占用的内存,系统会毫无预警地终止 App。所以每个模型阶段都要先向调度器申请,语音模型会在说话人模型加载之前卸载。一个伴随槽位允许说话人模型与 Parakeet 并行运行,在模拟器上把从导入到完成的耗时缩短了 38%,输出逐字节一致。在真机上测得内存和发热数据之前,它只在你主动开启、手机内存至少 7.5 GB,且处于低温、空闲、未在录音的状态时运行。