← 全部项目
研究/2025年至今航程第 05 站 / 共 08 站

让语言动起来

研究单词和手语之间的距离。

角色

独立研究员&开发者

背景

符号翻译器

工具和方法

PyTorch · 三维重建 · 残差向量量化 · 自回归 Transformer · Blender

为“让语言动起来”手工制作的岛屿模型
岛屿解读

一间动作采集工作室,以及让它保持诚实的测量工具。

为本站用 Blender 制作的示意图。它用于解释思路,并非项目数据。

项目原始图片、图表和视频保留原文。

问题的起点

让科学教育更易获取,把我引向了一个困难的研究问题:语言如何与协调的动作联系起来?Sign-Translator 从工作室视频一路探索到渲染出的虚拟角色,同时始终把生成的动作与经过语言学验证的美国手语区分开。目前还没有聋人手语者评判过它的输出,凡是出现结果的地方,项目都会说明这一点。

32每帧的动作编码数
24每秒帧数
2.40 / 4.03在项目的回译评分中,生成手语与真实手语的得分对比
0迄今的聋人评分者(按项目自身统计)
01

不仅仅是一系列手部姿势

手语需要协调手、身体、面部、视线和时机。项目在同一个时钟上表示所有这些通道:以每秒 24 帧记录十一个通道,涵盖身体和手部旋转、头部运动、52 个面部系数、视线、眨眼和接触。每个值都带有是否真正观测到的标记,因此缺失数据始终可见,而不会被悄悄填补。

02

两台摄像机,一副骨架

动作来自从正面和侧面拍摄的工作室视频。姿态估计器在每个视角中找出关键点;利用手腕和手肘的运动同步两个视角,直接根据视频本身标定摄像机,再将对应点三角测量为三维坐标。这一阶段的一个发现是:当两台摄像机都固定对准手语者时,仅凭几何关系无法恢复焦距。在标定中加入刚性骨长项后,焦距误差从 40–47% 降到了 1% 以内。

03

动作的词汇表

残差向量量化器把每一帧转化为 32 个离散编码:四个身体部位(身体、左手、右手、面部),每个部位经过八个阶段逐级细化。按部位拆分能保留单一坐标流会模糊掉的区别;从单一码本改为残差设计后,重建误差从约 19° 和 11 cm 降到约 8° 和 2 cm。

04

哪些没有奏效,又被什么取代

最初的计划是根据文本一次性生成整句动作。在项目的评估工具上,没有任何端到端生成器的表现能与空白动作拉开差距。目前采用的路线是组合:逐词单独生成,每个词采样十六次,保留识别器读得最好的样本,再按预测的时长把词连接起来。输出遵循英语语序,而这并不是 ASL 语法,项目对此明确说明。

05

解读量尺

生成的动作通过回译成英语并与源句比较来评分,并且始终与对照组并列:真实手语、空白动作、打乱顺序和错配句子。在一组只读取一次的全新句子上,组合生成得分 2.40,真实手语 4.03,空白动作 2.05。里程碑是 2.55。这一目标没有达到,结果在未重试的情况下照常公布。

技术实现

语言必须在整个管道中生存。

  1. 01

    将动议放在一个时钟上

    利用关键点运动对齐 How2Sign 的正面和侧面视频,然后标定摄像机、三角测量位置并拟合关节旋转。重投影和刚性骨骼检查对重建加以约束。这些是基于视频的估计并保留了数据来源,而不是动作捕捉的真实值。

  2. 02

    预测编码,而非坐标

    自回归 Transformer 根据文本预测残差编码:由一个基于帧的因果时序模型、一个字节级文本编码器,以及一个作用于八个阶段的较小深度模型组成。早期自由生成的样本被识别出的比例远低于单步预测所显示的水平;通过裁剪、历史丢弃(history dropout)和掩码损失,孤立单词上的大部分差距得以弥合。

  3. 03

    测试分数测量的是什么

    早期的检索评估器给旋转全部归零的动作打出了出人意料的高分:片段时长泄露了答案。采用固定的两秒窗口、随机偏移和仅基于时长的对照后,这条捷径就可以被检验。此后每一个评估工具在被允许为生成器打分之前,都会接受同样的审视。

发布标准在任何人工评分之前就已确定:聋人评分者对生成句子的理解率必须至少达到 70%,且与真实手语相差不超过十个百分点。这项研究已经设计好,但尚未开展。在此之前,这里的任何内容都不能支持“可理解的 ASL”这一说法。

阅读连续训练实验
这些内容不能说明什么

诚实的边界。

  • 还没有聋人手语者评估过生成的动作。自动评分只是一种替代指标,并不等于理解。
  • 输出遵循英语语序,没有对 ASL 语法建模。
  • 模型权重未公开,该系统也不是已部署的翻译器。
来自我的作品集电影

从观察到运动。

观看完整影片
下载视频

英文音频。字幕支持所有十种网站语言;翻译是机器辅助的。

阅读文字记录

00:00 这些好奇心最终把我带到了 Sign-Translator。

00:03 来自两台摄像机的射线在关节处相交,从而确定关节的三维位置。

00:08 利用骨骼长度不变这一约束,焦距误差从超过 40% 缩小到了 1% 以内。

00:14 接着,动作被压缩成类似词汇表的编码,再由 Transformer 根据英语生成这些编码。

00:21 然后,几乎所有尝试都失败了。

00:22 整句动作生成器的可读性,并不比完全静止的基线更好。

00:26 其中一个模型通过了全部 95 项动作检查,却仍然无法表达一个句子。

00:32 所以,现在系统逐词生成动作,再将片段拼接起来。

00:37 遇到不认识的词,它就直接跳过。

00:39 评估时,另一个模型把动作重新解读为英语。

00:43 空白动作得分为 2.05,生成动作得分为 2.4,真实手语约为 4。

00:49 提升很小,但这是一个开始。

00:51 感谢观看。

我的作品集电影的摘录:手部地标、重建、生成的运动和评估限制。渲染的头像和自动评分展示了正在进行的研究工作;它们不建立手语的可理解性。

视觉注释/来自存储库

从言
到 运动。

来自符号翻译器化身装置的原始渲染手部发音测试
渲染层

姿势只是
开始。

运动模型最终必须驱动主体。这个原始的手工关节渲染来自存储库的装备检查:仔细观察化身背后的几何形状和关节行为。

静态骨骼绑定测试。它没有描述翻译的句子。

将可运行的合成基线与更广泛的语言、运动和渲染研究模块分开的系统图

系统及其边界。

存储库的架构图将可运行的合成核心与更大的翻译设计分开。上述较新的连续运动实验遵循单独的训练路径。

查看全尺寸图
语言和运动编码器将成对的示例投影到共享的归一化嵌入空间中,并用对比目标进行训练

语言和动作可以相遇吗?

时空图网络对关节运动进行编码。语言和运动向量被归一化并与对称对比损失对齐:匹配对应该比不匹配的更接近。检索测试探测这种对齐方式。

查看全尺寸图
进一步探索条件扩散是如何设计的
条件扩散设计:在语言条件下将噪声逐渐降噪为运动

生成假设。

该图记录了条件扩散研究设计。连续的实验揭示了近乎静态的失效模式;所选择的连续解码器改为使用离散运动代码。

查看全尺寸图
进一步探索流式运动需要什么
分离缓冲器、语音识别、规划、运动生成和渲染阶段的流设计

定时是接口的一部分。

流合同将第一次输出的时间与持续吞吐量区分开来。它还指定了仅附加提交的前缀,因此以后的预测无法重写已经显示的运动。这是设计合同,而不是测量的生产延迟声明。

查看全尺寸图
邻近岛屿

彼此的联系。

背景和延伸阅读

这是仍在开发的研究原型。下方图表展示研究设计中较早的部分,手部图片用于骨骼绑定测试。生成动作或通过渲染检查,并不代表已生成语言学上有效的美国手语(ASL);仍需独立评估其可理解性。工作室视频:How2Sign(CC BY-NC 4.0)。