언어를 움직임으로
단어와 수화 사이의 거리를 연구합니다.

캡처 스튜디오, 그리고 그 결과를 정직하게 지키는 측정 도구들.
이 사이트를 위해 Blender로 만든 일러스트입니다. 개념을 설명할 뿐, 프로젝트의 데이터가 아닙니다.
프로젝트의 원본 이미지, 도표, 영상은 원래 언어로 제공됩니다.
과학 교육을 더 접근하기 쉽게 만들려던 노력은 어려운 연구 질문으로 이어졌습니다. 언어는 어떻게 협응된 움직임과 연결될 수 있을까요? Sign-Translator는 스튜디오 영상에서 렌더링된 아바타까지 이 질문을 탐구하면서, 생성된 동작을 언어학적으로 검증된 미국 수어와 구별합니다. 아직 어떤 농인 수어 사용자도 그 결과물을 평가하지 않았으며, 프로젝트는 결과가 나오는 곳마다 이 사실을 밝힙니다.
일련의 손 포즈 그 이상
수어는 손, 몸, 얼굴, 시선, 타이밍을 함께 조율합니다. 이 프로젝트는 이 모두를 하나의 시계 위에 표현합니다. 초당 24프레임의 열한 개 채널로, 몸과 손의 회전, 머리 움직임, 얼굴 계수 52개, 시선, 눈 깜박임, 접촉을 다룹니다. 각 값에는 실제로 관측되었는지를 나타내는 표시가 붙어 있어서, 누락된 데이터가 조용히 채워지지 않고 그대로 드러납니다.
카메라 둘, 골격 하나
동작은 정면과 측면에서 촬영한 스튜디오 영상에서 얻습니다. 포즈 추정기가 각 시점에서 키포인트를 찾고, 손목과 팔꿈치의 움직임으로 두 시점을 동기화하며, 영상 자체로 카메라를 보정한 뒤, 대응하는 점들을 삼각측량해 3D로 만듭니다. 이 단계에서 얻은 발견 하나는, 두 카메라가 모두 수어 사용자에게 고정되어 있으면 기하만으로는 초점 거리를 복원할 수 없다는 것입니다. 보정에 강체 뼈 길이 항을 추가하자 초점 거리 오차가 40–47%에서 1% 이내로 줄었습니다.
움직임의 어휘
잔차 벡터 양자화기는 각 프레임을 32개의 이산 코드로 바꿉니다. 네 신체 부위(몸통, 왼손, 오른손, 얼굴)를 각각 여덟 단계에 걸쳐 정제하는 방식입니다. 부위별로 나누면 하나의 좌표 스트림에서는 흐려질 구별이 유지되며, 단일 코드북에서 잔차 설계로 바꾸자 재구성 오차가 약 19°와 11 cm에서 약 8°와 2 cm로 줄었습니다.
효과가 없었던 것과 그것을 대신한 것
처음 계획은 텍스트에서 문장 전체의 동작을 한 번에 생성하는 것이었습니다. 프로젝트의 측정 도구로 보면, 어떤 종단간 생성기도 빈 동작과 구별되지 않았습니다. 현재 방식은 조합입니다. 단어마다 따로 생성하고, 열여섯 번 샘플링해 인식기가 가장 잘 읽는 샘플을 고른 뒤, 예측한 타이밍으로 단어들을 잇습니다. 출력은 ASL 문법이 아닌 영어 어순을 따르며, 프로젝트는 이를 분명히 밝힙니다.
계기 읽기
생성된 동작은 다시 영어로 번역한 뒤 원래 문장과 비교해 점수를 매기며, 항상 대조 조건과 함께 봅니다. 실제 수어, 빈 동작, 순서를 섞은 동작, 엉뚱한 문장입니다. 단 한 번만 평가한 새 문장 세트에서 조합 방식은 2.40점, 실제 수어는 4.03점, 빈 동작은 2.05점을 받았습니다. 목표치는 2.55점이었습니다. 목표는 달성하지 못했고, 결과는 재시도 없이 그대로 공개했습니다.
언어는 전체 파이프라인에서 살아남아야 합니다.
- 01
하나의 시계에 모션을 넣어보세요
How2Sign의 정면·측면 영상을 랜드마크 움직임으로 정렬한 뒤, 카메라를 보정하고 위치를 삼각측량하고 관절 회전을 맞춥니다. 재투영 검사와 강체 뼈 검사가 재구성을 제약합니다. 이는 출처 정보를 유지한 영상 기반 추정치이며, 모션 캡처로 얻은 실측값이 아닙니다.
- 02
좌표가 아니라 코드를 예측하기
자기회귀 트랜스포머가 텍스트로부터 잔차 코드를 예측합니다. 프레임에 대한 인과적 시간 모델, 바이트 단위 텍스트 인코더, 그리고 여덟 단계에 대한 더 작은 깊이(depth) 모델로 구성됩니다. 초기의 자유 생성(free-running) 샘플은 한 단계 예측 결과가 시사한 것보다 훨씬 드물게 인식되었습니다. 트리밍, 히스토리 드롭아웃, 마스킹된 손실을 적용해 개별 단어에 대해서는 그 격차의 대부분을 좁혔습니다.
- 03
점수가 무엇을 측정하는지 테스트
이전의 검색 평가기는 회전을 0으로 만든 동작에도 놀라울 만큼 높은 점수를 주었습니다. 클립 길이가 정답을 누설하고 있었던 것입니다. 2초로 고정한 구간, 무작위 오프셋, 길이만 사용하는 대조 조건을 두어 이 지름길을 검증할 수 있게 했습니다. 이후의 모든 측정 도구도 생성기를 평가하기 전에 같은 의심을 거칩니다.
공개 기준은 사람의 평가를 받기 전에 정해 두었습니다. 농인 평가자가 생성된 문장을 최소 70% 이해해야 하며, 실제 수어와의 차이가 10%포인트 이내여야 합니다. 그 연구는 설계되었지만 아직 진행되지 않았습니다. 진행되기 전까지 이곳의 어떤 내용도 이해 가능한 ASL이라는 주장을 뒷받침하지 않습니다.
연속 학습 실험 읽기정직하게 밝히는 한계.
- 아직 어떤 농인 수어 사용자도 생성된 동작을 평가하지 않았습니다. 자동 점수는 대리 지표일 뿐, 이해도가 아닙니다.
- 출력은 영어 어순을 따르며 ASL 문법을 모델링하지 않습니다.
- 모델 가중치는 공개하지 않았으며, 이 시스템은 실제 배포된 번역기가 아닙니다.
관찰부터 모션까지.
영어 오디오. 캡션은 사이트의 10개 언어 모두로 제공됩니다. 번역은 기계의 도움을 받습니다.
성적표 읽기
00:00 이 모든 호기심이 Sign-Translator로 이어졌습니다.
00:03 두 카메라에서 뻗은 선이 각 관절에서 만나면 관절의 3차원 위치를 구할 수 있습니다.
00:08 뼈의 길이가 일정하다는 제약으로 초점 거리의 오차를 40% 초과에서 1% 이내로 줄였습니다.
00:14 동작을 어휘처럼 코드로 압축한 뒤 Transformer가 영어를 바탕으로 그 코드를 생성합니다.
00:21 그런데 그 뒤로 거의 모든 시도가 실패했습니다.
00:22 문장 전체의 동작을 생성하는 모델은 정지 상태보다 의미를 더 잘 전달하지 못했습니다.
00:26 한 모델은 95개 동작 검사를 모두 통과했지만, 여전히 문장 하나의 의미도 전달하지 못했습니다.
00:32 그래서 지금은 단어마다 동작을 따로 생성하고 클립을 이어 붙입니다.
00:37 모르는 단어는 그대로 빠집니다.
00:39 평가할 때는 모델이 동작을 다시 영어로 읽어 냅니다.
00:43 빈 동작의 점수는 2.05, 생성된 동작은 2.4, 실제 수어는 약 4입니다.
00:49 작은 개선이지만 시작입니다.
00:51 시청해 주셔서 감사합니다.
재생을 시작할 수 없습니다. 비디오 컨트롤을 사용해 보거나 비디오를 다운로드하세요.
내 포트폴리오 영상에서 발췌: 손 랜드마크, 재구성, 생성된 모션 및 평가 한계. 렌더링된 아바타와 자동 점수는 진행 중인 연구 작업을 보여줍니다. 그들은 수화 명료성을 확립하지 않습니다.
단어에서
에게 움직임.

포즈는 오직
시작.
모션 모델은 결국 신체를 구동해야 합니다. 이 원본 손으로 표현한 렌더는 저장소의 리그 검사에서 나온 것입니다. 즉, 아바타 뒤에 있는 형상과 관절 동작을 자세히 살펴봅니다.
정적 장비 테스트. 번역된 문장을 묘사하지 않습니다.
시스템과 그 경계.
저장소의 아키텍처 맵은 실행 가능한 합성 코어를 더 큰 번역 디자인과 분리합니다. 위에 설명된 최신 연속 동작 실험은 별도의 훈련 경로를 따릅니다.
전체 크기 다이어그램 보기언어와 움직임이 만날 수 있을까?
시공간 그래프 네트워크는 관절 동작을 인코딩합니다. 언어 및 모션 벡터는 정규화되고 대칭 대비 손실로 정렬됩니다. 일치하는 쌍은 일치하지 않는 쌍보다 더 가까워야 합니다. 검색 테스트는 해당 정렬을 조사합니다.
전체 크기 다이어그램 보기추가 탐사조건부 확산이 설계된 방식
생성 가설.
이 다이어그램은 조건부 확산 연구 설계를 문서화합니다. 지속적인 실험에서는 거의 정적인 고장 모드가 노출되었습니다. 선택한 연속 디코더는 대신 개별 모션 코드를 사용합니다.
전체 크기 다이어그램 보기추가 탐사스트리밍 모션에 필요한 것
타이밍은 인터페이스의 일부입니다.
스트리밍 계약은 지속적인 처리량과 첫 번째 출력까지의 시간을 구별합니다. 또한 추가 전용 커밋된 접두사를 지정하므로 이후 예측에서는 이미 표시된 모션을 다시 쓸 수 없습니다. 이는 측정된 생산 지연 청구가 아닌 설계 계약입니다.
전체 크기 다이어그램 보기이어지는 지점.
개발 중인 연구 프로토타입입니다. 아래 도표는 연구 설계의 이전 단계를 기록한 것이며, 손 이미지는 리그 테스트입니다. 동작 생성이나 렌더링 확인만으로는 언어학적으로 유효한 미국 수어(ASL)임을 입증할 수 없습니다. 이해 가능성에 대한 독립적인 평가가 여전히 필요합니다. 스튜디오 영상: How2Sign (CC BY-NC 4.0).


