StreamRoger · ARStageLive Stage Tech Strategy

인간의 몸으로,
고양이를 걷게 하기

「고양이 마에스트로 에다」 2막 — 휴먼 모션캡쳐 → 4족보행 캐릭터 실시간 구동 전략. 상체 라이브 × 하체 절차적 하이브리드로 무대 위 배우와 에다를 하나로 융합한다.

PROJECT — 고양이 마에스트로 에다 (ARKO 창작산실 2027 올해의 신작 후보) SYSTEM — Femto Bolt ×4 · K4ABT · Unity URP DATE — 2026.07 BY — 보쎄스 · VOCES

원칙 — 핵심 프레임

관객이 "살아있는 고양이"를 느끼는 지점은 다리 보행의 정확도가 아니라 머리 · 시선 · 타이밍이다.

뮤지컬 Cats가 인간 직립 자세 그대로도 고양이로 읽히는 이유. 자원 배분은 다리(절차적·녹화로 대체) < 머리·귀·꼬리(라이브 반응성 집중)가 정답.

시선 · 머리 반응

40%

타이밍 · 리듬

25%

귀 · 꼬리 2차 모션

20%

다리 보행 정확도

15%

※ 연출 리소스 배분 가이드 (개념 비율) — 다리 정확도에 대한 과투자 금지

기존 확보 — 구도별 부분 스켈레톤 캡쳐 기존 확보 — 휴머노이드 리타게팅 기존 확보 — 특정 동작 녹화 애니메이션 재생

현재 채택안

상체 라이브 / 하체 절차적

AR 뷰어 속 에다와 무대 위 배우가 동시에 보인다 — 관객이 배우 자체를 고양이로 느끼는 조건은 둘이 같은 순간, 같은 리듬으로 움직이는 것. 상체 실시간 동기가 그 레버 (War Horse의 퍼펫티어-말 호흡 동기화 원리). 하체는 무시하고 절차적 IK로, 상체 전체(머리·시선·허리·팔)는 에다가 상시 실시간으로 따라한다.

라이브 — 상체·앞발 추종 (K4ABT) 절차적 — 다리·보행 자동 생성 배우 하체 — 무시

절차적 베이스

게이트 사이클 + 발 배치 IK — 4다리 전체, root는 배우 위치·속도 (№01)

PROCEDURAL

상체 라이브 오버라이드

허리·척추 아치·몸통 회전·머리/시선 — 증폭 리매핑 커브 + 기존 One Euro 필터

LIVE

앞발 라이브 + 접지 제약

팔·손 상시 미러링 — 손 위치 → 앞발 IK 타겟, 체중 지지 발은 foot-lock으로 접지 유지

LIVE

물리 2차 모션

꼬리·귀 spring bone — 캡쳐 불필요 자동 생명감 (№04)

PHYSICS

배우 (K4ABT)	에다 4족 리그	방식
머리 방향·시선	고양이 머리·시선	1:1 직결 — 직립 자세 신뢰도 최상 구간
척추 굽힘	등 아치·웅크림 (pounce 준비)	증폭 리매핑 — 배우 20° 숙임 → 고양이 큰 아치
몸통 비틀림·롤	몸통 회전·어깨 롤	감쇠 리매핑
골반 높이 (Y)	스탠스 높이 (웅크림↔스트레칭)	직결 + 스무딩
팔·손	앞발 (발 들기·긁기·뻗기·제스처)	상시 라이브 — 회전 복사 금지, 손 위치를 IK 타겟으로 + 접지 제약

앞발 접지 제약(foot-lock) 규칙 — 팔은 상시 라이브로 앞발을 미러링하되, 체중 지지 중인 발은 foot-lock이 접지를 유지. 손 위치가 임계 높이를 넘으면 해당 앞발의 접지가 풀려 완전 추종(발 들기·긁기·뻗기), 내려오면 절차적 발 배치로 복귀 블렌딩. 이동 중 팔 스윙은 어깨·몸통 기울기로 흡수해 보행 사이클과 충돌하지 않게 한다. 사람 팔꿈치와 고양이 앞다리 관절(carpus)은 굽힘 방향이 달라 회전 직복사는 기괴함 — 위치 기반 IK로만.
※ 직립 지휘(의인화) 모드에서는 팔→앞발 1:1 리타게팅 풀 오픈 — 접지 제약은 4족 모드 전용.

보강 3종 — 시선 동기(배우가 보는 곳 = 에다가 보는 곳) · idle 호흡 템포를 배우 움직임에 동기 · 배우 무브먼트 코칭(머리가 먼저 가는 고양이 문법)

채택 아키텍처: 상체 라이브 / 하체 절차적 — FIG.01 — 채택 아키텍처: 상체(머리·허리·팔) 상시 라이브 / 하체 절차적 IK / 앞발 접지 제약(foot-lock)

보강

보조 기법 — 채택안 위에 얹는 레이어

채택안 위에 얹는 보조 레이어 — 라이브와 녹화의 경계를 흐려, 관객은 어디까지가 실시간인지 구분하지 못한다. 그 착시가 기술이다.

№ 01구조적 해결

루트 트래킹 + 절차적 보행

배우의 위치·속도·방향만 라이브로 받고, 4족 다리는 procedural IK(발 배치 + 게이트 사이클)가 자동 생성. 속도에 따라 walk/trot 블렌딩. 게임 업계 표준 기법 — 다리 캡쳐 문제 자체가 소멸.

STACK — K4ABT root는 이미 안정적
배우는 걷기만 하면 됨

№ 02저비용

애디티브 레이어

베이스 = 녹화된 idle/walk 루프. 그 위에 배우의 spine 기울기·머리 회전을 additive로 얹음 — 녹화인데 라이브처럼 호흡.

STACK — Unity Animator additive layer로 구현

№ 03연출 결합

라이브 ↔ 녹화 핸드오프

이동·점프는 녹화 재생 → 정지 후 라이브 트래킹으로 소리 없이 전환. 관객은 전환점을 인지하지 못함.

STACK — M6 연출 커맨드 레이어와 결합
전환 큐 = 오퍼레이터 트리거

№ 04공짜 생명감

꼬리·귀 물리 시뮬

spring/jiggle bone으로 자동 2차 모션. 캡쳐 불필요. 리깅 단계에서 본만 심으면 되는 최저비용 생명감.

STACK — 리깅 단계에서 본 추가 (3D 아티스트 작업분)

절차적 보행 컨셉 — FIG.02 — 루트 트래킹 + 절차적 보행: 배우는 걷고, 다리는 시스템이 만든다

대안

대안 접근 — 퍼펫티어 매핑

채택안이 막히는 장면을 위한 폴백 옵션 — 상체를 그대로 옮기는 대신 관절을 컨트롤 신호로 추상화하는 인형극 문법 — 손 높이→머리 높이, 몸통 기울기→이동 방향, 손목→꼬리.

라이브 트래킹 입력 (K4ABT) 절차적 자동 생성 캐릭터 리그

№ 05안정성 ★★★

퍼펫티어 매핑

배우는 서 있고, 관절을 컨트롤 신호로 추상화 — 손 높이→머리 높이, 몸통 기울기→이동 방향, 손목→꼬리. 인형극 문법의 디지털 이식.

STACK — K4ABT 직립 자세 = 신뢰도 최고 구간
EdaAvatarDriver에 매핑 테이블 추가

CAUTION

"배우가 네발로 기는" 매핑은 피할 것

가장 직관적인 방법(배우 crawling → 팔=앞다리, 다리=뒷다리)이 이 스택에서 가장 위험하다. K4ABT·MediaPipe 모두 직립 인간으로 학습된 모델 — 네발기기 자세에서 스켈레톤 신뢰도가 급락하고, 관절 스왑·flip이 라이브 공연 중 터진다.

사용 조건 — 특정 구도 1대 카메라 + 짧은 장면 한정으로만 허용

직립 vs crawling 트래킹 신뢰도 비교 — FIG.04 — 직립(안정) vs 네발기기(신뢰도 급락): 트래킹 자세별 스켈레톤 품질 비교

실행

구현 로드맵

효과 대비 비용 순서. 1번만 완성돼도 배우는 걷기만 하면 된다.

루트 + 절차적 보행№01

다리 문제의 구조적 해결. K4ABT root 입력 → 발 배치 IK + 게이트 사이클 자동 생성. 이것이 전체 전략의 기반.

상체 라이브 오버라이드 + 꼬리·귀 물리채택안 L1·L3

생명감 담당. 머리·시선 1:1 + 척추 증폭 리매핑 + spring bone 2차 모션 — 배우와 에다의 실시간 융합 확보. 앞발 라이브+접지 제약(L2)은 그다음.

핸드오프 + 녹화 재생 체계№03 + 기존 계획

점프·특수동작 커버. M6 연출 커맨드 레이어와 함께 설계 — 오퍼레이터가 큐로 전환을 트리거.

REF

선례가 증명한다

MUSICAL — 1981

Cats

인간 직립 자세 그대로 고양이 표현. 실루엣·의상·타이밍만으로 "고양이스러움"이 성립함을 40년간 증명.

PLAY — 2007

War Horse

퍼펫티어 3인이 노출된 채 말을 조종 — 관객은 조작자를 무시하는 관습을 스스로 수용. "보이는 조작"도 연극 문법.

GAME — 2022

Stray

절차적 보행 + 캔드 애니메이션 하이브리드로 구현된 고양이 무브먼트의 현행 표준 레퍼런스.