StreamRoger (DepthOcclusionAR) — 프로젝트 구조·사용법

★ 에다 공연 기능 사용법 2026-11-04 기준

본편 씬 Da3WebcamOcclusion. 단축키는 게임뷰를 한 번 클릭해 포커스를 둔 상태에서, 입력칸에 커서가 없을 때 받는다. 라이브 아바타는 에다(Eda_4foot_V02_Latest)이며 아래 기능은 모두 에다 아바타로 녹화 재생 확인함.

한눈에

피아노 점프 (Ctrl+H)

• Ctrl+H 한 번 = 피아노 위로 뛰어올라 앉기, 다시 Ctrl+H = 내려와 배우 자리로 복귀. 착지점은 처음 한 번 Ctrl+Shift+H 후 피아노 윗면 클릭.
• 올라가기 2.0초 · 내려가기 1.8초. 앉은 동안 상체는 배우를 따라감. 꼬리·귀·앞발 움직임은 v009.
• v009 는 에다 리그용 — 고양이 아바타(Cat_Unity_Rig_Live)로 바꾸면 예전 시안 동작이 나옴.

건반 밟고 도망 (Ctrl+G)

1. 처음 한 번 Ctrl+Shift+G → 화면에서 건반 왼쪽 끝 클릭 → 오른쪽 끝 클릭. 위치는 저장되어 다음 실행에도 유지.
2. Ctrl+G → 에다가 놀라 건반 위로 뛰어올라 시·도·레·미·파를 밟으며 반대쪽으로 도망.

요한 손잡기 (자동)

1. 두 배우가 떨어져 있을 때 배우 탭에서 에다 배우는 「이 사람을 배우로 지정」, 요한은 「이 사람을 요한 가림으로 지정」. 요한 지정은 세션마다 다시.
2. 두 배우가 손을 잡으면 0.15초 뒤 아바타가 상체를 세우고 요한 쪽으로 다가서서 앞발로 그 손을 잡음. 손을 떼면 0.6초 뒤 원래 자세로.

밥그릇 놓기 · 밥 먹기 (자동 / Ctrl+W)

• 마커: 화분에 쓰던 QR(ID24)을 바닥에 두면 「에다 밥그릇」이 나타남. 첫 사용 때 무대 준비 → 마커 오브제 → 에다 밥그릇에서 위치·크기를 한 번 맞춤.
• 직접 배치: 무대 스튜디오(Shift+F1 편집) → 왼쪽 「에셋」에서 「에다 밥그릇」을 화면 바닥으로 끌어 놓기(휠로 크기, Esc 취소). 목록의 「요한·에다 · 에다 밥그릇」은 예전 시안이라 밥 먹기가 인식하지 않음.
• 에다 배우가 그릇 1 m 안에서 몸을 숙이면(상체 40° 이상 또는 쪼그려 앉기) 0.4초 뒤 시작, 일어서면 0.6초 뒤 끝. 아바타는 그릇 쪽으로 몸을 돌려 다가가 척추·목·머리를 나눠 굽히고 앞발로 바닥을 짚으며 씹는 동작.
• Ctrl+W = 배우 동작과 상관없이 수동 시작/끝(리허설·연출용). 손잡기·피아노 점프 중엔 꺼짐.

과자 쏟기 (Ctrl+I)

• Ctrl+I → 과자 봉투가 그릇 옆에 나타나 기울어 과자 약 26개를 쏟음(부스러기 포함). 다 쏟은 봉투는 그릇 옆에 세워 둠.
• 스튜디오에 「에다 과자 봉투(열림)」을 미리 놓아 두면 그 봉투를 들어 쏟고 제자리에 돌려놓음. 그릇이 없으면 아바타 앞 바닥에 쏟음. 에다가 먹는 동안 그릇 속 과자가 하나씩 줄어듦.

녹화 재생

• 진단 → 세션 녹화 → 이전 녹화 선택에서 녹화를 고르고 「선택한 녹화 재생」. Ctrl+F3 = 최근 녹화 재생 / 라이브 복귀.
• 재생 중 다른 녹화로 바로 전환: 재생 중에 목록에서 다른 녹화를 고르고 「선택한 녹화로 바꿔 재생」 — 라이브를 거치지 않고 바로 바뀜. 라이브 복귀 때는 재생 전 무대가 돌아옴.
• 피아노 착지점·건반 위치도 녹화마다 저장: 녹화하면 그때의 착지점(Ctrl+Shift+H)·건반(Ctrl+Shift+G) 위치가 녹화 폴더에 함께 남고, 재생하면 뎁스맵과 세트로 적용됨. 라이브로 돌아오면 라이브 위치 그대로. 재생 중에 다시 지정하면 그 녹화에만 저장. 11/04 이전 녹화는 현재 위치를 쓰므로 재생 중 한 번 지정해 두면 다음부터 그 위치로 불러옴. 확인: 진단 ▸ 피아노 점프 「피아노 위치 출처」.
• 뎁스맵 자동 매칭: 녹화에 저장된 무대 뎁스맵을, 없으면(10/29 이전 녹화) 녹화 시작 직전 12시간 안에 찍은 무대 촬영본을 자동 적용. 화면 메시지 「녹화 시각 무대 촬영본 적용」.

안 될 때

• 단축키 무반응: 게임뷰를 한 번 클릭 → 다시. 입력칸(「이름으로 찾기」 등)에 커서가 있으면 Esc.
• Ctrl+U 는 Unity 6 「실행 취소 기록」 창이라 쓰지 않음. B·J·E 는 단독 키 기능(배경 재캡처 등)이 있어 Ctrl 조합으로도 피함.
• Ctrl+W·Ctrl+I 는 원격 명령으로만 동작 확인 — 실제 키보드에서 반응이 없으면 다른 키로 바꿈.

1. 개요

StreamRoger는 Orbbec Femto Bolt(RGB-D) 4대를 4대의 PC에 분산 배치해 실시간 바디트래킹과 Depth Occlusion 합성을 수행하는 AR 무대 시스템의 코드명입니다.

• 용도 ① — 오페라 「고양이 마에스트로 에다」(ARKO 공연예술창작산실 2027 올해의 신작 후보) 무대기술: Depth Occlusion + 실시간 아바타(고양이 리타겟)
• 용도 ② — 보쎄스A&T 재도전성공패키지 아이템: 글래스리스 라이브 AR 플랫폼

자매 프로젝트 XR_Maestro(F:\XR_Maestro)와 워커·NDI·WinRM 분산 인프라를 공유합니다.

2. 핵심 아키텍처

단일 소스 원칙

Femto Bolt + Azure Kinect Body Tracking SDK(K4ABT) 조합으로 Depth와 스켈레톤이 동일 좌표계에서 나옵니다. 이것이 오클루전 정합의 핵심입니다.

듀얼 페이즈

• Phase A — 사전 무대 3D 스캔 (StageScanner → 정적 메시)
• Phase B — 공연 실시간 스켈레톤 트래킹 + 아바타 합성

운용 모드 3종

마일스톤 현황

3. 4PC 분산 구성

• 네트워크: 폐쇄망 스위치 ipTime H8008S2 (GbE, CAT6). KinectNetServer = UDP 11000 + TCP 11000~11010
• 센서 동기화: 현재 전 센서 STANDALONE 운용 (2026-06-23 결정). Sync Hub 하드웨어 동기는 공연 화질 필요 시 복구
• 워커 원격제어: WinRM (_tools/WorkerCtl.psm1, 자격증명 ~/.winrm_admin.cred) + Parsec(GUI)

4. 디렉토리 구조 (주요)

핵심 런타임 코드 (Assets/Scripts/HologramViewer/)

5. 씬 구성

6. 고양이 리타겟 테스트 (섀도우 휴머노이드 리그)

인간 배우의 고양이 흉내 연기를 퍼펫티어 없이 4족 고양이 아바타로 실시간 복제하는 파이프라인입니다.

데이터 흐름

Femto Bolt (K4ABT 스켈레톤)
  → EdaBodySelector (시야 1인 자동 락)
  → EdaAvatarDriver (상체 라이브, upperBodyOnly=true)     [order 기본]
  → ProceduralLegDriver (하체 절차적 보행, 루트 속도 기반)  [order 300]
  →  ⟨비가시 섀도우 휴머노이드⟩
  → GenericBoneBinder (고양이 Generic 본으로 전사)         [order 400]
      · 야우 → 고양이 루트 이관 (rest 기준 잔차 분리)
      · 척추 spine_02~05 누적 가중
      · 사지: 위치 기반 2본 IK (바인드 절대화)
  → SimpleSpringChain (꼬리·귀)                            [order 450]
  → RetargetDebugVisualizer (시각 진단)                    [order 500]

Play 검증 키 바인딩

HUD 배치

• 좌상단 — ProceduralLegDriver (하이브리드·보행 상태)
• 우상단 — GenericBoneBinder (본 발견 수·Tracked·yawDelta·게인)
• 좌하단 — RetargetDebugVisualizer (토글 상태 + 관절 신뢰도 집계)

검증 절차 요약

1. 씬 EdaHybridCatTest 오픈 → ▶ Play → 우상단 HUD 「본 발견 26/26」 확인
2. Console에 [K4ABT] Body tracker started + FullModel 로드 확인, NetClient 접속 에러가 없어야 정상
3. 카메라 시야에 혼자 진입 → 자동 락 (Tracked: True) → 원하는 원점에서 R
4. 걷기·회전·팔 뻗기·웅크리기·네발 기기(핵심) 테스트 — F1 스켈레톤으로 추적 붕괴 여부 관찰
5. 진단법: F1이 무너지면 K4ABT 추적 문제 / F1 정상인데 고양이만 이상하면 전사(바인더) 문제

7. 운용 자동화 (pc_sync/scripts/)

• 워커 이상 시 1차 확인: converge 로그(pc_sync/state/.local/*.log)와 python 설치 여부
• pc_sync/PAUSE_AUTOPUSH 마커 존재 시 converge 자동 push 정지 (현재 활성 — 전 PC)
• Main→워커 /32 영구 경로 필요 (Wi-Fi 누수 방지). 어댑터 재설정 시 증발 가능성 있음

8. 주의사항 · 반복 함정

9. 현재 상태 (2026-07-17 밤 기준)

• Git: HEAD 64ef462 (섀도우 휴머노이드 리그) = origin/master 동기. 미커밋: 07-17 수정분(DTM 비활성·FullModel·시각 디버거·빌더) + Assets/Toon Golden Valley(사용자 임포트, 보류)
• 07-17 프리즈 사건 해결: 에디터 다운 2회의 원인 = DistributedTestManager의 NetClient 부활 + 죽은 워커 접속 폭주 → 씬 2개 GO 비활성화 + 빌더 재발 방지 + FullModel 전환 완료 (컴파일 검증 0 에러)
• 시각 디버거: RetargetDebugVisualizer 추가 — 씬 재생성(빌더 메뉴) 후 사용 가능
• 다음 액션: ① 고양이 리타겟 실기 Play 검증 (네발 자세 K4ABT 품질 핵심) ② worker2·3 복구 (물리 점검 + Stage2 대역 분리) ③ worker3 4번째 캘리브레이션 ④ M6 연출 UI 착수