오큘러스 퀘스트 2 핸드 트래킹 업데이트
오큘러스 퀘스트 2는 전 XR 영역을 통틀어, 55%의 막강한 시장 점유율을 차지하고 있는 VR 기기입니다. 하지만 기술의 발전에 따라, 그리고 주도적인 프로덕트 리더십 및 로드맵을 추구하며 기존 구매 제품에도 큰 메리트를 제공하는 기술들을 선보이고 있습니다.
그 중 대표적인 것이 오큘러스 퀘스트 2의 핸드 트래킹 기술입니다. 핸드 트래킹 출시 이후 다양한 업데이트가 굉장히 빠른 속도로 이루어지고 있어서, 크리에이티브 봇츠에서도 해당 소식을 다루어 보았습니다.
핸드 트래킹 주요 오픈 리소스 공개와 Fast Hand Tracking 업데이트 소식이 주된 내용이 되겠습니다.
Hand Tracking Updates and Resources | Oculus For Developers
(2021.5.13 업데이트)
오큘러스 퀘스트의 Hands API 를 통해 피지컬 컨트롤러 대신 실제 사용자의 손을 사용하여 VR 인터랙션이 가능합니다. 개발자는 사용자의 위치, 오리엔테이션, 관절의 움직임, 제스처 등을 확인할 수 있습니다.
오큘러스 OS v28 릴리스에는 하이 프리퀀시 핸드 트래킹 기능과 커스텀 핸드 제작 등이 가능해졌습니다. 하이 프리퀀시 핸드 트래킹을 통해서 지연 시간의 감소와 핸드 트래킹 퀄리티 업그레이드, 제스처 인식 강화가 있다고 합니다.
또한 핸드 트래킹의 Best Practice로 볼 수 있는 Tiny Castle 애플리케이션을 공개했습니다. (해당 애플리케이션은 앱 랩을 통해서 Tiny Castle을 플레이 해볼 수 있습니다.
[앱 랩 바로가기 및 다운로드 : https://www.oculus.com/experiences/quest/3647163948685453/?locale=en_US ]
Tiny Castle을 통해 Hands API의 여러 가지 기능들을 살펴볼 수 있습니다. Hand API는 아래의 기능을 제공합니다. (이를 활용하면 여러 분들께서 원하는 핸드 트래킹을 개발 할 수 있습니다)
Hands API를 통해 피지컬 컨트롤러 없이도 아래의 동작을 할 수 있습니다:
손 위치 및 방향 인식 Hand position and orientation
손 크기 인식 Hand size (ie, scale)
손가락 위치와 방향 인식 Finger position and orientation
핀치 (엄지+검지) 쥐는 힘의 정도 확인 Pinch (finger + thumb) strength information
UI 조작을 위한 포인터 포즈 방향 인식 Pointer pose for UI raycasts
유니버셜, 앱 제공 메뉴용 시스템 제스처 System gesture for opening the universal or application-defined menu
하이 프리퀀시 핸드 트래킹을 통해 빠른 손의 움직임에도 트래킹 퀄리티가 높아진 점을 확인할 수 있었으며, 레이턴시의 인식이 조금 개선되었다고 합니다. 다만 하이 프리퀀시 핸드 트래킹을 제공할 경우에는 최대 CPU, GPU 리소스 양이 조금 줄어들 수 밖에 없다고 하니 참조해야 할 것 같습니다.
위에 보이는 Pirates!는 2021년 4월 1일에 공개되었는데, 손을 사용하는 기술이 오픈 소스화 되면서 동시에 완성도 높은 핸드 트래킹 리소스를 공개하여 큰 반향을 불러 일으켰습니다. 그런데 Pirates가 공개된지 1달도 되지 않아서, 이렇게 하이 프리퀀시 핸드 트래킹과 함께 Tiny Castle 같은 추가적인 애플리케이션을 공개하는 것을 보면 오큘러스 퀘스트 2, 그리고 신 기술에 대해 엄청난 속도로 개발과 혁신을 추구하고 있는 것을 볼 수 있습니다.
제가 충남 정보문화산업진흥원의 XR 기획 과정을 강의하면서, VR의 기술이 진보하면 AR과 MR의 영역으로 확장할 것이며, 추후 커뮤니케이션 플랫폼은 1개의 기술이 중심이 되는 것이 아니라 다양한 기술을 고려하지 않고도 한 군데 모일 수 있는 곳이 진정한 XR 플랫폼이 될 것이라고 하였습니다.
오큘러스 퀘스느는 VR을 기반으로 하였지만, AR과의 경계를 박차고 나아가 MR의 영역까지 확대하고자 하는 모습이 눈에 띕니다. 최근 인피니트 오피스의 잦은 업데이트와 키보드 지원 확대 등도 눈에 띄는 소식입니다.
Oculus Quest 2 : Infinite Office
핸드 트래킹은 아직 여러 문제점이 있습니다. 손이 교차되면 (당연히?) 제대로 인식되지 못화고, 카메라를 벗어나면 사라지며, 어두운 곳에서는 손이 잘 측정되지 않습니다. 하지만 이러한 점들은 점차 개선될 것이라 생각합니다. 기술은 완벽할 때 내놓는 것이 답일 수도 있고, 적당히 좋은 것이 빠르게 나오는 것이 답일 수도 있습니다. 애플은 완벽할 때 내놓는 것을 목표로 하지만, 페이스북 오큘러스는 신속과 빠른 출시를 목표로 하고 있는 점이 눈에 띄는 차이점입니다. 이전에 mp3가 CD를 이겼고, mp3를 스트리밍이 이긴 것이 생각이 납니다. 저렴하면서도 높은 성능으로 XR 분야의 전체 55%를 차지한 오큘러스 퀘스트는 앞으로도 성공적인 행보를 이어나갈 것으로 보입니다.
이번 글에서는 간략하게 핸드 트래킹을 중심으로 업데이트 소식을 다루어 보았는데, 다음에는 화상회의 및 생산성과 관련된 내용을 다루어 보도록 하겠습니다.
추가적으로 살펴보면 좋은 정보:
1. 오큘러스 개발자 사이트 내 핸드 사용에 대해 디자인하는 방법 설명:
developer.oculus.com/learn/hands-design-intro/
2. 오큘러스 x 유니티 핸드 트래킹 적용하기:
developer.oculus.com/documentation/unity/unity-handtracking/
프로젝트, 교육 강의 문의: hello@creativebots.co.kr 02-3462-8881
크리에이티브 봇츠는 뉴 디지털 미디어 테크놀러지 응용분야 연구소로서, 사용자 중심의 관점에서 신 기술과 미디어의 기획과 디자인을 전문적으로 연구하고 있습니다. 프로젝트 및 교육 강의 등이 필요하시면 언제든지 연락주세요.