Vision Pro는 인간에게 타고난 고급 입력 방법, 즉 손과 눈을 활용하여 혼합 현실 환경에서 개인이 소프트웨어와 상호 작용하는 방식을 혁신적으로 변화시킵니다. 다른 증강 현실 또는 가상 현실 헤드셋에서 볼 수 있는 기존 컨트롤러와 달리, Apple의 이 혁신적인 장치는 탐색 및 상호 작용을 위해 이러한 직관적인 인간의 기능에만 의존합니다.
Leap 모션 컨트롤러를 사용하면 iPhone과 같은 터치스크린 장치에서 사용하는 것과 유사한 손 제스처를 통해 디지털 콘텐츠와 직관적으로 상호 작용할 수 있습니다. 사용자는 컨트롤러 앞에서 손을 사용하고 제스처를 취하는 것만으로 항목을 선택하고, 스크롤, 확대/축소, 회전, 물체 이동을 할 수 있습니다.
비전OS에서 널리 사용되는 기본적인 손동작을 알아보고, 눈과 손이 함께 작동하여 Apple에서 개발한 공간 컴퓨터를 사용할 때 부드럽고 복잡하지 않은 경험을 만드는 방법에 익숙해집니다.
Vision Pro의 손 제스처는 어떻게 작동하나요?
손 제스처와 시선 추적 기술의 통합은 visionOS의 핵심 기능입니다. 이 조합을 통해 시스템은 손의 움직임을 통해 사용자가 의도한 대상과 원하는 동작을 모두 파악할 수 있습니다. 비전 프로 모델은 정밀한 손 추적을 위해 여러 카메라 각도를 통합하고 헤드셋 내부의 적외선 센서는 착용자의 눈 움직임을 모니터링합니다.
이미지 출처: Apple
화면에 표시되는 사용 가능한 옵션 중 하나를 선택하고 엄지와 검지로 집는 등의 적절한 제스처를 사용하여 해당 동작을 수행하세요. 손을 무릎에 편안하게 올려놓은 편안한 자세를 유지하면서 과도한 신체적 부담 없이 쉽게 접근할 수 있습니다.
Apple은 공간 입력을 위한 손과 눈의 상호 작용 설계에 대한 WWDC23 개발자 강연 에서 visionOS의 일반적인 손 제스처 유형 6가지에 대해 설명했습니다. 이러한 손 제스처는 타겟팅을 위한 눈과 결합하여 시스템 전반의 앱과 상호 작용을 제어할 수 있습니다.
탭
이미지 출처: Apple
선택한 개체에 대해 미리 정의된 기능을 실행하려면 손가락 끝을 함께 눌러야 합니다. 이 동작을 iPhone의 터치스크린을 탭하거나 Mac의 마우스 또는 트랙패드를 클릭하는 것과 비슷하다고 생각하면 됩니다. 가상 키보드의 ‘에어 타이핑’과 같은 비전OS 내 특정 기능은 탭 제스처 없이도 실행할 수 있습니다.
더블 탭
엄지와 검지를 동시에 빠르게 두 번 누르는 핀치 제스처는 iOS 및 iPadOS에서 사용하는 것과 같은 터치 기반 운영 체제 내에서 더블 탭 기능을 에뮬레이션하는 것으로 해석할 수 있는 동작입니다.
핀치 앤 홀드
주어진 명령으로 무엇을 하길 원하는지 명확히 설명해 주세요.
피벗된 숫자를 조작하여 visionOS 내에서 인터페이스를 탐색합니다. Safari를 앞쪽에 배치한 경우, 숫자가 위로 올라간 휴대용를 팔 길이로 들면 가로 스크롤을 할 수 있습니다.
핀치 앤 드래그
앞서 언급한 기술은 일반적으로 화면이라고 하는 전자 디스플레이 장치에서 원하는 위치로 숫자를 수축 및 추진하는 방식으로 디지털 인터페이스를 탐색하는 데 숫자를 활용하는 것입니다. 손가락을 모으는 행위를 “핀치”라고 하며, 이후 손가락을 이동하는 것을 “드래그”라고 합니다. 이 방법을 통해 사용자는 특정 궤적으로 손을 움직이기만 하면 상기 장치에 표시된 콘텐츠 내에서 수직 또는 수평으로 이동할 수 있으므로 스크롤 가능한 요소를 조작할 수 있습니다.
스와이프 제스처를 통해 디지털 문서 또는 웹페이지를 조작할 수 있습니다. 전자 텍스트를 스크롤하려면 손을 조금만 움직이면 됩니다. 이 동작은 매우 빠르고 정확하게 수행 할 수 있으므로 Safari, Mail, Pages 또는 Excel과 같은 특정 응용 프로그램의 콘텐츠 전체를 효율적으로 탐색 할 수 있습니다. 이 방법의 다재다능함 덕분에 사용자는 여러 유형의 파일과 데이터 소스에 동시에 액세스할 수 있으며, 동일한 유동적인 동작을 사용하여 파일과 데이터 소스 사이를 손쉽게 탐색할 수 있습니다.
확대
Safari, 사진 등 다양한 애플리케이션에서 확대/축소를 쉽게 하려면 양손의 엄지와 검지를 모았다가 서로 멀어지게 하는 두 손가락 터치 기법을 사용해야 합니다. 이 제스처를 사용하면 비전OS 인터페이스에서 창 사이의 거리를 조정하고, 이미지를 확대하고, 기타 다양한 작업을 수행할 수 있습니다. 또한 사진 애플리케이션에서 사용자는 줌 제스처를 실행하는 동안 이미지의 특정 부분에 초점을 맞춰 크기를 확대할 수 있습니다.
회전
3차원 개체를 조작하는 것이 그 어느 때보다 편리해졌습니다. 양손으로 손가락을 모은 다음 한 손은 위로, 다른 한 손은 아래로 움직이는 ‘핀치 앤 회전’ 기술을 활용하기만 하면 됩니다. 이 직관적인 제스처를 사용하면 빠른 보기, 사진, 문서 일러스트레이션 등 다양한 애플리케이션 내에서 항목을 손쉽게 회전할 수 있습니다.
눈 및 손 추적 “그냥 작동” Vision Pro에서
제스처 사용은 비전OS 사용자 인터페이스의 필수 요소로, 사용자가 손의 움직임을 통해 시스템을 직관적으로 탐색하고 상호 작용할 수 있게 해줍니다. 개발자는 Apple에서 공식적으로 승인한 API에 액세스할 수 있으므로 자체 애플리케이션에 제스처 인식 기술을 통합할 수 있습니다.
기존 제스처와 충돌하거나 이해, 실행 또는 유지하기 어려운 사용자 지정 제스처를 만들지 않는 것이 좋습니다.
가상, 증강 및 혼합 현실 애플리케이션에서 시선 및 손 추적 기술을 통합하는 것은 새로운 것이 아닙니다. 그럼에도 불구하고 Vision Pro 헤드셋은 Apple의 디자인 원칙을 반영하는 우아한 방식으로 이 기능을 제공하므로 시선과 제스처만으로 간단하고 자연스럽게 visionOS를 탐색할 수 있습니다.