Apple Glass, 정확한 3D 오디오와 결합하여 리얼 AR 구현

 

 

 

특허를 기반으로 작성된 글이라서 난해하긴 합니다.

최대한 쉽게 풀었지만, 그래도 난해합니다.

 

 

애플은 매주 수많은 특허 출원을 제출합니다. 파일링의 존재는 회사의 연구 개발 노력에 대한 관심 분야를 나타내지만, 이 개념이 향후 제품이나 서비스에 사용될 것이라는 보장은 없습니다.

 

 

애플e의 오디오 처리로 HomePod와 같은 제품과 AirPods Pro의 통과 소음 제거 기능이 생겨 났지만 여전히 더 많은 사운드 관련 아이디어를 개발하고 있습니다.

 

2019년 12월, 크로스 토크 캔슬러를 사용하여 리스너에서 가상 사운드를 멀리 이동시키는 시스템"에 대한 특허를 획득했습니다.

 

이 시스템은 사운드가 장치의 스피커와 다른 곳에서 나오는 것처럼 보이는 공간 오디오 트릭을 수행합니다. .

 

 

특허를 신청할 수 있는 적합한 장소중 하나는 Apple의 오랜 AR 안경인 "Apple Glass" 입니다. AR을 사용하는 것으로 생각되어 사용자가 보고 상호 작용할 수 있도록 실제 환경에 디지털 항목을 적용 할 수 있으므로 오디오 재생을 완벽하게하면 존재하지 않는 항목을 착용자가 더 믿을 수 있게 만들 수 있습니다.

 

 

"멀티 모달 오디오가 있는 디스플레이 장치"라는 관련 특허에 따르면 헤드셋에 제공되는 오디오 유형에 맞게 조절할 수 있는 이어피스가 있을 수 있습니다.

 

 

Apple의 AR 헤드셋 또는 "Apple Glass" 스마트 안경은 3D 공간에서 사운드가 나오는 위치와 일치하는 방식으로 사운드를 정확하게 재생함으로써 실제보기에 배치된 디지털 이미지와 함께 현실적인 사운드 효과를 제공 할 수 있습니다..

 

 

게임, 가상 현실 시스템은 모두 비주얼과 함께 사용자에게 일정 수준의 오디오 피드백을 제공합니다. 증강 현실의 경우, 현실 세계 시각에서 디지털 방식으로 생성된 아이템을 보는 경험은 어떤 방식으로든 상호 작용할 때 음향 효과에 의해 쉽게 강조 될 수 있습니다.

 

오디오는 비디오의 환영을 판매하는 데 도움이 될 수 있지만 몇 가지 제한 사항이 있습니다. 일반적인 스테레오 헤드폰 설정은 기본 수준에서 약간의 좌우 좌우 차별화를 제공할 수 있지만 가상 사운드 시스템은 위치에 따라 왜곡을 모방하도록 사운드 효과의 속성을 변경하여 3D 위치를 위조할 수 있습니다.

 

사용자의 머리 뒤에서 재생되는 사운드는 머플링 될 수 있지만 앞면에서 들리는 사운드는 훨씬 더 선명할 수 있습니다. 그러나 이것이 유용할 수는 있지만 귀, 머리 및 신체와 같은 생리학적 요소의 차이가 특정 위치의 소음으로부터 사람들이 듣고 싶어하는 것을 변화시킬 수 있기 때문에 그 효과를 진정으로 믿을 수는 없습니다.

 

애플은 "바이노럴 사운드 재생을 위한 헤드관련 전송기능 선택"이라는 제목의 특허에서 HRTF (Head related transfer function)라고하는 것을 가짐으로써 가상 3D 사운드 포지셔닝 효과를 향상시킬 수 있다고 합니다. 

 

이것은 효과적으로 귀의 한 장소에서 귀로 소리를 전달하는 특성을 나타내는 각 귀에 대한 한 쌍의 음향 필터입니다.

 

각 HRTF는 다양한 요인에 따라 달라지기 때문에 공간 청력 기대치 측면에서 사람 간의 차이를 일치시키는 겁니다. 실제 수준의 정확도를 가진 가전제품을 사용하여 개인 사용자를 위한 HRTF를 만드는 것은 비교적 시간이 걸리거나 비실용적이지만, 일반적인 "평균" HRTF를 사용하거나 사용자의 요구에 가장 근접한 HRTF를 선택할 가능성이 있습니다.

 

그런 다음 HRTF는 오디오 녹음을 바이너럴 사운드로 재현하기 위한 바이너럴 시뮬레이션 디지털 신호 처리 알고리즘의 일부로 사용되며, 이는 헤드폰을 통해 재생됩니다.

 

 

 

이 특허는 데이터베이스를 선별된 소수의 데이터베이스로 축소함으로써 필요한 것에 가장 가까운 HRTF를 선정하는 아이디어를 중심으로 합니다. 

 

가지치기 과정에는 키, 성별, 인종, 나이 등 사용자의 기본 특성과는 거리가 먼 옵션을 떼어내는 과정이 포함될 수 있습니다.

 

데이터베이스를 더 적은 수로 줄이면 가장 정확한 HRTF를 사용할 가능성이 높아진다고 특허는 설명합니다. 

 

초기 설정 후, 시스템은 사용하기에 가장 적합한 HRTF를 선택하기 위해 축소 된 목록에서 가장 일반적인 것으로 선택 범위를 좁힐 수 있습니다.

 

시스템을 더 돕기 위해 사용자의 오디오 장치에서 바이노럴 측정을 수행할 것을 권장합니다. 한 명의 사용자만 장치를 사용하는 경우 한번만 측정하면되지만 HRTF가 가장 적합한 다른 정보를 제공 할 수 있습니다.

 

 

또한 사용자를 그룹화하여 다른 HRTF의 대량 사용량을 모니터링하여 선택을 개선 할 수 있도록 제안합니다. 

 

예를 들어, 20-25 세의 사용자가 특정 속성을 가진 HRTF를 선호한다는 사실을 알면 나중에 해당 설정과 일치하는 사람이 있을 경우 시스템이 해당 특정 필터를 잘못 사용하게 됩니다.

 

이 특허 출원은 발명가를 다리우스 에이 사통가, 조나단 디 시퍼, 마틴 E. 존슨, 피터 V. 주핀으로 나열합니다.

 

 

 

 

 

 

애플,리얼오디오,AR안경,특허,