Apple은 차세대 Siri 또는 기타 시스템에 얼굴 분석을 추가하여 사용자 요청을 해석하는 방법을 개발하고 있습니다. 음성 요청이 잘못 해석되는 횟수를 줄이고 감정을 분석하여 시도하는 것이 목표입니다.
Apple은 지난 11월 14일에 Intelligent Software Agent 라는 특허를 출원했습니다.
“인텔리전트 소프트웨어 에이전트는 사용자를 대신하여 작업을 수행 할 수 있습니다.”
“사용자가 말한 문장과 같은 자연어 사용자 입력에 대한 응답으로 작업을 수행 할 수 있습니다. 어떤 상황에서는 지능형 소프트웨어 에이전트가 수행 한 작업이 사용자가 의도 한 작업과 일치하지 않을 수 있습니다.”
“비디오 입력의 얼굴 이미지는 특정 근육 또는 근육 그룹이 형태 또는 움직임을 식별함으로써 활성화되는지를 결정하기 위해 분석 될 수 있습니다.”
시스템의 일부는 안면 인식을 사용하여 사용자를 식별하고 그 사람의 이메일 검색 또는 개인 음악 재생 목록 재생과 같은 사용자 정의 된 조치를 제공합니다. 즉 사용자의 감정 상태를 읽는 것으로 예상됩니다.
“사용자 반응 정보는 사용자 반응이 포지티브 또는 네거티브와 같은 특정 상태에 해당 할 확률과 같은 하나 이상의 메트릭으로 표현됩니다.”
음성 명령이 다른 방식으로 해석 될 수 있는 상황에서 도움이 될 수 있습니다. 이 경우 Siri는 가장 가능성이 높은 의미를 계산하고 그에 따라 행동 한 다음 얼굴 인식을 사용하여 사용자의 만족 여부를 확인합니다.
이 시스템은 마이크, 오디오 입력을 획득하고 하나 이상의 이미지를 카메라에 의해 획득함으로써 작동합니다. Apple은 표현이 다른 의미를 가질 수 있다고 말하지만, 이 방법은 FACS (Facey Action Coding System)에 따라 가능한 의미의 범위를 분류합니다.
이것은 1970년대에 처음 만들어진 얼굴 분류법의 표준으로, 가능한 모든 얼굴 표정을 광범위한 참조 카탈로그로 분류합니다.
FACS를 사용하여 Apple 시스템은 점수를 할당하여 올바른 해석 가능성을 결정한 다음 Siri가 이에 따라 반응하거나 반응 할 수 있도록 합니다.
Apple의 출원에 근거한 7명 중 Jerremy Holland만이 이전의 특허를 보유하고 있습니다. 또한 미디어 장치에서 비디오 재생 동기화와 관련된 특허(2014년 Apple 출원)의 유일한 특허자로 선정되었습니다. 그러나 Nicholas E. Apostoloff는 머신 러닝 기술을 사용하여 비디오를 분석하고 조작하는 그의 작업에 대한 수많은 다른 특허에서 인용되었습니다.