眼球追蹤技術不僅是目前全球最前沿的機器視覺技術,還是最為人性的VR技術。
2016年4月21日,在鎂客網于上海世博展覽館主辦的VR主題論壇上,七鑫易維副總裁彭凡發表了題為《眼球追蹤技術——讓VR更“人性”》的主題演講。彭凡表示,眼球追蹤技術是目前全球最前沿的機器視覺技術,是最為人性的VR技術。七鑫易維作為技術型公司,希望在未來能為行業提供眼控技術标準,将注視渲染做到極緻。
以下是七鑫易維彭凡的演講實錄:
目前,眼球追蹤技術已經在國外的醫療領域和廣告領域裡有一些應用了。比如說,對于像霍金這樣的帕金森綜合證患者或者是一些全身都不能動的人群來說,能用眼睛來打字、控制電腦是非常重要的。這樣的技術在國際上我們叫做眼控溝通輔具。
眼球追蹤技術是目前全球最前沿的機器視覺技術,它的原理就是用眼控儀捕捉使用者頭部運動和眼球轉動的信号,實時計算出眼睛的注視點方向。
七鑫易維作為技術型公司,認為當下VR行業有以下四個的瓶頸。首先任何技術的互動都是非常重要的,現在的VR互動大部分還是基于控制器,但是控制器并不能給使用者帶來真實感,而
虛拟現實的特性之一就是真實感。未來VR的互動一定是機器去适應人而不是人去适應機器的。
人在進行資訊擷取時,有80%以上資訊是來自于視覺的。是以說,未來VR體系中的互動技術必定會是眼球追蹤、語音識别、手勢識别、動作捕捉的內建。
第二個問題是顯示。不知道大家在體驗VR的時候有沒有覺得畫面不夠清晰?現在大多的裝置所能達到的單眼分辨率隻有1K,而且計算機已經無法進行渲染了。但是如果想要使用者在體驗VR時有身臨其境的感覺,那麼左右眼的畫面分辨率就必須要達到8K。
第三個是計算。如果我們想要擁有1000赫茲的渲染重新整理率和單眼8K的分辨率,那麼對計算機性能的要求就相當的高了。但是,現在市面上具有上好性能的計算機價格都非常的高,怎麼把對計算機的要求降下來就變得尤為重要了。
最後一個是内容。我一直覺得内容不是一個很大的問題,因為當整個産業鍊的技術标準确定之後,我們的内容制造商是可以像
智能手機一樣快速的去複制内容的。
眼球追蹤技術承擔着什麼作用呢?上面這張圖裡的電腦螢幕上所顯示的是一個體驗者眼神的校準頁面。眼控互動可以讓VR更人性,讓我們所看到的VR畫面中任何一個物體或任何一個圖示,都是出于人眼的自然反應。
每一個人在看東西時的自然反應都是先用眼睛去看的,隻有在需要看眼睛視覺範圍外的東西的時候才會轉動頭部。可是當你每點一個圖示都必須要進行頭部的轉動的話,就會覺得用頭去看每一個圖示是非常累的。在實驗室的測試結果中表明,眼動互動特别是針對于二維UI來說其效率可以提高40%,這是在單純的UI互動上比手勢識别、語音識别還要快的一種互動方式。
除了互動以外,注視點渲染也會為整個VR産業革命帶去很大影響。現在VR裝置的畫面之是以不夠清晰、計算量高,是因為我們對于渲染的要求高。但是,我們戴上VR頭盔所看到的畫面也隻是注視點所在的位置而已,旁邊的畫面是看不到的。這和我們現實生活中的真實對焦一樣,眼鏡看任何東西都是有焦點的,是接收不到焦點以外的資訊的。
是以,在做VR渲染的時候,隻渲染畫面注視中心的位置是非常實用的。也就是說,我們隻對注視中心的畫面進行100%的渲染,将注視中心邊緣的畫面按照一定的比例進行像素點和分辨率的降低,這樣就能夠有效的提升渲染速度以及降低渲染的計算量了。
在遊戲當中,眼控技術應用的并不多,這裡舉幾個簡單的例子,例如菜單的調用。一般情況下,我們的遊戲畫面中是不會顯示菜單的,隻有當玩家将眼鏡的注視點放到畫面的左上角或右上角時,菜單才會顯示出來。
另一個例子就是眼控手電筒。在遊戲中特别是恐怖類遊戲中,玩家的眼睛就是手電筒,眼睛的注視點就是手電筒光聚焦的那個點,這樣一來,遊戲的恐怖效果就會更強烈一些。
随着現實中戰鬥機性能的越來越高,未來的戰鬥機在對戰中很有可能就是用眼神去進行目标鎖定的,因為這種鎖定方式是最快的。七鑫易維目前做了一個遊戲,是一款戰鬥機瞄準射擊遊戲。玩家可以用眼神去鎖定戰鬥機,用頭部的轉動來控制戰鬥機的視野。對于VR來說,眼控技術其實就像是一個沒有确定鍵的滑鼠。
七鑫易維是全球第一個做到全視場角追蹤的公司。為什麼要強調是全視場角呢?因為如果我們的追蹤技術隻能追蹤到畫面中心區域的話,計算機就不知道還有邊緣的部分了,那麼追蹤的效果就會大打折扣。
要做高精度、低延遲的注視點渲染,需要随時随地采集到每一個人的注視點資料,這個資料的延遲必須非常小,因為每個人眼動的速度非常的快,七鑫易維現在已經可以做到120赫茲到380赫茲了。
第三個就是防抖。使用者在戴上頭盔後難免身體會随着畫面進行一些運動,但是這會造成眼睛和傳感器之間的劇烈抖動,而這種抖動會影響圖像的呈現效果。做好防抖,就是為了給使用者更好的體驗。
七鑫易維近期會跟
高通、AMD這樣的很多晶片上遊公司進行合作,幫助他們做注視點渲染。希望在不久的将來,VR行業裡面就會出現由七鑫易維所提供的眼控技術标準。
我的演講到此結束,謝謝大家。
原文釋出時間:2016-04-28 13:43
本文作者:伶軒
本文來自雲栖社群合作夥伴鎂客網,了解相關資訊可以關注鎂客網。