eyeSight只使用簡單的2D相機，降低硬體的需求 @ Keep Rock

關鍵字：自然使用者介面 NUI 手勢語音觸控

作者：Yair Siege / CEVA多媒體產品行銷總監

我們在生活中與機器互動的方式即將產生重大的變革，雖然我們仍可能要按壓一個或兩個按鈕，不過，我們也可以只要簡單地揮揮雙手或說說話就可完成很多工作。機器也可能可以判定我們是誰，或者心情如何，並據此調整它要做的工作。

這就是自然使用者介面(natural user interface，NUI)，它能夠使用包括手勢、語音或臉部辨識，以及先進觸控技術中的任何一種感測技術。NUI對複雜演算法的依賴程度很高，這些演算法不僅可確定使用者想完成的工作，同時還可確定使用情境。

手勢辨識是一項早已應用在智慧型手機、電視和其他設備的技術。現在有許多方法可用來解決此一問題，大多數的方法是以視覺為基礎的：2D、3D (透過立體的三角測量、結構照明，以及飛行時間技術)、或者甚至“4D” (plenoptic)。而超音波和電場則是其他正朝著商業化發展的技術。

自然使用者介面能夠使用包括手勢、語音或臉部辨識，以及先進觸控技術中的任何一種感測技術

CEVA已經與一家公司 eyesight 合作，該公司宣佈它的技術已經可以應用在智慧手機和智慧電視平台上。eyeSight只使用簡單的2D相機，從而將對硬體的需求降到最低。它們從2D圖像中獲取3D資訊，使用三個引擎：一個引擎確定動態手勢(比如揮揮手)；一個用於手和手指的追蹤處理，第三個則用於辨識靜態手寫標記(比如"Like"標記)。

用可程式設計方案實施這些演算法是非常重要的，這裡有兩個原因。首先，這些技術仍然處於早期的發展階段，隨著精度和性能提升，自然會發生改變。其次，真實世界NUI通常會將各種方法結合在一起——比如手勢和情感辨識，因而，底層平台必需能夠處理不同組合中的任何NUI技術。

這些演算法是高度計算密集的，使用C++語言，並且廣泛使用OpenCV庫，通過合作，CEVA和eyeSight能夠實現系統性能最大化，CEVA調整了它的CEVA-MM3101平台和CEVA-CV 軟體庫，而eyeSight則調整了其較高層級的演算法。

CEVA的平台整合了各種NUI方案

許多依靠電池工作的NUI系統自然會要求功率要低，但是，一項新功能特別需要一種非常吝嗇的電源配置，這就是“Always On”，這種功能就好像是系統在休眠時，還有一隻眼睛是張開的。也就是說，系統在休眠的同時，相機依然在工作著，使用者可以藉由手勢喚醒系統。

但是，這會消耗電池能量，使用者將系統置於睡眠模式是為了節省能量，如果在睡眠模式下還會消耗許多能量，則睡眠模式就沒有其存在價值了。這意味著在一小部分底層平台中，極小部分的手勢辨識演算法必需是保持在工作的狀態。

低功耗是許多NUI系統的需求

這就是CEVA-MM3101架構與其他競爭解決方案不同的地方，它能夠以5mW或更低的功率實現Always On功能，而這是標準GPU或CPU完全所無法實現的目標。有關這方面的發展，eyeSight及其他公司才剛要開始，預期未來將會有更多利用CEVA-MM3101平台和CEVA-CV軟體庫性能和低功率特性的技術出現。

Source: http://www.eettaiwan.com/ART_8800692463_622964_NT_45027f24.HTM