北京，2023年6月6日/美通社/——全球領先的全息增強現實（AR）技術提供商WiMi全息雲股份有限公司（NASDAQ:WiMi）（“WiMi”或“公司”）今天宣布開發基于手勢識别的虛拟交互系統。該系統通過識别設備識别用戶的身體和手勢運動。同時，系統使用沉浸式設備對處理結果進行反饋，顯著豐富了交互語義，增強了交互的自然友好性。它具有逼真的可視化效果、友好的交互模式和合适的兼容性交互模式等優點。
首先，系統通過采集裝置實時采集手部數據，确定手勢動作的連續點。然後使用基于加權的動态時間正則化算法對手勢動作進行粗粒度識别。在識别出基本的手勢動作後，系統提取并匹配特征向量來标記主要的局部圖像。之後，系統使用深度學習方法對手勢動作進行細粒度識别。然後将兩者的結果組合起來以執行詳細的手勢翻譯。最後，識别結果與虛拟環境交互，為用戶模拟身臨其境的感覺。
基于加權動态時間正則化算法的手勢識别分為三個主要步驟：建立手勢樣本庫，訓練手勢樣本模型，以及匹配識别樣本與樣本庫樣本之間的相似性。在識别中，首先截取一些手勢幀作為測試樣本，然後與樣本庫中的樣本進行比較，以找到最匹配的樣本。
在細粒度手勢識别過程中，系統自動進行圖像特征提取，并通過卷積神經網絡在候選區域中選擇合适的手勢動作。該算法包括特征提取網絡、區域建議網絡獲取、興趣區域池和全連接層。手勢細粒度圖像由幾個卷積層組成，這些卷積層與用于特征提取的池化層交替。卷積網絡層的每個局部信息節點通過卷積網絡内核連接到先前神經網絡層的局部信息節點。在對激活函數進行優化後，得到了該網絡層中細粒度手勢的特征圖。池層神經網絡中每個手勢的輸入本征面對應于前一層中手勢的本征面信息。該系統稀疏地處理手勢的特征信息，以獲得具有空間不變行的特征。在全連接層，系統集成了手勢的特征信息，并具有相當精細的區分。在輸出層，分類器對手勢細粒度進行特征處理後，系統返回分類處理結果。
在特征提取網絡中，系統隻關注手的局部細節，如手指位置、運動和運動軌迹。在特征提取池操作之後，在保證圖像基本信息的同時，将維數降低到原始圖像的一半，可以有效地降低計算的時間複雜度。該區域表明網絡将特征提取網絡的最後輸出值作為輸入，并使用固定大小的窗口在特征圖上滑動。每個幻燈片都獲得低緯度的矢量值，每個像素點都返回到區域建議網絡最後一層中原始圖像所在的位置。
系統輸入提取的特征圖和候選區域。基于輸入圖像，系統選擇感興趣的區域，即與特征圖相對應的手指區域的位置。系統對該區域執行最大池化操作，并将該池化數據輸入到完全連接的層。因此，輸入屬于最高分類的概率，同時使用邊界回歸來獲得位置的偏移，以獲得更準确的目标檢測幀。該系統可以顯著提高手勢動作的識别率，增強人機交互的逼真體驗和沉浸感。
