北京，2023年9月5日/PRNewswire/-全球領先的全息增強現實（“AR”）技術提供商WiMi全息雲股份有限公司（NASDAQ:WiMi）（“WiMi”或“公司”）今天宣布，它開發了一種基于混合BCI的輔助機器人技術和控制方法。該技術結合了各種技術組件，如眼動儀、記錄腦電圖信号的設備、網絡攝像頭和機械臂，使用戶能夠通過混合凝視腦機接口準确控制機械臂的運動。
這種輔助機器人控制技術将使用戶能夠通過混合腦機接口控制機械臂末端執行器的運動，從而實現更精确、更靈活的操作。開發這項技術是為了提高機器人的抓取性能，重點是提高其抓取性能，從而實現抓取任務的自動化。為了實現這一目标，開發團隊将任務分為三個關鍵階段，并利用自然的人類視覺運動協調行為。
首先，用戶在離散選擇模式下使用混合BCI指定輔助機器人的目标位置。通過觀察目标周圍出現的虛拟矩形，用戶确認目标位置已成功傳達給輔助機器人。随後，它自動切換到連續速度控制模式并進入第二階段。用戶使用混合BCI順序移動機械臂末端執行器，同時避免與障礙物碰撞。一旦末端效應器進入目标對象正上方的預先指定區域，它就會自動停止并懸停在目标上方。最後，執行預先編程的程序。末端執行器向下移動，根據工作空間中目标的方向調整抓取器的方向，并成功抓取對象。這種設計有效地減少了自由度的數量，并允許用戶在三維中到達物體。
該技術的關鍵之一是混合腦機接口的應用。該技術結合了視覺跟蹤和腦機接口技術，能夠通過離散選擇模式和連續速度控制模式對機器人進行控制。在離散選擇模式中，用戶通過凝視目标位置來輸入目标位置，然後自動切換到連續速度控制模式，該模式根據用戶的速度命令将機械臂末端執行器移動到目标位置。
WiMi技術的目标是實現準确的意圖感知、高效的運動控制和人機交互。該技術的底層邏輯結合了幾個技術組件和算法，以确保控制系統的穩定性、可靠性和性能優化。在底層邏輯中，眼動儀和腦電圖信号記錄設備通過實時監測用戶的注視點和腦電圖信号，在提供用戶意圖和注意力方面發揮着關鍵作用。眼睛跟蹤器跟蹤用戶的眼睛運動并确定用戶的注視點和視線方向。EEG信号記錄設備記錄用戶的EEG活動，并通過信号處理和分析算法提取與意圖和注意力相關的特征。
基于眼動數據和EEG信号的數據處理和算法需要實時處理和解碼，以提取用戶的意圖和注意力指示。這涉及到使用機器學習、模式識别和信号處理等技術來識别和解碼用戶的意圖和注意力狀态。
環境感知和避障是一個重要組成部分。該技術利用傳感器來感知周圍環境和障礙物的位置。環境傳感數據和算法能夠實時規劃安全路徑和避免碰撞，并将這些信息與用戶命令相結合，以确保機械臂在運動過程中的安全性和準确性。共享控制器将用戶命令和機器人自主命令融合在一起，形成新的控制命令，用于精确控制末端執行器的運動。緻動系統将控制命令轉換為機械臂的實際運動，以實現精确的位置控制和抓握動作。這需要運動控制算法、運動規劃和緻動控制策略的協同工作，以實現用戶意圖的精确通信和精确的任務完成。
