現狀分析:
如何構建一體化智能人機交互系統,方便開(kāi)展模式識別和機器學(xué)習等課程,增強實(shí)驗課程的趣味性和實(shí)用性,是人機交互平臺的難點(diǎn)。
設計思想:
關(guān)鍵技術(shù):
中國科學(xué)院沈陽(yáng)自動(dòng)化研究所(以下簡(jiǎn)稱(chēng)沈自所)成立于1958年,長(cháng)期從事機器人、智能制造和光電信息技術(shù)相關(guān)的研究。作為中國機器人事業(yè)的搖籃,在中國機器人事業(yè)發(fā)展歷史上創(chuàng )造了二十多個(gè)第一,引領(lǐng)中國機器人技術(shù)的研究發(fā)展,解決了國家制造業(yè)發(fā)展一系列重大關(guān)鍵技術(shù)問(wèn)題。
肌電交互系統的關(guān)鍵問(wèn)題是意圖解碼的準確性和穩定性。沈自所研發(fā)的智能肌電交互系統,基于python語(yǔ)言實(shí)現UI交互界面、信號采集和處理、機器人控制的一體化平臺構建,方便使用機器學(xué)習方法進(jìn)行二次開(kāi)發(fā),為模式識別、信號處理等課程的相關(guān)實(shí)驗奠定了良好的基礎。為了加速計算機和人工智能等相關(guān)專(zhuān)業(yè)的基礎理論和實(shí)際應用的方面人才的培養提供助力。
產(chǎn)品特點(diǎn)
PRODUCT FEATURES
肌電交互系統以肌電假手、二至七自由度機械臂、外骨骼以及智能假肢等機器人為被控對象,并配備簡(jiǎn)潔的人機交互界面。采用模塊化設計理念,具有理實(shí)一體、操作簡(jiǎn)單、趣味性強、易于擴展等特點(diǎn),極大的提高師生的參與程度,為實(shí)驗室建設提供多用途、層次豐富、省空間、安全易用、易于擴展的肌電交互系統。
平臺以手勢識別與交互為目的,主要流程包括信號產(chǎn)生、信號采集、信號預處理、特征提取和模式識別,離線(xiàn)訓練的模型用于在線(xiàn)的控制決策上,實(shí)現對機器人的控制,從實(shí)踐中一步一步加深對肌電識別原理的理解。以交互平臺為擴展,支持機械臂、肌電假手、外骨骼、智能假肢等多樣化機器人控制。以項目開(kāi)發(fā)為驅動(dòng),強化肌電交互系統的實(shí)踐性、實(shí)用性和通用性。結合學(xué)生興趣愛(ài)好,選擇合適的交互被控對象,開(kāi)發(fā)肌電交互小游戲,使學(xué)生達到理論聯(lián)系實(shí)際、活學(xué)活用的培養目標。
平臺配備有簡(jiǎn)潔的人機交互界面,肌電信號采集、預處理、離線(xiàn)訓練、在線(xiàn)識別通過(guò)點(diǎn)擊界面對應按鈕即能實(shí)現。肌電采集時(shí)會(huì )顯示動(dòng)作教學(xué)圖片,指導使用者做出相應的動(dòng)作,并且界面還具備顯示肌電信號的功能,供使用者直觀(guān)感受肌電采集過(guò)程。
為了增加同學(xué)們的學(xué)習興趣,肌電交互平臺配備了肌電控制抓取以及剪刀石頭布等互動(dòng)游戲。其中肌電控制抓取指通過(guò)自身肌電信號控制一個(gè)六自由度機械臂和肌電假手對物品進(jìn)行抓取與擺放,與工業(yè)生產(chǎn)中設定軌跡不同的是,此處的抓取與擺放過(guò)程完全由自身控制,使同學(xué)們時(shí)時(shí)刻刻都能感受到操控的樂(lè )趣。石頭剪刀布游戲是通過(guò)肌電交互系統模仿現實(shí)生活中的游戲場(chǎng)景,同學(xué)可以通過(guò)石頭剪刀布和肌電假手進(jìn)行實(shí)時(shí)的互動(dòng),增強同學(xué)通過(guò)肌電交互的體驗。
在肌電交互系統中,被控對象可以是各式各樣的機器人。目前我們支持二到七自由度的全球主流機械臂(包括ABB、KUKA、UR、Fanuc、愛(ài)普生、Yaskawa、大象等等)或自主研發(fā)的機械臂、肌電假手、智能假肢、外骨骼等等,可按需進(jìn)行選擇。以及支持在各系統操作,比如Windows、Linux、Mac等。并支持肌電融合視覺(jué)、觸覺(jué)進(jìn)行交互式開(kāi)發(fā)。
實(shí)驗內容
PRODUCT FEATURES
模式識別
基礎實(shí)驗:
高級實(shí)驗:
sEMG信號處理:
通過(guò)識別肌電信號,操控假手以及機械臂配合來(lái)達到抓取以及擺放物品的目的.如下圖14:
通過(guò)肌電交互系統模仿現實(shí)生活中的游戲場(chǎng)景,開(kāi)發(fā)一些互動(dòng)小游戲,比如石頭剪刀布等
比如通過(guò)患者的肌電信號控制智能假肢運動(dòng),來(lái)達到患者操控假肢的目的,具體原理如下圖所示