近日，斯坦福大學(xué)TWIST（全身遙操作模仿系統(tǒng)）正將人類的全身運(yùn)動(dòng)實(shí)時(shí)轉(zhuǎn)化為機(jī)器人行動(dòng)，開啟通用機(jī)器人智能的新時(shí)代。相較于傳統(tǒng)遙操作系統(tǒng)局限于單一任務(wù)的訓(xùn)練，虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)加持下的TWIST系統(tǒng)則將復(fù)雜場(chǎng)景下的機(jī)器人全身協(xié)調(diào)運(yùn)動(dòng)變成現(xiàn)實(shí)，讓機(jī)器人展現(xiàn)出前所未有的靈活性。

    從人類運(yùn)動(dòng)到機(jī)器人智能的橋梁

    傳統(tǒng)遙操作系統(tǒng)難以應(yīng)對(duì)日常生活復(fù)雜任務(wù)，如雙手持物用腳開門或彎腰清理床底，因其缺乏全身協(xié)調(diào)能力。TWIST通過實(shí)時(shí)模仿人類運(yùn)動(dòng)，遙操作人形機(jī)器人完成抬箱子、踢足球、側(cè)身行走及華爾茲舞等任務(wù)，需上肢、下肢和軀干同步協(xié)作。TWIST將遙操作轉(zhuǎn)化為“實(shí)時(shí)運(yùn)動(dòng)重定向和追蹤”任務(wù)，利用高精度數(shù)據(jù)，再通過重定向算法生成機(jī)器人關(guān)節(jié)位置和根速度目標(biāo)，最后由結(jié)合強(qiáng)化學(xué)習(xí)和行為克隆的神經(jīng)網(wǎng)絡(luò)控制器驅(qū)動(dòng)。斯坦福團(tuán)隊(duì)強(qiáng)調(diào)，高品質(zhì)實(shí)時(shí)數(shù)據(jù)是關(guān)鍵，虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)以光學(xué)追蹤技術(shù)提供高精度、低延遲數(shù)據(jù)，支持從模擬到真實(shí)世界的無縫應(yīng)用。

    精準(zhǔn)捕獲，實(shí)時(shí)傳輸

    在TWIST項(xiàng)目中，OptiTrack系統(tǒng)憑借高精度、低延遲、高幀率等優(yōu)勢(shì)，直接解決了實(shí)時(shí)遙操作中的兩大痛點(diǎn)：延遲和準(zhǔn)確性。斯坦福研究團(tuán)隊(duì)通過OptiTrack系統(tǒng)捕捉了亞毫米級(jí)的人類全身關(guān)節(jié)高精度數(shù)據(jù)，并以高幀率重定向轉(zhuǎn)化為機(jī)器人目標(biāo)，同時(shí)，OptiTrack系統(tǒng)的魯棒性確保了即使在遮擋或快速運(yùn)動(dòng)下，數(shù)據(jù)也不會(huì)丟失或扭曲，有效避免了根位置漂移問題，確保機(jī)器人步態(tài)穩(wěn)定。并且，OptiTrack系統(tǒng)的實(shí)時(shí)性能成為TWIST低延遲遙操作的關(guān)鍵。

虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)為TWIST提供精準(zhǔn)數(shù)據(jù)

    從踢球到舞蹈的全身協(xié)調(diào)

    TWIST項(xiàng)目的演示視頻展示了虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)的實(shí)際貢獻(xiàn)。以“腿部操縱”為例，機(jī)器人能雙手持物同時(shí)用腳踢開門或大力踢足球。OptiTrack系統(tǒng)的高頻追蹤捕捉到了踢球瞬間的根速度變化，確保機(jī)器人不失衡。斯坦福大學(xué)研究團(tuán)隊(duì)提到，純強(qiáng)化學(xué)習(xí)控制器易出現(xiàn)猶豫行為，但結(jié)合OptiTrack系統(tǒng)訓(xùn)練出的控制器更平滑。

    在表達(dá)性運(yùn)動(dòng)中，如與人類共舞華爾茲，OptiTrack系統(tǒng)的精度讓機(jī)器人捕捉到微妙的手臂擺動(dòng)和步態(tài)同步。無論是Unitree G1還是Booster T1的本體運(yùn)動(dòng)都具備更為穩(wěn)定和精準(zhǔn)的表現(xiàn)。

    這些實(shí)際案例證明，虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)不僅提供高精度的數(shù)據(jù)，更是提升系統(tǒng)魯棒性的催化劑，實(shí)現(xiàn)前所未有的可達(dá)性——機(jī)器人幾乎能用手觸及腳趾。

Booster T1與Unitree G1

    斯坦福大學(xué)的TWIST項(xiàng)目標(biāo)志著人形機(jī)器人全身遙操作的里程碑，而虛擬動(dòng)點(diǎn)OptiTrack系統(tǒng)不僅解決了數(shù)據(jù)瓶頸，還賦予機(jī)器人人類般的靈巧與協(xié)調(diào)，推動(dòng)了從實(shí)驗(yàn)室到現(xiàn)實(shí)的跨越。我們同樣期待，在虛擬動(dòng)點(diǎn)的數(shù)據(jù)與訓(xùn)練服務(wù)支持下，幫助更多機(jī)器人伙伴實(shí)現(xiàn)科研成果和本體能力的突破，虛擬動(dòng)點(diǎn)也將站在AI與空間計(jì)算的基礎(chǔ)上，持續(xù)助力人類與機(jī)器的和諧共融。