【CMU 博士論文】《生成式機器人:用於人機協同創作的自監督學習》

圖片

機器人自動化通常因其能夠承擔髒亂、枯燥或危險的任務而受到歡迎。但隨著機器人能力的持續擴展,機器人正進入一些安全且令人愉悅的領域,例如創意產業。雖然創意領域普遍存在對自動化的抗拒情緒,但從業餘愛好者到專業人士,許多人都願意接受具備支援性或協作功能的創意工具。

在真實世界機器人情境中支援創意任務相當具挑戰性:相關資料集非常有限,創意任務本質上抽象且層級較高,真實世界中的工具與材質難以建模與預測。以學習為基礎的機器人智慧為創意支援工具提供了一條極具潛力的途徑,但由於任務複雜度極高,常見方法如模仿學習需要大量樣本,而強化學習則可能永遠無法收斂。

在本論文中,我們提出多種自監督學習技術,讓機器人能夠自主學習,從而在創作行為中支援人類。

我們將真實世界中基於高階目標支援人類創作事物的機器人,形式化為一個新的研究領域:生成式機器人(Generative Robotics)。我們提出用於支援二維視覺藝術創作(包含繪畫與素描)以及從固定視角進行三維黏土雕塑創作的方法。由於缺乏用於協同繪畫與雕塑的機器人資料集,我們設計的方法能夠從小規模、機器人自行產生的資料集中學習真實世界限制,並支援協作互動。

本論文的貢獻包括:(1)一種 Real2Sim2Real 技術,讓機器人能夠基於小規模、自生成的動作資料建構複雜的動力學模型;(2)一種能在語意對齊表示空間中規劃機器人在長時程任務動作的方法;(3)一個自監督學習框架,用於將預訓練模型調整為與機器人相容,並能產生協作性目標。我們展示了自監督學習如何讓基於模型的機器人規劃方法,能與人類在多種繪畫媒介下進行協作繪畫。

最後,我們將方法從繪畫擴展至雕塑領域,證明該方法能夠泛化至新的材質、工具、動作表示以及狀態表示。

圖片圖片圖片圖片

主標籤:生成式機器人

次標籤:自監督學習Real2Sim2Real創意任務支援人機協同創作


上一篇:微軟 Fara-7B 電腦操作模型,開啟端側智能代理新時代

下一篇:用於單元測試生成的大型語言模型:成果、挑戰與未來方向

分享短網址