ロボット自動化は、汚い、退屈、または危険な作業を担えるため、通常歓迎されます。しかし、ロボットの能力が拡大するにつれて、ロボットは安全で楽しい分野、例えばクリエイティブ産業に進出しています。クリエイティブ分野では自動化に対する抵抗感が広く存在しますが、アマチュアからプロフェッショナルまで、多くの人が支援的または協働的な機能を持つクリエイティブツールを受け入れる用意があります。
実世界のロボット場面でクリエイティブタスクを支援することは、かなりの挑戦を伴います：関連データセットは非常に限定的で、クリエイティブタスクは本質的に抽象的かつ高レベルであり、実世界のツールや材料はモデリングと予測が困難です。学習ベースのロボット知能はクリエイティブ支援ツールへの有望な道筋を提供しますが、タスクの複雑さが高いため、模倣学習などの一般的な手法は大量のサンプルを必要とし、強化学習は収束しない可能性があります。
本論文では、複数の自己監督学習技術を提案し、ロボットが自律的に学習できるようにし、創作活動において人間を支援します。
実世界で高レベル目標に基づいて人間の創作を支援するロボットを、新しい研究分野として形式化します：生成ロボット（Generative Robotics）。2次元視覚芸術の創作（絵画やスケッチを含む）および固定視点からの3次元粘土彫刻の支援のための手法を提案します。協調絵画や彫刻のためのロボットデータセットが不足しているため、当方の設計した手法は、小規模でロボット自身が生成したデータセットから実世界の制約を学習し、協働インタラクションを支援します。
本論文の貢献には以下のものが含まれます：（1）Real2Sim2Real技術により、ロボットは小規模で自己生成した動作データから複雑な動力学モデルを構築可能；（2）意味論的に整合した表現空間内で長時間スケールのタスクにおけるロボット動作を計画する方法；（3）事前学習モデルをロボット互換に適応させ、協働目標を生成する自己監督学習フレームワーク。我々は、自己監督学習がモデルベースのロボット計画手法を、多様な絵画媒体で人間と協働して絵画可能にすることを示しました。
最後に、当手法を絵画から彫刻分野へ拡張し、新たな材料、ツール、動作表現、および状態表現への汎化能力を証明しました。