渡邊恵太研究室 Interaction Design Laboratory

BotHub:複数の物理リモコンに対する意味理解と動的制御UI生成を行うフィジカルAIシステム

BotHub:複数の物理リモコンに対する意味理解と動的制御UI生成を行うフィジカルAIシステム

BotHub:複数の物理リモコンに対する意味理解と動的制御UI生成を行うフィジカルAIシステム

著者
三浦 晴大
渡邊 恵太
学会名
発表年

概要

ソフトウェア領域では​ AI に​よる​柔軟な​対話が​実現しているが,​物理世界の​家電操作は​静的な​インターフェースに​縛られている.​既存の​スマートリモコンは​信号を​模倣する​のみで​起こる​動作の​意味を​理解できず,​手動設定が​必須である.本研究は,​AI が​物理インターフェースの​意味を​自律的に​理解し,​ソフトウェアの​対話的​柔軟性を​物理世界へ​拡張する​ことを​目的と​する.​そこで,​LLM が​カメラ映像から​リモコンの​「機能的意味」と​「物理座標」を​即座に​理解し,​動的 UI を​生成,​さらに​ XY プロッタに​よる​物理エージェントで​操作を​実行する​システムを​提案する.本デモでは,​複数デバイス​(LED・ファン)に​よる​「雰囲気」の​協調制御,​および​複雑な​リモコン UI の​タスクベースな​最適化,と​いう​ 2 つの​ユースケースを​通じて,本提案を​実証する.

論文情報

三浦 晴大,渡邊 恵太. BotHub:複数の​物理リモコンに​対する​意味理解と​動的制御UI生成を​行う​フィジカルAIシステム. WISS2025予稿集