ソフトウェア領域では AI による柔軟な対話が実現しているが，物理世界の家電操作は静的なインターフェースに縛られている．既存のスマートリモコンは信号を模倣するのみで起こる動作の意味を理解できず，手動設定が必須である．本研究は，AI が物理インターフェースの意味を自律的に理解し，ソフトウェアの対話的柔軟性を物理世界へ拡張することを目的とする．そこで，LLM がカメラ映像からリモコンの「機能的意味」と「物理座標」を即座に理解し，動的 UI を生成，さらに XY プロッタによる物理エージェントで操作を実行するシステムを提案する．本デモでは，複数デバイス（LED・ファン）による「雰囲気」の協調制御，および複雑なリモコン UI のタスクベースな最適化，という 2 つのユースケースを通じて，本提案を実証する．