ニューヨーク大学の研究者が開発した画期的な技術をご紹介します。この先端技術により、ドローンがわずか18秒で安定した飛行を習得することが可能になりました。標準のMacBook Proの力を借りて、この革新的な技術はシミュレートされた環境を利用してドローンにホバリングや予定された経路の素早いナビゲーションを訓練します。
驚異的な訓練速度：わずか18秒のセッションで、ドローンは高度な飛行ルーチンを学習します。この革新的な手法は基本的なモデルに限定されず、複雑な上位モデルやカスタムビルトのユニットなど、どんなドローンにも適用可能です。
イノベーションのハイライト：
- エンドツーエンドのディープラーニング：深層強化学習を活用し、ドローンは複雑な中間ステップなしで知覚からアクションの制御を実現し、制御戦略の直接性と効率性を向上させます。
- アシンメトリックアクタークリティックモデル：役割を分割する先駆的な強化学習フレームワークで、「アクター」は状態からアクションを決定し、「クリティック」は追加のシミュレーションデータで動きを評価し、学習を加速します。
- 最適化されたシミュレータ：消費者向けのラップトップ上で秒速約5ヶ月分の飛行時間を再現できるパワフルなシミュレータが、リスクフリーでドローンの訓練を加速します。
- カリキュラムラーニングアプローチ：ドローンは基本的なタスクから始まり、複雑な飛行制御の習熟度を段階的に向上させることで訓練が行われます。
- 適応的報酬関数：報酬システムは訓練フェーズ中に進化し、ドローンの安定した飛行経路の習得と実行を促進するフィードバックをスケーリングします。
- シミュレーションから現実への移行戦略：独自のトレーニングとシミュレーションにより、仮想環境から現実環境へのスムーズな制御戦略の移行を実現し、シミュレーションと現実の隔たりを埋めます。
この取り組みは、学術的理論から具体的な実践への訓練時間を大幅に削減するだけでなく、コードとエミュレータを積極的にオープンソース化しており、この驚異的な技術へのアクセスを一般化しています。
詳細については、以下のリサーチペーパー（https://arxiv.org/abs/2311.13081）をご参照ください。
YouTube video player