Drift-Gated Ensemble Pessimism for Offline Meta-Reinforcement Learning Robust to Behavior-Policy Shift

Counts differ because each database indexes a different set of publications. We treat OpenAlex as the canonical count; Google Scholar is not shown (no API, and crawling it violates its ToS).

컨텍스트 기반 오프라인 메타 강화학습 (Context-based Offline Meta-RL, COMRL)은 정적 데이터만으로 새로운 태스크에 빠르게 적응하는 에이전트를 학습한다. 그러나 기존 방법들은 컨텍스트를 수집하는 행동 정책이 학습 분포와 다르면 정책이 학습된 적 없는 잠재에서 실행되어 성능이 붕괴하고, 이를 보완하는 고정 계수 비관주의는 환경별 튜닝과 과보수화 문제를 낳는다. 본 논문이 제안하는 DELPHI는 잠재 공간을 외삽한 뒤 디코더 앙상블의 합성 롤아웃으로 정책을 학습 분포 밖 잠재에서 미리 단련하되, 롤아웃을 따라 누적한 앙상블 불일치 (정보 드리프트)를 z-점수로 정규화하고 임계 초과분에만 비선형 게이트로 페널티를 부과하여 신뢰도가 낮은 합성 신호를 억제한다. 게이트는 정상 영역에서 페널티를 0으로 두어 분포 내 성능을 보존하고, 롤아웃 구조 파라미터는 환경별로 설정하되 정규화의 스케일 불변성 덕분에 게이트 상수에 한하여 전 환경 단일 값으로 공유되어 환경별 페널티 계수 탐색을 대체한다. MuJoCo 4개 환경의 행동 정책 분포 밖 (out-of-distribution, OOD) 평가에서 DELPHI는 최신 베이스라인을 일관되게 상회하였다.

• Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning

  arXiv (Cornell University) 2026 · 0 citations