RL-Study/
├── Lecture slides/           # 课程幻灯片
│   ├── slidesForMyLectureVideos/  # 配套视频课件
│   └── slidesContinuouslyUpdated/ # 持续更新的课件
├── Notebooks/               # Jupyter 学习笔记
│   ├── C1.ipynb ~ C10.ipynb  # 各章节推导与实验
│   ├── SAC.ipynb            # SAC (Soft Actor-Critic) 算法
│   └── *_training_results.png  # 训练结果可视化
├── RawBook/                 # 原书资源
└── RL_Algothrithms/         # 核心算法实现
    ├── agents/              # 智能体实现
    │   ├── a2c.py           # A2C (Advantage Actor-Critic)
    │   └── qac.py           # QAC (Soft Actor-Critic / Q-Value Actor-Critic)
    ├── networks.py          # 神经网络定义
    ├── utils.py             # 工具函数
    └── main.py              # 训练入口

已实现算法

算法	文件	说明
A2C	a2c.py	Advantage Actor-Critic，同步版本
QAC	qac.py	Q-Value Actor-Critic，支持 GPU

环境配置

pip install torch numpy matplotlib gymnasium

快速开始

cd RL_Algothrithms
python main.py --agent a2c    # 训练 A2C
python main.py --agent qac     # 训练 QAC

关于原书

书名: Mathematical Foundations of Reinforcement Learning
作者: Shiyu Zhao (Westlake University)
GitHub: MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning
B站: 赵世钰老师频道
YouTube: 课程列表

License

MIT License（代码部分）