Initial commit: Add reinforcement learning study materials and grid world code

.gitignore

@@ -0,0 +1,47 @@
+# Python
+__pycache__/
+*.py[cod]
+*$py.class
+
+# Jupyter Notebook
+.ipynb_checkpoints
+*/.ipynb_checkpoints/*
+
+# Distribution / Packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+
+# Virtual Environments
+venv/
+env/
+.env
+.venv/
+ENV/
+env.bak/
+venv.bak/
+
+# IDEs
+.vscode/
+.idea/
+
+# OS specific files
+.DS_Store
+Thumbs.db
+
+# Byte-compiled / optimized / DLL files
+*.pyc
+*.pyd

Lecture slides/Readme.md

@@ -0,0 +1,10 @@
+My lecture slides are put into two folders.
+
+- The folder "slidesForMyLectureVideos" contains all **the slides that I used to record my lecture videos**.
+
+- The folder "slidesContinuouslyUpdated" contains **the slides that I updated continuously**.
+
+The slides in the two folders are very similar, but there are some minor differences, such as typo correction and content adjustment.
+
+**If you are not studying my online lecture videos, I suggest you check the slides in the slidesContinuouslyUpdated folder since they have been improved continuously.**
+

README.md

@@ -1,3 +1,51 @@
-# RL-Study
+# 强化学习的数学基础
 
-用于学习RL的相关知识，参考书目《强化学习的数学方法》
+本项目是我在学习赵世钰老师书籍 **《Mathematical Foundations of Reinforcement Learning》** 时建立的个人仓库。主要用于记录学习笔记、公式推导，以及使用 Python/Jupyter Notebook 复现书中的算法和 Grid World 示例。
+
+## 📚 关于原书 (Original Book)
+
+本项目的核心内容基于赵世钰老师的开源书籍，以下是原书的相关信息：
+
+- **书名**: Mathematical Foundations of Reinforcement Learning
+- **作者**: Shiyu Zhao (Westlake University)
+- **GitHub 仓库**: [Book-Mathematical-Foundation-of-Reinforcement-Learning](https://github.com/MathFoundationRL/Book-Mathematical-Foundation-of-Reinforcement-Learning)
+- **配套视频**:
+  - [Bilibili (中文)](https://space.bilibili.com/2044042934)
+  - [YouTube (English)](https://youtube.com/playlist?list=PLEhdbSEZZbDaFWPX4gehhwB9vJZJ1DNm8)
+
+---
+
+## 📂 项目结构
+
+本项目主要包含以下内容：
+
+- `Code for grid world/`:
+  - `python_version/`: 使用 Python 复现的 Grid World 环境及相关算法。
+  - `matlab_version/`: (可选) 原书提供的 Matlab 参考代码。
+- `Lecture slides/`: 课程相关的幻灯片或我的注解。
+- `Notebooks/`: (计划中) 包含详细推导和实验过程的 Jupyter Notebooks。
+
+## 🛠️ 环境配置
+
+本项目使用 Python 进行开发。推荐使用 `uv` 或 `conda` 管理环境。
+
+```bash
+# 安装依赖 (示例)
+pip install numpy matplotlib jupyter
+```
+
+## 📝 开源协议 (License)
+
+### 关于代码
+
+本项目中由本人编写的复现代码遵循 **MIT License** 开源协议。这意味着你可以自由地使用、修改和分发这些代码，但请保留原作者的版权声明。
+
+### 关于笔记
+
+项目中的学习笔记内容仅供个人学习交流使用。
+
+---
+
+## 🤝 致谢
+
+特别感谢赵世钰老师提供的精彩教材和开源资源，帮助我们深入理解强化学习的数学原理。