分类目录归档：学习
前置知识：检索增强 RAG，
相比于朴素 RAG，高级 RAG 在预检索过程（Pre-Retrieval Process） 和 后检索过程（Post-Retrieval Process） 两个阶段引入了一些改进措施，提高检索质量
前置知识：强化学习入门、Q-Learning
Dyna 是一种经典的强化学习算法
前置知识：强化学习入门、Deep Q-Learning、策略梯度算法
Actor-Critic （简称 AC）是一种经典的强化学习框架
AC 算法的 Actor 策略函数近似 $$ \pi_{\theta}(s,a) = P(a|s,\theta)\approx \pi(a|s) $$
前置知识：强化学习入门、Deep Q-Learning
策略梯度（Policy Gradient）
基于价值（Value Based）方法的局限性：
基于策略的
Deep Q-Learning，简称 DQN
DQN 算法步骤
列线图（Alignment Diagram），又称诺莫图（Nomogram 图）
示例说明（以泰坦尼克邮轮数据集中，乘客的死亡二分类预测为例）：
Points 是每一个特征的评分参照，Total Points 是所有特征的汇总评分参照Linear Predictor 是汇总评分的线性映TOPSIS (Technique for Order Preference by Similarity to an Ideal Solution) ，也称优劣解距离法，是一种常用的组内综合评价方法，能充分利用原始数据的信息，其结果能精确地反映各评价方案之间的差距
针对多标准/多目标决策问题（MCDM/MCDA），决策者需要面对多种决策标准和可行决策方案，TOPSIS 的作用就是帮助决策者综合考虑多个决策标准，在多个可行决策方案之间找到最优解
TOPSIS 示例：评估 5 所研究生院的教育质量
5 所研究生院的评估数据及其权重如下：
| 院校 | 人均专著 $x_1$ (本/人) |
|---|
前置知识：强化学习入门、蒙特卡洛法、马尔可夫决策过程 MDP
时序差分（temporal difference，TD）
回顾 MDP 中状态价值函数的贝尔曼方程： $$ v_{
马尔可夫过程（Markov process）是一类具有马尔可夫性质的随机过程
马尔可夫性质（Markov property，MP）：如果某一个过程未来某个时刻的状态与过去的状态无关，只由现在的状态决定，那么其具