个人笔记

Read more

近似最近邻搜索（APPROXIMATE NEAREST NEIGHBORS，ANN）：

• 在 KNN 最近邻算法 基础上通过近似算法来进行搜索加速
• 通常以牺牲少量精度为代价，实现巨大的速度提升，返回 K 个最近邻

近似最近邻搜索这类算法也被称为快速最大内积搜索（Maximum Inner Product Search，MIPS）算法；得益于 Agent 的发展，目前的很多 MIPS 算法都成为了 RAG 模块的基础设施，也内置在很多主流向量数据库中；而关于不同 MIPS 算法的横向性能测试结果可参考 ANN B

Read more

倒数排名融合（Reciprocal Rank Fusion，RRF）

• 一种简单有效的多检索结果聚合方法，效果始终优于单一系统
• RRF 常用于混合检索的场景，比如关键词检索和向量检索的混合

RRF 的核心公式： $$ RRFscore(d\in D) = \Sigma_{r\in R}\frac{1}{k+r(d)} $$

• 其中 $D$ 表示文档集合，$R$ 是不同检索后的文档排序结果
• $k$ 是常量，默认为 60；用于减轻异常检索结果中的高排名影响

RRF 的简单示例：

• 假设文档 docA 在三次不同的检索策略中出现，检索排名分别 1、2、1
• 则文档 docA 的最终 RRF 得

Read more

LSH（locality sensitivity Hashing，局部敏感性哈希）算法

• 一种从海量数据中进行相似性搜索的算法
• 常用于文本查重、图像识别、推荐系统和搜索引擎

以相似文档检索为例，说明 LSH 的算法过程

1. Shingling，文档进行向量化表示

   • 统计 k 个文档中连续出现的 token（字符或单词）
   • 按照 one_hot 的形式对文档进行向量化的矩阵表示
   • 每一列表示一个文档，每一行表示文档的信息矩阵

2. Min-Hashing，对文档信息进行降维

   • 依次对文档矩阵的每一列进行重排序
   • 选择第一个非 0 行的行号作为的最小哈希值
   • 重复多次，得到若干个最小哈希组成的文档矩阵

Read more

前置知识：1_study/DeepLearning/基础神经网络/词嵌入表示 Embeddings#TF-IDF

BM25（Best Matching 25），一种经典的信息检索方法

• BM25 综合考虑了 TF-IDF 和文档长度等信息，计算效率高，实用性强
• BM25 在信息检索领域使用广泛，是 Elasticsearch 的默认检索方法
• BM25 的语义理解能力不足，无法有效捕捉词序信息和上下文关系
• BM25 可以通过调整参数来适用不同的应用场景，但个性化能力有限

BM25 算法

给定查询 $Q={q_1,..,q_i,...,q_n}$ 和文档

Read more

PageRank 是早期 Google 搜索的核心算法，决定了搜索结果中的网页展示顺序

PageRank 算法最初用于网页权重的计算，它将每个网作为一个节点，网页间的超链接作为边，而最终的网页 X 权重描述了以 X 为起点，通过超链接进行随机游走 $N$ 次后，再次返回网页 X 的概率。同时为了防止随机游走进入死循环，每次随机游走还有概率 $=\alpha$ 的情况随机跳转到任意网页，不同网页的随机跳转概率是相等的

PageRank 核心思想：

• 根据网站的外部链接和内部链接的数量和质量衡量网站的价值
• 如果重要性为 $PR(i)$ 的页面 $i$ 有 $l_i$ 个外链（出度），则每个

Read more