王半仙的学习分享

1. 要得到你想的某样东西，最可靠的办法是让你自己能配得上它
2. 正确的爱应该以仰慕为基础
3. 获得智慧是一种道德责任，它不仅仅是为了让你们的生活变得更加美好。（必须保持终身学习）学习如何学习的方法，发明如何发明的方法
4. 什么是法律头脑，如果有两件事交织在一起，互相之间有影响，你努力只考虑其中一件，而完全不顾另一件，以这种思考方式既实用又可行的头脑就是法律头脑。 —-反话！！！真正重要的大道理占每个学科95%的分量，从所有学科中吸取自己所需要的95%的知识，并将它们变成思维习惯的一部分，然后去实践跨学科的方法。不要死记硬背，要掌握各种知识，让它们在头脑中形成一个思维框架，以便日后随时调用。
5. 逆向思考，

Read more

大模型幻觉的常见三种情况：

• LLM 模型输出内容和输入不一致（驴唇不对马嘴）
• LLM 模型输出内容中包含与上下文不一致的内容（自我矛盾）
• LLM 模型输出内容和世界知识/训练注入的知识不一致

1 幻觉四象限

• 右上是最优情况（知之为知之），左下是次优情况（不知为不知）
• 左上是最差情况，右下是次差的情况；二者需要尽量转移到更优的象限内

2 模型知道，模型认为自己不知道

模型具有正确的内部知识，但模型输出的内容存在错误

如何

Read more

1 基本信息

1.1 课程标题：《DeepLearning.ai 大模型系列课程》

1.2 授课讲师：吴恩达，Isa，Harrison Chase

1.3 授课日期：2023

1.4 品读时间：2023-07~2023-08

1.5 整体耗时：

Read more

1 简介

本节课程将介绍如何使用LangChain和自有数据进行对话

LangChain的组件包括：

• 提示(Prompts): 使模型执行操作的方式。
• 模型(Models)：大语言模型、对话模型，文本表示模型。目前包含多个模型的集成。
• 索引(Indexes): 获取数据的方式，可以与模型结合使用。
• 链(Chains): 端到端功能实现。
• 代理(Agents): 使用模型作为推理引擎

课程内容：

1. 介绍如何使用LangChain文档加载器 (Document Lo

Read more

1 简介

LangChain是用于构建大模型应用程序的开源框架

• 基于模块化组合，可单独使用也可以以链式方式进行组合
• 开源社区发展快速；有Python和JavaScript两个不同版本的包

2 提示和输出解释器

直接使用OpenAI的示例：

import os
import openai

#

Read more

1 简介

以构建客服助手为例，使用不同的 Prompt 链式调用LLM搭建复杂应用

2 语言模型及其 Token

LLM 可以通过使用监督学习来构建，通过不断预测下一个词来学习

LLM 的输出是token，代表常见的字符序列

• 例如，对于 "Learning new things is fun!" 这句话，每个单词都被转换为一个 token
• 而对于较少使用的单词，比如单词 &qu

Read more

《ChatGPT Prompt Engineering for Developers》

本课程包含大量提示工程的场景示例，笔记中仅作简单记录

1 简介

LLM 的两种类型：

• 基础 LLM：基于文本训练数据，训练出预测下一个单词能力的模型
• 指令微调（Instruction Tuned）LLM：基于预训练好的LLM的，使用输入（指令）和理想输出（遵循这些指令的良好回答）

Read more

1 多模型融合的优势

Why it helps to combine models

模型的偏差与方差：

• 对于回归模型来说，预测的平方误差可以分解为偏差和方差
• 当模型过于简单时，预测精度低，此时模型的偏差过大
• 当模型过于复杂时，模型缺少泛化能力，模型方差过大
• 多个偏差大的简单模型通过融合后可以提高最终的预测精度（降低偏差）
• 多个过拟合（高方差）的模型融合后可以提高模型的稳定性（降低方差）

当单模型间的差异性（不是指性能差异）越大时，融合模型的效果越好

为什么模型融合会降低方差：

• 假设所有模型的预测均值为$\overline{y}$： $$

Read more

本节课介绍了处理模型过拟合的常见方法（正则化项、惩罚因子），并展示了基于贝叶斯解读的一种实践有效的惩罚因子调参方法。

1 回顾过拟合

Reminder：Overfitting

训练数据中不仅蕴含着正确的规律/知识值

Read more

Read more