分类目录归档:深度学习

CBMM 2023 专题讨论:AI 时代的智能研究

专题:AI时代的智能研究 “Research on Intelligence in the Age of AI”

核心问题1:是否应该推动更多的理论工作,比较深度学习模型与人类智能的理论

核心问题2:神经科学是否能够帮助人工智能,以及人工智能是否能够帮助神经科学

讨论参与者:

  • Tomaso Poggio,MIT 教授,主持人
  • Geoffrey Hinton,深度学习之父
  • Pietro Perona,加州理工学院教授,Amazon 研究员
  • David Siegel,Two Sigma 对冲基金主席
  • Demis Hassabis,DeepMind 创始人
  • Ilya Sutsk

Read more

DL.ai 大模型系列-课程总结

1 基本信息

1.1 课程标题:《DeepLearning.ai 大模型系列课程》

1.2 授课讲师:吴恩达,Isa,Harrison Chase

1.3 授课日期:2023

1.4 品读时间:2023-07~2023-08

1.5 整体耗时:

Read more

DL.ai 大模型系列:4.LangChain 处理个人数据

1 简介

本节课程将介绍如何使用LangChain和自有数据进行对话

LangChain的组件包括:

  • 提示(Prompts): 使模型执行操作的方式。
  • 模型(Models):大语言模型、对话模型,文本表示模型。目前包含多个模型的集成。
  • 索引(Indexes): 获取数据的方式,可以与模型结合使用。
  • 链(Chains): 端到端功能实现。
  • 代理(Agents): 使用模型作为推理引擎

课程内容:

  1. 介绍如何使用LangChain文档加载器 (Document Lo

Read more

DL.ai 大模型系列:3.LangChain 开发 LLM 应用

1 简介

LangChain是用于构建大模型应用程序的开源框架

  • 基于模块化组合,可单独使用也可以以链式方式进行组合
  • 开源社区发展快速;有Python和JavaScript两个不同版本的包

2 提示和输出解释器

直接使用OpenAI的示例:

import os
import openai

#

Read more

DL.ai 大模型系列:2.ChatGPT API 搭建系统

1 简介

以构建客服助手为例,使用不同的 Prompt 链式调用LLM搭建复杂应用

2 语言模型及其 Token

LLM 可以通过使用监督学习来构建,通过不断预测下一个词来学习

LLM 的输出是token,代表常见的字符序列

  • 例如,对于 "Learning new things is fun!" 这句话,每个单词都被转换为一个 token
  • 而对于较少使用的单词,比如单词 &qu

Read more

DL.ai 大模型系列:1.ChatGPT 提示工程

《ChatGPT Prompt Engineering for Developers》

本课程包含大量提示工程的场景示例,笔记中仅作简单记录

1 简介

LLM 的两种类型:

  • 基础 LLM:基于文本训练数据,训练出预测下一个单词能力的模型
  • 指令微调(Instruction Tuned)LLM:基于预训练好的LLM的,使用输入(指令)和理想输出(遵循这些指令的良好回答)

Read more

10.《机器学习与神经网络》多神经网络组合以提高泛化能力

1 多模型融合的优势

Why it helps to combine models

模型的偏差与方差:

  • 对于回归模型来说,预测的平方误差可以分解为偏差和方差
  • 当模型过于简单时,预测精度低,此时模型的偏差过大
  • 当模型过于复杂时,模型缺少泛化能力,模型方差过大
  • 多个偏差大的简单模型通过融合后可以提高最终的预测精度(降低偏差)
  • 多个过拟合(高方差)的模型融合后可以提高模型的稳定性(降低方差)

当单模型间的差异性(不是指性能差异)越大时,融合模型的效果越好

为什么模型融合会降低方差:

  • 假设所有模型的预测均值为$\overline{y}$: $$

Read more

9.《机器学习与神经网络》提高神经网络的泛化能力

本节课介绍了处理模型过拟合的常见方法(正则化项、惩罚因子),并展示了基于贝叶斯解读的一种实践有效的惩罚因子调参方法。

1 回顾过拟合

Reminder:Overfitting

训练数据中不仅蕴含着正确的规律/知识值

Read more

微软Build 2023专题演讲:State of GPT

Read more

8.《机器学习与神经网络》循环神经网络RNN(二)

1 Hessian-Free 优化概述

A brief overview of “Hessian-Free” optimization

1.1 最大的误差减小量

The maximum error reduc

Read more