Treeformer:用于高效注意力计算的密集梯度树

中文标题:Treeformer:用于高效注意力计算的密集梯度树

英文标题:Treeformer: Dense Gr

Read more

提问的智慧

1 简介

能否得到有用的回答,往往取决于你所提问和追问的方式

本书将教你如何正确的提问以获得你满意的答案

能立刻得到快速并有效答案的最好方法,就是像赢家那样提问──聪明、自信、有解决问题的思路,只是偶尔在特定的问题上需要获得一点帮助

2 在提问之前

在提问之前,请先做到以下事情:

  • 尝试在你准备提问的论坛的旧文章中搜寻答案。
  • 尝试上网搜寻来找到答案。
  • 尝试阅读手册来找到答案。
  • 尝试阅读常见

Read more

实用网页插件分享

本人常用Chrome浏览器,不保证推荐插件在其他浏览器中支持

Tampermonkey 油猴脚本管理器 ⭐⭐⭐⭐⭐

可支持的脚本很丰富,可玩性很高;有空单独开一篇文章讲一下 #待补充

下载地址

immer

Read more

大模型的显存占用

前置知识:模型参数的数据类型

工具推荐:常见模型的显存占用计算器

模型占用

大模型的显存占用主要取决于以下几点:

  1. 参数量:以常见的大模型 Llama2为例,其常见的参数量包括7B、13B、70B;其中B表示十亿(billion)的参数级别,7B也就代表70亿个参数
  2. 参数精度:常见的浮点精度包括float32(占用4字节,32bit)、float16(16bit)、int8(8bit)、int4(4bit)等,占用空间依次递减,但模型的预测效果也会下滑

以Llama2-7B模型为例,在精度为float32的情况下,模型占用显存为: $$7

Read more

《解决常见机器学习问题》总结

Read more

汇总型的git项目汇总

(套娃~)

ChatGPT相关项目汇总 ⭐⭐⭐⭐

ChatGPT相关项目汇总1

ChatGPT相关项目汇总2

AIGC精选教程和资源 ⭐⭐⭐⭐

入门、大语言模型(提示工程、大语言模型实践、大语言模型理论)、AI绘画、AI音频、多模态、深度学习、AI系统、其他(点赞历史、友情链接)

Awesome AIGC Tutorials

领域大模型、数

Read more

启发式算法总结

1 启发式算法

启发式算法(Heuristic Algorithms)通常是以问题为导向的(Problem Specific),没有一个通用的框架,每个不同的问题通常设计一个不同的启发式算法,通常被用来解组合优化问题

普通启发式算法一般是一种贪婪算法,需要根据特定问题进行特定设计

贪婪算法,也叫贪心算法

其基本思想是:每一步都采取当前状态下最好的选择,而不考虑全局最优解是否已经达到。在每一步中,贪心算法都会做出一个贪心决策,即选择当前状态下最优的解决方案,并且不考虑这个决策可能会导致的未来后果

以经典的装包问

Read more

蚁群算法

1 基本概念

蚁群算法(Ant Colony Algorithm,ACA)由Marco Dorigo于1992年在他的博士论文中首次提出,该算法模拟了自然界中蚂蚁的觅食行为。

蚂蚁寻径的生物过程:

  • 蚂蚁在寻找食物源时,会在其经过的路径上释放一种信息素,并能够感知其它蚂蚁释放的信息素。信息素浓度的大小表征路径的远近,信息素浓度越高,表示对应的路径距离越短
  • 通常,蚂蚁会以较大的概率优先选择信息素浓度较高的路径,并释放一定量的信息素,以增强该条路径上的信息素浓度,这样,会形成一个正反馈
  • 最终,蚂蚁能够找到一条从巢穴到食物源的最佳路径,

Read more

NP-Hard问题

1 基本概念

P问题:能在多项式时间内解决的问题,比如快速排序/冒泡排序

NP问题:能在多项式时间内验证得出一个正确解的问题(不确保在多项式时间内找到答案)

NP-Complete(NPC)问题:属于NP问题,其他所有属于NP的问题都可以规约成它

规约(Reduction):将问题A转化为问题B,使用问题B的解来解问题A

如果问题A可规约为问题B,说明问题B的时间复杂度要大于或等于问题A的时间复杂度,即问题B的难度一般要比问题A大(毕竟B答案能解A,A不一定能解

Read more

DL.ai 大模型系列-课程总结

1 基本信息

1.1 课程标题:《DeepLearning.ai 大模型系列课程》

1.2 授课讲师:吴恩达,Isa,Harrison Chase

1.3 授课日期:2023

1.4 品读时间:2023-07~2023-08

1.5 整体耗时:

Read more