分类目录归档:通识

模型参数的数据类型

模型参数的常见数据类型:

  • Float32 (FP32) 是标准的 32 位浮点表示,包含 1 符号位+8 指数位+23 尾数位
  • Float16 (FP16) 则包含 1 符号位+5 指数位+10 尾数位,数值范围远小于 FP32
  • Bfloat16 (BF16) 包含 1 符号位+8 指数位+7 尾数位,牺牲精度来保证数值范围
  • TensorFloat-32 (TF32) ,使用 19 位表示,结合了 BF16 的范围和 FP16 的精度
  • Int8 (INT8) 是一个 8 位的整型数据表示,可以存储 256 个不同的值

在机器学习术语中,FP32 称为全精度 (4 字节),而 BF1

Read more

RAID 技术概述

独立冗余磁盘阵列(Redundant Array of Independent Disks,RAID)技术

  • 多块独立的硬盘(物理硬盘)按不同方式组合成一个硬盘组(逻辑硬盘)
  • 降低数据存储的费用,提供更强的存储性能,通过备份技术改善数据安全

RAID 技术的常见规范

  • RAID0,将数据划分为 N 份存储到 N 个硬盘,读写效率高但不支持数据容错和备份;适合于对数据量大,但安全性要求不高的场景,比如音像、视频文件的存储等
  • RAID1,将一份数据同时写入两块硬盘,硬盘利用率只有 50%,但坏了一块硬盘还能继续用;适合数据安全性要求比较高的场景,如邮件系统,数据库等
  • RAID3,将数据划分

Read more

国际数学奥林匹克 IMO

国际数学奥林匹克(International Mathematical Olympiad,IMO)

  • 面向大学预科生的数学奥林匹克竞赛,是世界上“最负盛名”的数学竞赛
  • 也是历史最悠久的国际科学奥林匹克竞赛,第一届在1959年的罗马尼亚

赛制说明:

  • 问题来自中学数学的各个领域,大致可分为几何、数论、代数和组合数学
  • 比赛连续两天举行,每天有3个问题,每题 7 分,所以满分是 42 分
  • 比赛结束后,根据最终得分排名,并根据中位数筛选出一半的获奖参赛者
  • 获奖参赛者按照1:2:3 的比例分别授予金牌、银牌和铜牌数

朝鲜因两次作弊(1991 年和 2010 年)被取消资格

自 2022 年

Read more

披萨指数

"披萨指数(Pizza Meter)”一词起源于冷战时期,顾名思义,就是指的是五角大楼、白宫、国防部总部等美国主要政府大楼附近的披萨店的披萨订单数量。如果指数异常激增,即显示国防部和相关机构的人员手头上有“大策划”,忙到无时间外出用膳,或要长时间加班工作,需要叫披萨外卖来填饱肚子和提振士气

报纸报道称,披萨订单与危机事件之间的关系在政府机构内部产生了文化和运营影响。例如,五角大楼已经修改了其内部食品选择,包括能够在延长营业时间提供服务的快餐连锁店,以应对夜间紧急情况下对食物的需求。

在 1983 年入侵格林纳达和 1989 年入侵巴拿马之前,达美乐的披萨外卖量急剧增加1011 

Read more

深度学习的GPU选配

结论:

  • 现阶段 4090 能满足 DL 的入门需要,且 LLMs 推理的性价比最高
  • 缺点是性能不足够支持 LLMs 训练(通信不高效,显存不够用)

1 GPU 的基本概念

NVIDIA 的三个产品线:

  • GeForce 类型:面向个人计算和游戏市场推出的产品线,适用于游戏、图形处理等,并且在深度学习上的表现也非常出色,很多人用来做推理、训练,性价比高。例如目前热门的 4090、3090等型号
  • Quadro 类型:定位于专业可视化市场的产品线,主要面向专业人士和企业用户,例如,影视制作、建筑可视化、产品

Read more

常见的网络协议

摘自 《Explaining 8 Popular Network Protocols in 1 Diagram》

网络协议是在网络中的两台计算机之间传输数据的标准方法

  1. HTTP (超文本传输协议)是用于获取诸如 HTML 文档之类资源的协议。它是 Web 上任何数据交换的基础,是一种客户端 - 服务器协议。
  2. HTTP/3 是 HTTP 的下一个主要修订版。它运行在 QUIC 之上,QUIC 是为移动重型互联网使用而设计的新传输协议。它依赖 UDP 而不是 TCP,这使得网页响应更快。虚拟现实应用需要更多带宽来渲染复杂的虚拟场景,并将可能从迁移到由 QUIC 支持的 HTTP/3中受益

Read more

技术封建主义

广大的网民实际上是数字农奴(又称云奴)。你在人家的领地里发帖子、上传照片视频,就是为领主工作。你拿不到多少回报,你的免费劳动只是为领主的公司增加价值。久而久之,你甚至还会产生心理依赖,一天不去领主的土地看看,心里就会万分失落。

这些数字领主有强烈的领地意识,造出了高高的围篱,防止自己的数字资产(数据)流出,或者领地被其他公司侵占。如果你要使用某个领主的领地,必须交付地租(使用费)。比如,你要把自己的 App 放在苹果应用商店出售,就必须把 30%的收入交给苹果。这是苹果对它的数字领地收取的地租,跟中世纪的封建制度一模一样。

为了打破技术封建主义,防止数字领主的出现,政府必须实行一些强制措施

Read more

智力肥胖

2019 年,伯克利的研究人员发现,信息对大脑多巴胺产生的奖励系统的作用与食物相同。信息在大脑中的奖励系统中产生多巴胺,就像食物一样,这导致我们对信息的渴求变得像对食物的渴求一样强烈。

在信息过剩的时代,人们试图通过大量生产低质量的“垃圾信息”来吸引我们的注意力,这种信息就像思维的快餐,廉价而令人满足,但缺乏营养。垃圾信息包括包括八卦、琐事、吸引点击的内容、劣质新闻、营销、重复报道和胡言乱语,任何你无法利用的信息都是垃圾信息

由于你的多巴胺通路无法区分有用和无用的信息,消费垃圾信息让你感觉像是在学习——它提供了精神营养的假象——尽管你实际上只是在往大脑里塞虚拟爆米花

沉迷于无用信息最终会导

Read more

CO-STAR 提示词框架

Sheila Teo 凭借 CO-STAR 提示词框架赢得了首届 GPT-4 提示工程大赛

  • (C) 上下文(Context):提供与任务有关的背景信息。这有助于 LLM 理解正在讨论的具体场景,从而确保其响应是相关的。
  • (O) 目标(Objective):定义你希望 LLM 执行的任务。明晰目标有助于 LLM 将自己响应重点放在完成具体任务上。
  • (S) 风格(Style):指定你希望 LLM 使用的写作风格。这可能是一位具体名人的写作风格,也可以是某种职业专家(比如商业分析师或 CEO)的风格。这能引导 LLM 使用符合你需求的方式和词语给出响应。
  • (T) 语气(Tone):设定响

Read more

OpenAI 模型规范方法论

目标:设定宽泛而基本的原则,为模型的期望行为指明方向。

  • 协助开发者和用户:通过遵循指令,并提供有效的响应,帮助用户达成目标。
  • 造福人类:依据 OpenAI 的使命,考虑到可能对内容创作者和广大公众带来的益处与风险。
  • 塑造 OpenAI 的正面形象:遵守社会规范和相关法律。

规则:为处理复杂情况提供指南,确保安全性和合法性

  • 遵循命令链(chain of command)
  • 遵守相关法律
  • 不提供敏感危害的信息
  • 尊重创作者及其版权
  • 保护个人隐私
  • 避免回应不宜工作场所的内容(NSFW )

默认行为:提供与目标和规则相符的指南,帮助解决冲突,并指导如何权衡和优先处理各种目标

  • 假设用户或开发者

Read more