古麻今醉24年3季度文章集锦

Read more

BASIC重症医学24年3季度文章集锦

Read more

CS224W 图机器学习15:GNN 拓展到大型图

1 大型图应用与难点

当前的大型图应用场景:

  1. 推荐系统(亚马逊、Youtube、Pinterest 等):用户规模在 100M~1B,产品/视频规模在 10M~1B,任务包括商品推荐或用户分类
  2. 社交网络(Facebook、X、Instagram 等):用户规模在 300M~3B,任务包括好友推荐或用户属性预测
  3. 学术网络(微软学术图谱):作者或论文规模在 120M,任务包括论文分类、合作作者推荐、论文引用推荐
  4. 知识图谱(Wikidata、Freeb

Read more

急性呼吸窘迫综合征 ARDS

基本概念

急性呼吸窘迫综合征(acute respiratory distress syndrome,ARDS)是一种多种病因引起的急性、弥漫性炎症性肺损伤,是全身炎症反应在肺部的表现,组织病理学常表现为弥漫性肺泡损伤(diffused alveolar damage,DAD)

ARDS 的基本特性 - 参考源

  • 发生率和致死率:在 ICU 中的发病率约5-10%,病死率高达40-50%
  • 病因:超过半数的 ARDS 患者是由于严重的感染(sepsis)或肺炎引起的
  • 症状:患者最初出现呼吸短促,听诊器在肺部听到爆裂音或喘息音
  • 治疗:收入

Read more

CS224W 图机器学习13:图神经网络进阶

前置知识:CS224W 图机器学习04:GNN 深入理解CS224W 图机器学习05:GNN 的训练与预测CS224W 图机器学习06:GNN 的理论理解

本节主题:如何使得 GNN 的嵌入更具表示力?

1 图神经网络的局限性

一个"完美"的 GNN 应该具备什么特征?

  • 能在邻域结构(无论跃点如何)和节点嵌入之间构建一个单射函数
  • 如果两个节点具有相同的邻域结构,则它们必须具有相同的嵌入
  • 如果两个节点具有不同的邻域结构,则它们必须具有不同的嵌入

问题 1:

Read more

模型参数的数据类型

模型参数的常见数据类型:

  • Float32 (FP32) 是标准的 32 位浮点表示,包含 1 符号位+8 指数位+23 尾数位
  • Float16 (FP16) 则包含 1 符号位+5 指数位+10 尾数位,数值范围远小于 FP32
  • Bfloat16 (BF16) 包含 1 符号位+8 指数位+7 尾数位,牺牲精度来保证数值范围
  • TensorFloat-32 (TF32) ,使用 19 位表示,结合了 BF16 的范围和 FP16 的精度
  • Int8 (INT8) 是一个 8 位的整型数据表示,可以存储 256 个不同的值

在机器学习术语中,FP32 称为全精度 (4 字节),而 BF1

Read more

模型量化 Quantization

前置知识:模型参数的数据类型大模型的显存占用

Read more

RAID 技术概述

独立冗余磁盘阵列(Redundant Array of Independent Disks,RAID)技术

  • 多块独立的硬盘(物理硬盘)按不同方式组合成一个硬盘组(逻辑硬盘)
  • 降低数据存储的费用,提供更强的存储性能,通过备份技术改善数据安全

RAID 技术的常见规范

  • RAID0,将数据划分为 N 份存储到 N 个硬盘,读写效率高但不支持数据容错和备份;适合于对数据量大,但安全性要求不高的场景,比如音像、视频文件的存储等
  • RAID1,将一份数据同时写入两块硬盘,硬盘利用率只有 50%,但坏了一块硬盘还能继续用;适合数据安全性要求比较高的场景,如邮件系统,数据库等
  • RAID3,将数据划分

Read more