作者文章归档:王半仙

图表示学习

图表示学习方法一般包括图嵌入表示和图神经网络

  • 图嵌入表示(Node Embedding)为每个节点学习一个嵌入表示(低维稠密向量),使得在原始网络中相似的节点,它们的嵌入表示也更为相似
  • 图神经网络(Graph Neural Networks)通过聚合邻域节点的信息来生成节点的表示

图嵌入表示

基于随机游走的图嵌入经典方法:

  • 等长度、无偏的随机游走:DeepWalk (2014 KDD Perozzi et al.)
  • 有偏的、局部与全局视

Read more

CS224W 图机器学习02:图嵌入表示

1 图嵌入表示

传统图机器学习 VS 图表示学习

  • 给定输入图,传统图机器学习需要提取节点、链接和图级特征;然后学习将特征映射到/预测标签的模型(SVM、普通神经网络等),并应用于下游任务
  • 图表示学习则不需要额外特征工程,而是给定输入图,自动学习独立于任务的特征(节点、链接和图级嵌入表示),然后用于算法的训练学习和下游任务

嵌入表示的好处:

  • 节点间嵌入的相似性表明了它们在网络中的相似性

Read more

CS224W 图机器学习01:基本介绍

1 课程简介

课程内容大纲:

  • 图嵌入表示(Node Embedding)方法:DeepWalk,Node2vec
  • 图神经网络(GNN):GCN、GraphSAGE、GAT…
  • 图自注意力(Graph Transformers)
  • 知识图谱和推理:TransE,BetaE
  • 图生成模型:GraphRNN
  • 3D 图模型:Molecules
  • 扩展到大规模的图数据
  • 图应用:生物医学、科学技术

背景要求:机器学习、算法和图论、概率论与数理统计、Python/PyTorch

其他推荐工具:

  • 基于 PyTorch 构建的图神经网络库

Read more

瑞士奶酪理论

瑞士奶酪理论(英语:Swiss Cheese Model),又称乳酪理论或瑞士起司理论,是英国曼彻斯特大学教授詹姆斯·瑞森(James Reason)于 1990 年提出的关于意外发生的风险分析与控管的模型

主要是讲,瑞士起司在制造与发酵过程当中,很自然的会产生小孔洞。如果把许多片起司重叠在一起,正常情况下,每片起司的空洞位置不同,光线透不过。只有在很极端的情况下,空洞刚好连成一直线,才会让光线透过去。导致严重事故发生的从来都不是因为某个单独的原因,而是多个问题同时出现。

瑞士起司理论示意图:左方是危险(Hazards),穿过数个孔洞后导致损失(Losses)

上图的一片片乳酪,往往代表

Read more

Sora 述评:大视觉模型的背景、技术、局限性和机遇

中文标题:Sora:大视觉模型的背景、技术、局限性和机会综述

英文标题:Sora:

Read more

Genie:生成可交互环境的基础世界模型

中文标题:Genie: 生成式交互环境

英文标题:Genie: Generative Interactive Environments

发布平台:预印本

发布日期:2024-02-23

引用量(非实时

Read more

大型社区样本调研:新冠对认知和记忆的影响

中文标题:大型社区样本调研:新冠对认知和记忆的影响

英文标题:Cognition and Memory after Covid-19 in a Large Community Sa

Read more

I-JEPA:基于联合嵌入预测架构进行图像自监督学习

中文标题:从图像中进行自监督学习,采用联合嵌入预测架构

英文标题:Self-Supervised

Read more

世界模型:基于强化学习捕捉环境的时间和空间表示

中文标题:世界模型

英文标题:World Models

发布平台:NeurIPS

NeurIPS

发布日期:2018-03-28

引用量(非实时):1031

DOI:10.5281/ZENODO.1207631

作者:Dav

Read more

语言模型表征空间和时间

中文标题:语言模型表征空间和时间

英文标题:Language Models Represent Space and Time

发布平台:预印本

发布日期:2023-01-01

引用量(非实时):

DOI:10.48550/ARXIV.2310.02207

作者:Wes Gurnee

Read more