Sora 述评:大视觉模型的背景、技术、局限性和机遇

中文标题:Sora:大视觉模型的背景、技术、局限性和机会综述

英文标题:Sora:

Read more

Genie:生成可交互环境的基础世界模型

中文标题:Genie: 生成式交互环境

英文标题:Genie: Generative Interactive Environments

发布平台:预印本

发布日期:2024-02-23

引用量(非实时

Read more

大型社区样本调研:新冠对认知和记忆的影响

中文标题:大型社区样本调研:新冠对认知和记忆的影响

英文标题:Cognition and Memory after Covid-19 in a Large Community Sa

Read more

I-JEPA:基于联合嵌入预测架构进行图像自监督学习

中文标题:从图像中进行自监督学习,采用联合嵌入预测架构

英文标题:Self-Supervised

Read more

世界模型:基于强化学习捕捉环境的时间和空间表示

中文标题:世界模型

英文标题:World Models

发布平台:NeurIPS

NeurIPS

发布日期:2018-03-28

引用量(非实时):1031

DOI:10.5281/ZENODO.1207631

作者:Dav

Read more

语言模型表征空间和时间

中文标题:语言模型表征空间和时间

英文标题:Language Models Represent Space and Time

发布平台:预印本

发布日期:2023-01-01

引用量(非实时):

DOI:10.48550/ARXIV.2310.02207

作者:Wes Gurnee

Read more

FLEX 评分的开发和多中心验证:使用基于注意力的ICD-10和当前程序术语集嵌入进行个性化术前手术风险预测

Read more

GraphCare:通过个性化知识图谱增强医疗保健预测

中文标题:GraphCare: 通过个性化知识图谱增强医疗保健预测

英文标题:GraphCare: Enhancing Hea

Read more

循环神经网络

循环神经网络(RNNs):具有隐状态、不同层参数共享的神经网络

常见的三种基础 RNNs :RNN、GRU、LSTM

RNN

隐变量模型:使用隐状态 $h_{t-1}$ 存储前 $t-1$ 步的序列信息 $$P(x_t|x_{t-1},...,x_1)\approx P(x_t|h_{t-1})$$ $$h_t=f(x_t,h_{t-1})$$ 循环神经网络(recurrent neural networks,RNNs) 是具有隐状态的神经网络

假设时刻 $t$ 的输入为 $X_t \in \mathbb{R}^{n\times d}$,对应的权重参数为 $W

Read more

卷积神经网络

卷积神经网络(CNN):引入了卷积操作的神经网络

普通卷积

严格来说,卷积层是个错误的叫法,因为它所表达的运算其实是互相关运算(cross-correlation)

二维互相关运算示例:

汇聚/池化层

池化(pool)层的优点:降低卷积层对位置的敏感性

常用池化层分两种:最大池化层和平均池化层,前者示例如下:

类似于卷积层,池化层也会有填充和步幅,使用大于 1 的步幅可以起到降维的作用

不同于卷积层,池化层在每个输入通道上是单独计算的,所以池化层的输出通道数等于输入通道数

膨胀卷积

膨胀(dilated)卷积,也称

Read more