GLUE 通用语言理解评估

GLUE(General Language Understanding Evaluation,通用语言理解评估)是一种常用的评估工具,用于评估 NLP 模型在一系列任务上的有效性。

GLUE 基准测试由纽约大学和谷歌的研究人员开发的。开发 GLUE 的动机是需要一个全面的 NLP 模型评估框架,该框架测试语言理解的不同方面并提供更完整的描述

官网为: https://gluebenchmark.com/

GLUE 共包含 3 个分类 9 个任务:

  • 单句任务包括 CoLA、SST-2
  • 相似性任务包括 MRPC、STS-B、QQP
  • 语音理解任务包括 MNLI、QNLI、RTE、WNLI

Read more

光流 Optical Flow

光流(Optical Flow)是计算机视觉中的一个重要概念,它主要描述的是图像序列中像素在时间维度上的运动变化。

简单来说,光流就是在连续的两帧图像之间,每个像素点的运动速度和方向。

光流的计算基于这样一个假设:在短时间内,连续的图像帧之间,像素的颜色值不会发生显著的变化。基于这个假设,我们可以通过比较连续的两帧图像,来计算出像素点在这两帧之间的运动。

光流有很多应用,例如在视频处理中,可以用来进行运动检测、物体跟踪等;在自动驾驶和机器人领域,可以用来进行场景理解、导航和避障等。

光流问题的主要挑战在于,它是一个典型的病态问题,即小的测量误差可能导致结果的巨大变化,因此需要采用复杂的优化

Read more

Perceiver IO_一种适用于通用输入输出的多模态架构

中文标题:一个适用于结构化输入与输出的通用架构

英文标题:Perceiver IO: A General

Read more

上下文无关语法 CFG

上下文无关文法(context-free grammar,CFG):

  • CFG 是一种形式语言的描述方式,用于描述一类语言结构,其中语言中的句子可以被分解为符号串,这些符号串是由一组规则递归定义的
  • 上下文无关文法重要的原因在于它们拥有足够强的表达力来表示大多数程序设计语言的语法;实际上,几乎所有程序设计语言都是通过上下文无关文法来定义的。
  • 另一方面,上下文无关文法又足够简单,使得我们可以构造有效的分析算法来检验一个给定字符串是否是由某个上下文无关文法产生的

CFG的形式化定义可以表示为一个四元组 $G=(V,T,P,S)$

  • 其中 $V$ 是非终结符号(即可以继续分解的符号)的集合,$T

Read more

语言模型的物理学 1:含深层逻辑的语法树

中文标题:语言模型的物理学 1:含深层逻辑的语法树

英文标题:Physics of Language Models: Part 1, Context-Free Grammar

发布平台:无

预印本

发布日期:2023-01-01

Read more

特征选择

1 常见特征选择方法

特征评价指标:信息准则类指标

常用特征选择方法:

  • 基于正则惩罚的特征选择(比如Lasso 回归
  • 删除方差特别低的特征(sklearn.feature_selection.VarianceThreshold
  • 删除高相关性的特征(比如计算皮尔逊相关系数矩阵)
  • 单变量特征选择(互信息、方差分析、卡方检验)
  • 基于评价方法的贪婪特征选择(前向/后向搜索)
  • 基于特征重要性的选择(集成树模型、SHAP分析)

2 Relief 特征选择法

Relief(relative features)是一种处理二分类问题的常用特征选

Read more

语言模型的物理学 3.1:知识存储和提取

中文标题:语言模型的物理学 3.1:知识存储和提取

英文标题:Physics of Langua

Read more

HATR:基于分层自适应时间关系网络的股票预测

中文标题:分层自适应时间关系建模的股票趋势预测

英文标题:Hierarchical Adaptive T

Read more

MFN:纳入专家投资信号的多视图融合网络

中文标题:将专家意见信号融入股票预测中:深度学习

Read more

Python 管理版本和包

1 pip 官方包管理工具

官方文档

常用指令:

pip install sampleproject
pip install sampleproject==1.0.4 # 指定版本
pip

Read more