王半仙的学习分享

中文标题： HATS：用于股票走势预测的分层图注意力网络

英文标题：HATS: A Hierarchical Graph Attention Network for Stock Movement Prediction

发布平台：预印本

发布日期：2019-11-12

引用量（非实时）：126

DOI：

作者：Raehyun Kim, Chan Ho So, Minbyul Jeong, Sanghoon Lee, Jinkyu Kim, Jaewoo Kang

关键字： #HATS #GAT

文章类型：preprint

品读时间：2024-01-13 17:58

1 文章萃取

1.1 核心观点

分层注意力网络（HATS）作为关系建模模块，有选择地从不同关系类型的相邻节点中聚合信息，并将这些信息（对预测最有用的是股票间的相关关系信息）添加到每个公司的表示中；最终的信息表示将用于特定任务（个股价格/指数趋势）的预测

实验分析表明，HATS 借助自主的信息选择机制实现了最优的性能表现，并且其性能表现取决于输入的关系数据。HATS 在标普 500 中股票进行了广分实验，其在夏普比率和 F1 分数方面的性能分别比现有基线高 19.8% 和 3%

1.2 综合评价

• 本文通过两种注意力得分挖掘存在合理关系间的相关股票对，实现自适应的信息提取
• 本文提出的注意力机制与后来的 Transform 相似，但针对图结构进行了更合理的调整
• 本文实验丰富，针对不同波动区间分别评估模型的准确率和投资表现，结果更为可靠

1.3 主观评分：⭐⭐⭐⭐⭐

2 精读笔记

2.1 算法细节

HATS 整体框架：

• 特征提取（Feature Extraction）模块：使用 LSTM （性能更好但训练困难，后续用于个股预测）和 GRU （性能一般但训练高效，后续用于指数趋势预测）进行特征提取，根据历史价格变动模式来表示个股的当前状态；
• 关系建模（Relational Modeling）模块：基于分层注意力网络（HATS）捕获相邻节点和关系类型的重要性
• 预测层（Prediction Layer）：根据特定的任务激活不同的模块；个股价格使用单个股票的状态信息来预测（节点分类任务）；指数趋势使用图池化（graph pooling）方法来聚合不同节点的信息以表示指数（图分类任务）

分层注意力网络（HATS）细节：

• 假设时刻 $t$ 的股票 $c$ 对应的特征提取模块输出（嵌入表示）为 $e_c$；而关系类型 $m$ 对应的嵌入表示为 $e_{r_m}$
• 对于关系类型 $m$，$e_c$ 对应的邻接节点集合可表示为 $N_c^{r_m}$；而股票 $f$ 与股票 $c$ 存在类型为 $m$ 的关系，即 $f\in N_c^{r_m}$
• 对于关系类型 $m$，将关系类型嵌入 $e_{r_m}$ 和两个节点嵌入 $e_c,e_f$ 表示连接到一个向量中，即 $x^{r_m}_{cf}$
• 对于关系类型 $m$，计算股票 $c$ 对不同相关股票/节点的状态注意力得分： $$

\begin{aligned}\upsilon_{cf}&=x_{cf}^{r_{m}}W_{s}+b_{s} \\ \\ \alpha_{ij}^{r_{m}}&=\frac{\exp(v_{cf})}{\sum_{k}\exp(v_{ck})},\quad k\in N_{i}^{r_{m}}\end{aligned} $$

• 最终股票 $c$ 在关系类型为 $m$ 下汇总的关系信息向量可表示如下：$s_c^{r_m}=\sum_{f\in N^{r_m}}\alpha_{cf}^{r_m}e_f$
• 继续拼接关系类型嵌入 $e_{r_m}$ 、节点嵌入嵌入 $e_c$ 和节点关系信息向量 $s_c^{r_m}$，得到 $\widetilde{x}^{r_m}_{c}$
• 计算股票 $c$ 针对不同的关系类型的状态注意力得分：

$$ \begin{aligned}\widetilde{\upsilon}_{c}^{r_{m}}&=\widetilde{x}^{r_m}_{c}W_{r}+b_{r} \\ \\

\widetilde{\alpha}_{c}^{r_{m}}&=\frac{\exp(\widetilde{\upsilon}_{c}^{r_{m}})}{\sum_{k}\exp(\widetilde{\upsilon}_{c}^{r_{k}})},\quad|N_{c}^{r_{k}}|\ne 0 \end{aligned} $$

• 根据不同关系类型的注意力得分，加权汇总所有关系信息向量，并更新节点 $c$ 的嵌入表示： $$

e_c^{new}=\Sigma_{k}\widetilde{\alpha}_{c}^{r_{k}}s_c^{r_k}+e_c $$

HATS 先根据特定关系类型下的邻接节点注意力得分有选择地从相邻节点收集有关特定关系的信息，再根据不同关系类型的注意力得分汇总特定关系搜集到的信息向量，最后加权所有有效关系类型下的有效邻接信息，更新股票/节点的嵌入表示

注意区分本文中提到的注意力和后来 Transform 机制中的注意力，二者理念相似但计算方式略有不同

实验分析

数据说明：

• 剔除标普 500 股票中相对独立（不存在相关性）的公司，保留 431 家公司作为实验对象
• 研究样本的价格时间跨度为2013年2月8日至2019年6月17日（总共1174个交易日）
• 从 0_life/精品资源/数据资源/知识图数据资源#Wikidata 收集了企业关系数据，以公司为节点，提取与目标公司相关的 75 种关系
• 根据数据的波动性，将整个数据集划分为 8 个较小的区间
• 每个区间包含 250 天用于训练，50 天用于评估/验证，100 天用于测试

交易策略：

• 先使用两个阈值对个股趋势进行分级：上涨、中性、下跌
• 对 15 家晋升概率最高的公司，选择买入；对 15 家降级概率最高的公司，选择卖出

评价指标：投资回报率，夏普比率，准确度和 F1 分数（分类任务）

第 4 阶段预测效果最佳的关系类型 Top10：

不同阶段不同模型的分类精度（F1 值）：

• GCN：基本图卷积神经网络模型，考虑所有类型的关系
• GCN 20：使用相同的 GCN 模型，只考虑实验性能最佳的 20 种关系类型
• TGC：基于时序图卷积的关系建模，是一种经典的 GNN 股票预测模型

不同阶段不同模型的分类精度（准确率）：

不同阶段不同模型的投资回报率：

不同阶段不同模型的夏普比率：

不同预测模型及其资产价值变化的比较：

不同模型针对不同指数的分类准确率：

使用 T-SNE 对节点表示进行可视化

相关资源

• 论文在线地址
• 开源代码地址
• 本地文件地址：Kim et al_2019_HATS.pdf
• 本地Zotero地址：Kim et al_2019_HATS.pdf