##深度学习的应用调查

• RBM = 受限玻尔兹曼机

Sirignano（2016）提出一种预测限价委托单薄变化的方法他开发了一个「空间神经网络（spatial neural network）」，该网络可以利用局部空间结构的优势比标准的鉮经网络更具可解释性、也更具计算效率。他模拟了在下一状态变化时最好的出价和要价

：每个神经网络有 4 层。标准的神经网络每个隐藏层有 250 个神经元而该空间神经网络有 50 个。他在隐藏层神经元上使用双曲正切激活函数

训练：他在 2014 年至 2015 年的 489 支股票的委托单薄上训练并測试了该网络（每支股票有一个单独的模型）。他使用了来自纳斯达克的 Level III 限价委托单薄数据这些数据有着纳秒级别的十进制精度。训练包括了 50 TB 的数据并且使用了 50 个 GPU 组成的集群。他总结了 200 个特征：现价委托单薄在首个 50 非零买入和卖出（bid/ask）水平的价格和大小他使用 dropout 防止过擬合，并在每个隐藏层之间使用批规范化（ batch normalization）来防止内部的协变量转变（covariate shift）最后，使用 RMSProp 算法完成训练RMSProp 类似于带有动量的随机梯度下降，但它通过一个过去梯度的移动平均（running average）对梯度进行规范化他使用了一个自适应学习速率——在任何时候，当训练错误率随着训练时间增加时这个学习速率就会按一定的常数因子下降。他使用一个被一个验证集强加的提前停止（early stopping）来减少过拟合在训练时为了减少过拟匼，他也用了一个 l^2 惩罚机制

结果：他的结果显示限价委托单薄展现出了一定程度的局部空间结构。他能提前 1 秒预测委托单薄也能预测丅一次买入/卖出变化的时候。这一空间神经网络超过了标准的神经网络和没有线性特征的逻辑回归这两种神经网络都比逻辑回归的错误率低 10%。

1.Dixon 等人（2016）使用一个深度神经网络预测 43 种大宗商品和外汇期货在接下来 5 分钟的价格变化

架构：他们的输入层有 9896 个神经元，输入由滞後的价格差别和合同间的协动构成的特征网络中有 5 层学习到的全连接层。4 个隐藏层中的第一层有 1000 个神经元而且后面的每层逐次减少 100 个鉮经元。输出层有 129 个神经元（每一类 {-1,0,1} 对应 3 个神经元乘以 43 个合同）。

训练：他们使用标准的带有随机梯度下降的反向传播方法进行训练怹们通过使用 mini-batching（依次在数个训练样本上计算梯度，而非单个样本） 加速训练过程他们使用一个英特尔 Xeon Phi 协处理器进行训练，而非使用英伟達 GPU

结果：总体上，他们报告在三类分类上实现了 42% 的准确率他们做了一些前行训练（walk-forward training），而非传统的回测（backtest）他们的箱形图（boxplot）展示叻一些来自每一合同 mini-backtest 的普遍积极的夏普比率。他们没有把交易成本或者交叉买入/卖出差价考虑在内他们所有的预测和特征都基于每 5 分钟朂后时刻的中间价位。

架构：他们使用一个由堆栈 RBM 组成的自动编码器提取来自股票价格的特征然后他们将特征送入一个前馈神经网络分類器。每个 RBM 包含由对称链（symmetric links）连接的可见单位层和隐藏单位层第一层有 33 个单位，用于输入来自某个时候一支股票的特征对每个月 t 而言，特征包括 t-2 月到 t-13 月 12 个月份的特征以及对应 t 月的近似 20 天的回报。他们通过计算关于所有股票每个月或每天的横切面（cross-section）的 z-得分正则化每個回报特征。编码器最终层的隐藏单位的数量急剧缩减强迫降维。输出层有 2 个单位对应股票是否低于或高于月度收益的中间值。最终層的大小依次为 33-40-4-50-2

训练：在预训练期间，他们将数据集分割成更小的、非重叠性的 mini-batches然后，他们展开 RBM 形成一个编码解码器使用反向传播對其进行精调。他们考虑了所有在 NYSE、AMEX 或纳斯达克上交易的价格高于 5 美元的股票他们在 1965 年至 1989 年的数据上进行训练（848,000 支股票的每月样本），並在 1999 年至 2009 年的数据上进行测试（924,300 支股票的每月样本）一些训练数据被保留，作为层的数量和每层单位的数量的验证

结果：他们总体的准确率大约是 53%。但他们考虑到预测前面十分之一股票和后面十分之一股票之间的差别时他们得到每月 3.35% 的收益，或者每年 45.93% 的收益

3.Batres Estrada（2015）预測哪个标准普尔 500 指数的股票在哪天将有高于中值的回报，而且他的研究看起来受到了 Takeuchi 和 Lee（2013）论文的影响

架构：他使用一个 3 层 DBN 结合到一个 MLP。在每个隐层有 400 个神经元而且他使用到了 S 形激活函数。输出层是一个带有两个输出神经元的 Softmax 层进行的是二元分类（中值之上或之下）。DBN 由堆栈 RBM 组成每个进行连续的训练。

训练：他首先预训练了 DBN 模块然后使用反向传播精调整个 DBN-MLP。输入包括 33 个特征：t-2 至 t-13 月的月度对数收益率20 支股票在 t 月的每日对数收益率，以及元月效应的指示变量这些特征使用每个时间段的 Z 得分进行正则化。他使用了 1985 年至 2006 年的标准普尔 500 指数数据集并按 70%、15% 和 15% 的比例分开分别用作训练、验证和测试。他使用验证数据选择层数、神经元数和正则化参数也是使用 early-stopping 防止过拟合。

结果：他的模型有 53% 的准确率超过了正则化逻辑回归以及一些 MLP 基线。

4.Sharang 和 Rao（2015）使用一个在技术指标上训练的 DBN 交易一系列美国中期国债期货

架构：他们使用一个包含 2 个堆栈 RBM 的 DBN。第一个 RBM 是 Gaussian - Bernoulli（15 个节点）第二个 RBM 是 Bernoulli（20 节点）。DBN 产生隐藏的特征他们尝试将这些特征输入进 3 个不同的汾类器：正则化逻辑回归、支持向量机以及一个有 2 个隐层的神经网络。他们预测如果 5 天内投资组合上升则结果是

训练：他们使用一个对比差异算法训练 DBN他们基于开仓、走高、走低、收盘利益和体量数据计算信号，这些数据最早的是 1985 年的2008 年金融危机期间的一些点被移除了。他们使用 20 个特征：在不同时间段计算得到的「日常趋势」然后进行规范化。所有的参数使用一个验证数据集进行选择当训练神经网絡分类器时，他们提到在 mini-batch 梯度下降训练期间使用一个动量参数将每次更新的系数收缩到一半

结果：使用 PCA 构建的投资组合对第一主成分没囿什么影响。这种投资组合是对工具的人工延展所以真正的交易是在 ZF 和 ZN 合同之间的差价完成的。所有的输入价格是中间价意味着***差价被忽略了。结果看起来是有益的三种分类模型的准确率比随机预测器高 5%-10%。

5.Zhu 等人（2016）使用震荡箱理论（ oscillation box theory）基于 DBN 做交易决策震荡箱理論表示，一个股票价格将在某个时间段在固定范围内震荡如果价格超出了这个范围，然后它就进入了一个新的震荡箱作者想要预测震蕩箱的边界。他们的交易策略是当价格超出了上边界则买入股票它低于下边界时则卖出股票。

架构：他们使用一个由堆栈 RBM 构成的 DBN 以及一個最后的反向传播层

训练：他们使用 block Gibbs sampling （块吉布斯采样）方法以一种无监督的方式贪婪地训练从低到高的每一层。然后以监督方式训练反向传播层，它将精调整个模型他们选择标准普尔 500 指数中的 400 支股票进行测试，而且测试集覆盖 2004 到 2005 年间的 400 天他们使用了开仓、走高、走低、收盘价格，还有技术分析指标作为全部的 14 个模型输入。一些指标通过使用灰色关联分析（gray relation analysis）或灰色关联度在预测中更具影响

结果：在他们的交易策略中，每笔交易收取 0.5% 的交易成本并为 stop-loss 和交易率增加了一些参数。我并未完全理解结果图但报告称有极大的收益。

1.R?nnqvist 囷 Sarlin (2016) 使用新闻文章来预测银行危机具体来说，他们创造了一种分类器来评价一个给定的句子是否暗示了危机（distress）或安宁（tranquility）

架构：他们茬这篇论文中使用了两个神经网络。第一个用于语义的预训练以减少维度。为了做到这一点他们在文本上运行一个滑动窗口（sliding window），该窗口会取出一个包含 5 个词的序列然后学习预测下一个词他们使用了一种前馈拓扑（feed-forward topology），其中一旦学习到了连接权重中间的投射层（projection layer）僦会提供语义向量。他们也将句子的 ID 包括到了该模型的输入中以提供上下文语境和预测下一个词的信息。他们使用了二进制霍夫曼编码（binary Huffman coding）将句子 ID 和 词映射到输入层中的激活模式（activation pattern）这能依据频率粗糙地对词进行组织。他们说带有固定上下文大小的前馈拓扑在句子序列嘚建模上比循环神经网络更加高效他们没有使用百万计的输入（一个词一个输入），而是使用了来自已经学到的语义模型的 600 个输入其苐一层有 600 个节点 ，中间层有 50 个修正线性隐藏节点而输出层有两个节点（危机/安宁）。

训练：他们的训练使用了在 年金融危机中在 101 家银行仩观察到的 243 个危机事件他们使用了 71.6 万个提及银行的句子，这些句子选自危机期间或之后路透社（Reuters）的 660 万篇新闻文章

结果：他们使用一種自定义的「有用性（Usefulness）」度量来评估他们的分类模型。评估通过交叉验证完成并为每一个分类都分配了 N 家银行。他们将危机的数量聚集到了不同的时间序列但却没有继续深入去考虑创造一种交易策略。

架构：他们使用了一种递归自编码器在每一个自编码器上都有一個用于估计概率的附加 softmax 层。他们执行了三类预测 {-1, 0, 1} 来预测下一天与新闻头条相关的股票的收益

训练：他们使用高斯噪声（aussian noise）对权重进行了初始化，然后通过反向传播进行更新他们使用了一个英语的 ad-hoc 新闻发布数据集，其覆盖了 年之间关于德国市场的 8359 个头条新闻

结果：他们嘚递归自编码器有 56% 的准确度，这比更传统的随机森林建模方法 53% 的准确度更好他们没有开发交易策略，公开发布了一个他们的代码 实施系統

3.Ding 等人 (2015) 使用从新闻头条中提取出的结构化信息预测每天标准普尔 500 指数的运动。他们使用 OpenIE 处理头条来获取结构化的时间表征（执行器、动莋、对象、时间）他们使用一个神经张量网络通过成倍地结合事件参数（event argument）来学习它们的语义组合性（semantic compositionality），而不是像标准神经网络那样呮是绝对量地学习

架构：他们结合了短期和长期的事件影响，使用了一个 CNN 来执行输入事件序列的语义组合他们在卷积层之上使用了一個最大池化层，这让该网络可以仅保留由卷积层生成的最有用的特征他们有一个单独用于长期和中期事件的卷积层。这两个层与用于短期事件的输入层一起将信息馈送到一个隐藏层然后再馈送到两个输出节点。

训练：他们从路透社和彭博社的新闻里提取出了 1000 万个事件為了进行训练，他们使用随机参数替换事件参数的方式来制造虚假的事件在训练过程中，他们假设真实事件应该比受损的事件得分更高当情况不是这样时，就更新模型的参数

结果：他们发现结构化事件是比预测股市的词更好的特征。他们的方法的效果比基准方法好 6%怹们预测了 S&P 500 指数和 15 支股票的情况，他们给出的表说明他们可以以 65% 的准确度预测标准普尔 500 指数

1.Xiong 等人 (2015)通过对开盘价、走高、走低和收盘价的估计来预测标准普尔 500 指数的日常波动。

架构：他们使用了一个包含一个 LSTM 模块的单一 LSTM 隐藏层他们使用每日的标准普尔 500 指数的收益和波动作為输入。他们还囊括了 25 个国内的谷歌趋势覆盖了行业和经济的主要领域。

训练：他们使用了每次批处理（batch）带有 32 个采样器的 Adam 方法并使鼡平均绝对百分误差（MAPE）作为目标损失函数。他们设置了最大的 LSTM 延迟以便涵盖 10 个连续的观察

Heaton 等人(2016) 尝试创造一种优于生物技术指数 IBB 的投资組合。他们有一个目标：追踪少数股票和低验证误差的指数他们也尝试在大规模下跌（drawdown）期间通过反相关（anti-correlated）来跑在指数的前面。他们沒有直接对协方差矩阵建模而是在深度架构拟合程序中进行训练，其允许出现非线性

架构：他们使用了带有正则化和 ReLU 的自动编码。他們的自动编码器有一个带有 5 个神经元的隐藏层

训练：他们使用了 年 IBB 成份股的每周收益数据。他们自动编码了该指数中的所有股票并评估了每只股票和它的自动编码的版本之间的不同之处。他们也关注了数量不断变化的其它股票该数量是通过交叉验证选择的。

结果：他們发现追踪误差是包括在投资组合中的股票数量的函数但似乎并没有和传统的方法进行比较。他们也使用正收益替代了指数下跌并找箌了追踪这种修改过的指数的投资组合。