鍵.png)
使用這些基本 REST API 最佳實踐構(gòu)建出色的 API
時間序列預(yù)測是時間序列任務(wù)中最常見和最 重要的應(yīng)用，通過挖掘時間序列潛在規(guī)律，去進行 類推或者延展用于解決在現(xiàn)實生活中面臨的諸多 問題，包括噪聲消除[15]、股票行情分析[16-17]、電力 負荷預(yù)測[18]、交通路況預(yù)測[19-20]、流感疫情預(yù)警[21] 等。
當時間序列預(yù)測任務(wù)提供的原始數(shù)據(jù)僅為目 標數(shù)據(jù)的歷史數(shù)據(jù)時，為單變量時間序列預(yù)測，當 提供的原始數(shù)據(jù)包含多種隨機變量時，為多變量時 間序列預(yù)測。時間序列預(yù)測任務(wù)根據(jù)所預(yù)測的時間跨度長短，可劃分為四類，具體如圖2 所示：
文章余下部分主要介紹基于深度學(xué)習(xí)的時間 序列預(yù)測算法研究，其中第二節(jié)介紹時間序列數(shù)據(jù) 特性，第三節(jié)介紹了時間序列預(yù)測任務(wù)的常用數(shù)據(jù) 集和評價指標，第四節(jié)介紹了深度學(xué)習(xí)的研究進展 及在時間序列預(yù)測領(lǐng)域的應(yīng)用，第五節(jié)展望未來深 度學(xué)習(xí)在時序預(yù)測領(lǐng)域的研究方向。
時間序列預(yù)測是對前 t -1個時刻的歷史數(shù)據(jù)學(xué) 習(xí)分析，來估計出指定未來時間段的數(shù)據(jù)值。時間 序列數(shù)據(jù)由于其各變量間固有的潛在聯(lián)系，常表現(xiàn) 出一種或多種特性，為對時序預(yù)測有更全面的認 識，本節(jié)將對這些常見特性進行詳細介紹。
(1)海量性：隨著物聯(lián)網(wǎng)傳感器設(shè)備的升級，測 量頻率的提高，測量維度的增加，時間序列數(shù)據(jù)爆 炸性增長，高維度的時間序列數(shù)據(jù)占據(jù)主流[22]。在 數(shù)據(jù)集層面進行有效的預(yù)處理工作，是高質(zhì)量完成 時間序列預(yù)測任務(wù)的關(guān)鍵。
(2)趨勢性：當前時刻數(shù)據(jù)往往與前一段時刻數(shù) 據(jù)有著密切的聯(lián)系，該特點暗示了時間序列數(shù)據(jù)受 其他因素影響通常有一定的變化規(guī)律，時間序列可能在長時間里展現(xiàn)出一種平穩(wěn)上升或平穩(wěn)下降或保持水平的趨勢。
(3)周期性：時間序列中數(shù)據(jù)受外界因素影響，在長時間內(nèi)呈現(xiàn)出起起落落的交替變化[23]，例如，漲潮退潮，一周內(nèi)潮水高度不符合趨勢性變化，并不是朝著某一方向的近似直線的平穩(wěn)運動。
(4)波動性：隨著長時間的推移和外部多因素影響，時間序列的方差和均值也可能會發(fā)生系統(tǒng)的變化，在一定程度上影響時間序列預(yù)測的準確度。
(5)平穩(wěn)性：時間序列數(shù)據(jù)個別為隨機變動，在不同時間上呈統(tǒng)計規(guī)律，在方差與均值上保持相對穩(wěn)定。
(6)對稱性：若某段時間周期內(nèi)，原始的時間序列和其反轉(zhuǎn)時間序列的距離控制在一定的閾值以內(nèi)，曲線基本對齊，即認定該段時間序列具有對稱性[24]，例如港口大型運輸車往復(fù)作業(yè)，起重機抬臂和降臂工作等。
基于深度學(xué)習(xí)的時間序列預(yù)測方法 最初預(yù)測任務(wù)數(shù)據(jù)量小，淺層神經(jīng)網(wǎng)絡(luò)訓(xùn)練速 度快，但隨著數(shù)據(jù)量的增加和準確度要求的不斷提 高，淺層神經(jīng)網(wǎng)絡(luò)已經(jīng)遠不能滿足任務(wù)需求。近年 來，深度學(xué)習(xí)引起了各領(lǐng)域研究者的廣泛關(guān)注，深 度學(xué)習(xí)方法在時間序列預(yù)測任務(wù)中與傳統(tǒng)算法相 比表現(xiàn)出了更強勁的性能，得到了長遠發(fā)展和普遍 應(yīng)用。深度神經(jīng)網(wǎng)絡(luò)與淺層神經(jīng)網(wǎng)絡(luò)相比有更好的 線性和非線性特征提取能力，能夠挖掘出淺層神經(jīng) 網(wǎng)絡(luò)容易忽略的規(guī)律，最終滿足高精度的預(yù)測任務(wù) 要求[30]。本節(jié)余下部分將介紹可用于解決時間序列 預(yù)測問題的三大類深度學(xué)習(xí)模型。
3.1.1 卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks， CNN)是一類以卷積和池化操作為核心的深層前饋 神經(jīng)網(wǎng)絡(luò)，在設(shè)計之初，其用于解決計算機視覺領(lǐng) 域的圖片識別問題[31-32]。卷積神經(jīng)網(wǎng)絡(luò)做時間序列預(yù)測的原理是利用 卷積核的能力，可以感受歷史數(shù)據(jù)中一段時間的變 化情況，根據(jù)這段歷史數(shù)據(jù)的變化情況做出預(yù)測。池化操作可以保留關(guān)鍵信息，減少信息的冗余，卷 積神經(jīng)網(wǎng)絡(luò)可以有效減少以往算法提取特征的人力資源消耗，同時避免了人為誤差的產(chǎn)生。卷積神經(jīng)網(wǎng)絡(luò)所需的樣本輸入量巨大，多用于預(yù)測具備空間特性的數(shù)據(jù)集，其網(wǎng)絡(luò)結(jié)構(gòu)一般有五層，具體結(jié)構(gòu)如圖 4 所示：
從表 1 中可以看出模型在樣本量巨大的多變量 數(shù)據(jù)集上處理短期預(yù)測任務(wù)時，Kmeans-CNN 采用 先聚類分類再由模型訓(xùn)練的思路取得了比較理想 的預(yù)測效果，后續(xù)也有不少研究人員在解決時序預(yù) 測問題時進行類似處理。引入了擴展卷積和殘差連 接等架構(gòu)元素的 TCN 能保有更長的有效歷史信息， 同樣達到了不錯的預(yù)測效果，而且其網(wǎng)絡(luò)較為簡單 清晰。目前，CNNs 的預(yù)測精度與循環(huán)神經(jīng)網(wǎng)絡(luò)等其 他網(wǎng)絡(luò)結(jié)構(gòu)相比已不占優(yōu)勢，難以單獨處理步長較 長的時序預(yù)測問題，但常作為一個功能強大的模塊 接入其他先進算法模型中用于預(yù)測任務(wù)。
RNNs 循環(huán)神經(jīng)網(wǎng)絡(luò)類算法自提出就一直是解決時間序列預(yù)測任務(wù)的重要方法，常常作為一個模塊嵌入到其他算法中來獲得更好的預(yù)測效果，在2017 年以前一直作為解決時間序列數(shù)據(jù)預(yù)測問題的主力模型，得到廣泛應(yīng)用。主要循環(huán)神經(jīng)網(wǎng)絡(luò)類算法實驗性能對比和總體分析如表3 和表4所示：
表 3 可以看出，GRU 和 LSTM 在性能上相當， 但都受限于只能從一個方向上學(xué)習(xí)訓(xùn)練，在預(yù)測精 度 上 要 低 于 可 以 從 兩 個 方 向 上 獲 取 信 息 的 Bi-LSTM 模型。Bi-LSTM 在解決短期時序預(yù)測任務(wù) 時的優(yōu)勢包括所需的樣本數(shù)量少，擬合速度快，預(yù) 測精度高，如今依然有眾多學(xué)者研究使用。循環(huán)神經(jīng)網(wǎng)絡(luò)類方法可以捕獲并利用長期和 短期的時間依賴關(guān)系來進行預(yù)測，但在長序列時間 序列預(yù)測任務(wù)中表現(xiàn)不好，并且 RNNS 多為串行計 算，導(dǎo)致訓(xùn)練過程中對內(nèi)存的消耗極大，而且梯度 消失和梯度爆炸問題始終沒有得到徹底解決。
介紹 Transformer 模型之前先要介紹一下注意力機 制，人類眼睛的視角廣闊，但局限于視覺資源，往往重 點關(guān)注視線中的特定部分，注意力機制就是以此為靈感 提出，重點關(guān)注數(shù)據(jù)中的更有價值的部分[48-49]。Transformer 所采用的自注意力機制所解決的 情況是：神經(jīng)網(wǎng)絡(luò)的輸入是很多大小不一的向量， 不同時刻的向量往往存在著某種潛在聯(lián)系，實際訓(xùn) 練的時候無法充分捕捉輸入之間的潛在聯(lián)系而導(dǎo)致模型訓(xùn)練結(jié)果較差。
Transformer 類算法如今廣泛用于人工智能領(lǐng)域的各項任務(wù)，在Transformer 基礎(chǔ)上構(gòu)建模型可以打破以往算法的能力瓶頸，可以同時具備良好的捕捉短期和長期依賴的能力，有效解決長序列預(yù)測難題，并且可以并行處理。上述算法性能對比和總體分析如表 6 和表 7 所示：
從表 6可以看出 Transformer類算法為避免過擬 合需要大量數(shù)據(jù)來進行自身的訓(xùn)練，在中期和長期 預(yù)測任務(wù)上都有著不錯的性能表現(xiàn)。目前，部分 Transformer 類算法在保留編碼器- 解碼器架構(gòu)的同時，開始重新審視注意力機制的作 用，因為在錯綜復(fù)雜的長序列預(yù)測任務(wù)中自注意力 機制可能不可靠。Informer 等在降低復(fù)雜度的同時 選擇犧牲了一部分的有效信息，Conformer 使用局 部注意力與全局的 GRU 進行功能互補。Pyraformer 在相對較低的配置下依然表現(xiàn)出不 錯的性能，一定程度上緩解了 Transformer 類算法設(shè) 備要求高的問題，適合在欠發(fā)達地區(qū)普及使用。
文章在對時間序列數(shù)據(jù)、經(jīng)典時間序列參數(shù)模 型和算法評價指標簡單介紹后，系統(tǒng)總結(jié)了基于深 度 學(xué) 習(xí) 的 時 間 序 列 預(yù) 測 算 法 ， 其 中 以 基 于 Transformer 的模型為主，深入分析了 Transformer 類算法的網(wǎng)絡(luò)架構(gòu)優(yōu)缺點，在注意力機制被提出以 來，時間序列預(yù)測任務(wù)發(fā)展進入快車道取得了令人 矚目的成果。下面列出了時間序列預(yù)測領(lǐng)域的重點 問題和進一步的研究方向，以促進時間序列預(yù)測算 法的研究和完善。
(1) 采用隨機自然啟發(fā)優(yōu)化算法優(yōu)化深度學(xué)習(xí) 模型的多個超參數(shù)。深度學(xué)習(xí)算法愈發(fā)復(fù)雜，需要 處理的超參數(shù)越來越多，超參數(shù)的選擇往往決定著 算法能不能突破局部最優(yōu)陷阱達到全局最優(yōu)。隨機 自然啟發(fā)優(yōu)化算法靈感來自群體智能的各種現(xiàn)象、 為動物的自然行為、物理定律以及進化定律。優(yōu)化 算法首先基于問題的約束隨機生成一定數(shù)量的可解解，然后利用算法的各階段重復(fù)尋找全局最優(yōu)解，在限制范圍內(nèi)尋找最優(yōu)的超參數(shù)以提升模型預(yù)測能力。因此，采用隨機自然啟發(fā)優(yōu)化算法用于模型最優(yōu)超參數(shù)尋找，將成為未來研究熱點之一。
(2) 研究適合時間間隔不規(guī)則的小數(shù)據(jù)集的網(wǎng)絡(luò)架構(gòu)。現(xiàn)有 Transformer 模型架構(gòu)復(fù)雜，參數(shù)多，在周期性好的數(shù)據(jù)集上表現(xiàn)出優(yōu)越的性能，但在數(shù)據(jù)量小，時間間隔不規(guī)則的數(shù)據(jù)集中表現(xiàn)不理想。Transformer 類模型為在小數(shù)據(jù)上的過擬合問題值得進一步思考和解決。處理時間間隔不規(guī)則的數(shù)據(jù)集時，在模型架構(gòu)中引入重采樣、插值、濾波或其他方法是處理時間序列數(shù)據(jù)和任務(wù)特征的新思路，會是未來一個新的研究方向。
(3) 引入圖神經(jīng)網(wǎng)絡(luò)(graph neural network，GNN)用于多變量時序預(yù)測建模。由于多變量時序預(yù)測任務(wù)的潛在變量相關(guān)性十分復(fù)雜，且在現(xiàn)實世界中的數(shù)據(jù)相關(guān)性是變化的，導(dǎo)致準確多變量預(yù)測具有挑戰(zhàn)性。最近不少學(xué)者采用時間多項式圖神經(jīng)網(wǎng)絡(luò)將動態(tài)變量相關(guān)性表示為動態(tài)矩陣多項式，可以更好地理解時空動態(tài)和潛在的偶然性，在短期和長期多變量時序預(yù)測上都達到了先進的水平。因此GNN 對多變量時序預(yù)測的強大建模能力值得進一步研究。
(4) 研究同時支持精確形狀和時間動態(tài)的可微損失函數(shù)作為評價指標。在時間序列預(yù)測領(lǐng)域中已經(jīng)使用了許多測量度量，并且基于歐氏距離的點誤差損失函數(shù)，例如MSE，被廣泛用于處理時間序列數(shù)據(jù)，但是其逐點映射，對形狀和時間延后失真不 具有不變性。損失函數(shù)不僅要最小化預(yù)測和目標時 間序列之間的差距還應(yīng)該考慮整個輸出序列和基本 事實之間的相關(guān)性，從而幫助模型生成更及時、更 穩(wěn)健和更準確的預(yù)測，而不是僅僅逐點優(yōu)化模型。如果損失函數(shù)能在曲線形狀和時間感知上對模型進 行評價能更有利于訓(xùn)練出高效準確的時間序列預(yù)測 模型。
論文地址：http://fcst.ceaj.org/CN/10.3778/j.issn.1673-9418.2211108
文章轉(zhuǎn)自微信公眾號@算法進階