使用這些基本 REST API 最佳實踐構建出色的 API
圖1 代表性大型語言模型（左）和其他基礎模型（右）的路線圖
預訓練基礎模型（PFM）是大規(guī)模預訓練模型，能夠適應解決各種下游任務。PFM的特征是具有涌現(xiàn)能力和同質化，以及在構建AI系統(tǒng)時整合方法。PFM的能力有三個關鍵維度：模態(tài)橋接、推理和規(guī)劃以及交互。
模態(tài)橋接包括多模態(tài)模型，如視覺語言模型等MLLM，彌合圖像和文本之間的差距。推理和規(guī)劃能力包括LLM中的CoT、ToT和GoT，以及任務規(guī)劃代理。交互能力包括行動和通信。時間序列和時空數據的PFM仍處于早期發(fā)展階段，遠未達到上述第二和第三個關鍵維度。
時序數據是現(xiàn)實世界應用的基礎數據，包括時間序列和時空數據。時間序列是按時間順序排列的數據點序列，可以是單變量或多變量。在以下內容中，我們使用特定字母表示法：粗體大寫字母表示矩陣，粗體小寫字母表示向量，書法大寫字母表示集合，標準小寫字母表示標量。
時間序列數據。單變量時間序列x = {x1, x2, · · · , xT } ∈ R T是按時間順序索引的T個數據點的序列，其中xt ∈ R是時間序列在時間t的值。多變量時間序列X = {x1, x2, · · · , xT } ∈ R T ×D是按時間順序索引的T個數據點的序列，但具有D個維度，其中xt ∈ R D(1 ≤ t ≤ T)表示時間序列在時間t沿D個通道的值。時空數據包含時空圖、時序知識圖譜、視頻、點云流和軌跡等多種結構，由時間和空間維度組織的數據點序列組成。本綜述主要關注前三類。
時空圖。時空圖G = {G1, G2, · · · , GT }是以時間順序索引的T個靜態(tài)圖快照的序列，其中Gt = (Vt, Et)表示時間t的快照；Vt和Et是時間t的節(jié)點和邊集。相應的鄰接矩陣和節(jié)點特征矩陣被定義為At ∈ R N×N和Xt ∈ R N×D，其中At = {a t ij}，如果節(jié)點i和j之間存在邊，則a t ij = 0，s.t. e t ij ∈ Et。這里，N = |Vt|是節(jié)點數，D是節(jié)點特征的維數。
時序知識圖譜。時序知識圖譜G = {G1, G2, · · · , GT }是按時間順序索引的T個靜態(tài)知識圖快照的序列，其中Gt = (Et, Rt)是由時間t處的實體和關系集組成的快照。具體來說，Et封裝了主體和客體實體，而Rt表示它們之間的關系集。在時序知識圖譜中，實體和關系可能具有不同的特征，由Xe t ∈ R|Et|×De和Xr t ∈ R |Rt|×Dr表示，其中De和Dr是特征維度。
視頻數據。視頻數據也可以被解釋為一種時空數據，通常被定義為按時間順序索引的圖像序列。設V = {F1, F2, …, FT }是一個按時間順序索引的T幀組成的視頻，其中Ft表示第t幀。為簡單起見，我們假設每個幀F(xiàn)t都是一個像素矩陣，即Ft ∈ R H×W×C，不考慮其他元數據，其中H、W和C分別是幀的高度、寬度和顏色通道。與每個數據類別相關的代表性任務，如圖2所示?？梢钥偨Y為：時間序列任務包括預測、分類、異常檢測和插補。時空圖任務包括預測、鏈接預測和節(jié)點/圖分類。時序知識圖譜任務包括完成和預測。視頻任務包括檢測、字幕、預測和查詢。
圖2 大模型（即語言和其他相關的基礎模型）可以被訓練或巧妙地重新用于處理時間序列和時空數據，以用于一系列通用任務和專用領域應用。
時間序列數據的大模型包括用于時間序列數據的LLM（LLM4TS）和用于時間序列數據的PFM（PFM4TS）。前者是指利用LLM解決時間序列任務，無論LLM在適應過程中是微調還是凍結。另一方面，后者側重于開發(fā)明確針對各種時間序列任務的PFM。其中，PFM4TS領域較新，可能未完全發(fā)掘通用PFM的潛力，但為未來發(fā)展提供見解。每個細分領域再分為通用模型和特定領域模型，如圖3所示。
圖3 從方法論（即LLM與PFM）、動機（如一般目的與特定領域目的）和應用的角度對時間序列和時空數據的大型模型進行綜合分類。
時間序列分析在零售銷售預測、經濟時間序列缺失數據的插補、工業(yè)維護的異常檢測以及來自不同領域的時間序列的分類等應用中至關重要。隨著NLP領域中LLM的快速增長，我們探索了利用這些模型進行時間序列分析的可能性，分別從通用和特定領域模型的角度討論了LLM4TS。
通用模型基于提示的時間序列預測-PromptCast是一項新任務，旨在基于提示進行時間序列預測，為時間序列預測提供了一種“無代碼”解決方案。LLMTime表明LLM是有效的零樣本時間序列學習者。為了應對缺乏大規(guī)模數據訓練的挑戰(zhàn)，提出了一種基于部分凍結LLM的統(tǒng)一框架。類似的工作是TEMPO，它僅專注于時間序列預測，但結合了其他細粒度設計，如時間序列分解和軟提示。等等，最近，Time-LLM被提出用源數據模式和基于自然語言的提示來重新編程時間序列，以釋放LLM作為有效時間序列機器的潛力。
特定領域模型運輸。時間序列預測在智能交通系統(tǒng)（ITS）中起著關鍵作用。AuxMobLCast流程利用LLM進行交通數據挖掘，將人類移動數據轉換為自然語言句子，以便微調現(xiàn)有的LLM進行預測。
金融。最近金融領域有幾篇法學碩士論文報道了簡單有效的指令調整方法，用于情感分析，并將分類情感分析數據集轉化為生成任務，使LLM更有效應用其訓練和推理能力。實驗還使用了GPT-4進行零樣本/少熱點推理，Llama進行微調，生成可解釋的預測，實現(xiàn)了合理性能。還有使用類似方法基于文本數據預測股票價格走勢的文獻。
事件預測。事件預測是對具有不規(guī)則時間戳的異步時間序列數據進行建模的標準方法，例如金融、在線購物和社交網絡等領域。時間點過程（TPPs）已成為對這些數據進行建模的標準方法。事件預測旨在根據過去預測未來事件的時間和類型。LLM在這種設置中可能很有用，因為它們擅長處理豐富的文本信息。
醫(yī)療保健。醫(yī)療領域需要預測患者就診和癥狀時間序列的臨床模型，但現(xiàn)有模型因數據處理和開發(fā)復雜性而受限。GatorTron和NYUTron是臨床LLM，改進了五個臨床NLP任務，展示了在醫(yī)學中使用臨床LLM的潛力。LLM可通過少量即時調諧將數字時間序列數據接地，改進零樣本推斷和健康任務的監(jiān)督基線。心電圖是常用的醫(yī)療監(jiān)測工具之一，可利用自動生成的臨床報告來指導自監(jiān)督預訓練框架。
除了利用LLM進行時間序列分析外，時間序列預訓練和相關基礎模型的開發(fā)具有潛力，有助于識別跨領域和任務的一般時間序列模式。通用模型自2021年以來，提出了大量預訓練的基礎模型，其中大多數是通用的。Voice2Series是第一個能夠重新編程用于時間序列任務的框架。基于對比學習技術出現(xiàn)了幾個基于時間序列數據的預訓練基礎模型，包括TF-C、TS2Vec和CLUDA。CLUDA是一種基于對比學習的無監(jiān)督時序域自適應模型，具有自定義對比學習和最近鄰對比學習組件。此外，該領域還使用了許多其他技術，如STEP模型、MTSMAE、SimMTM和PatchTST。TSMixer是一種輕量級的MLP-Mixer模型，用于多元時間序列預測。特定領域模型PromptTPP是一種預訓練事件序列基礎模型，采用連續(xù)學習（CL）解決災難性遺忘問題。它將基礎模型與連續(xù)時間檢索提示池集成，提示為小型可學習參數，與基礎模型聯(lián)合優(yōu)化，確保按順序學習事件流，無需緩沖或特定于任務的屬性。
本節(jié)將研究跨三個主要數據類別（時空圖、時間知識圖和視頻）的時空數據分析中大模型的進展，每個類別都具有廣泛的現(xiàn)實世界應用。
STG是一種概念，表示個體進入一個星球，其元素在空間和時間上進行交互，形成深刻的時空組合。STG應用廣泛，包括交通、空氣質量、股票價格和人體骨骼分析等。STGNN是STG預測最流行的方法，利用GNN捕捉空間相關性，其他模型學習時間依賴性。LLM和PFM為STGNN提供文本數據支持，增強時空情境豐富性，融合多種形式數據，擴大時空理解深度和廣度。這些模型可生成人類可解釋解釋，提高透明度和可靠性，簡化訓練和推理過程，提高計算效率。
時空圖的大語言模型相較于PFM，使用LLM增強STGNN學習能力的文獻較少。一種方式是利用LLM學習節(jié)點之間的關系，如早期研究提出框架，通過ChatGPT提取網絡結構，再集成到GNN中，提升股票預測性能。另一種方式是利用LLM的先驗知識增強STGNN的下游應用，如LA-GCN中轉化為先驗全局和類別關系拓撲，定義節(jié)點之間的互連，強調關鍵節(jié)點信息?？傊?，LLM在提高STGNN的準確性、情境敏銳度和語義深度方面具有巨大潛力。
時空圖的預訓練基礎模型通用目的。對比學習在圖像和文本領域廣泛應用，在STG學習領域也取得顯著效果。STGCL通過對比正負對，從復雜STG數據中提取豐富有意義的表示，促進交通預測和電力消耗預測等應用。SPGCL最大化正負鄰居區(qū)分度，使用自定進度策略生成最優(yōu)圖，學習頂點間信息關系。氣候。基于AI的氣候預測模型利用深度學習分析大量氣象數據，提取復雜模式。預訓練策略提高模型泛化能力。FourCastNet實現(xiàn)高分辨率預測和快速推理。潘谷的多時間尺度模型組合方法展示更強的中期預測能力。ClimaX針對各種氣候和天氣任務進行微調。W-MAE整合自監(jiān)督預訓練方法，提取基本特征和一般知識。FengWu采用多模態(tài)和多任務方法，將不確定性損失納入區(qū)域自適應優(yōu)化中。運輸。CPPBTR是一種基于transformer的群體流量預測框架，具有兩階段解碼過程。TrafficBERT利用BERT激發(fā)的關鍵特征，采用雙向transformer結構預測整體流量。TFM將交通模擬納入交通預測領域，利用圖形結構和動態(tài)圖形生成算法捕捉交通系統(tǒng)中參與者之間的動態(tài)和相互作用。
知識圖譜（KGs）和時態(tài)知識圖譜（TKGs）是研究知識上復雜多關系設置的重要模型。KGs表示事實，通常從文本數據中提取，以三元組（s，p，o）的形式表示。TKGs通過擴展事實為具有時間戳的四元組（s，p，o，t），有效地捕捉事實之間的時間依賴性，有助于提高對實體行為的理解。
視頻是圖像序列的數字表示，傳統(tǒng)視頻理解方法有2D CNN和3D CNN。最近，變換器用于建模時空依賴性。最新的LLMs和PFMs利用多模態(tài)特性，如CLIP和DALL-E，可聯(lián)合處理視覺和文本模態(tài)，提高視頻分析任務的泛化和魯棒性。視頻的大語言模型現(xiàn)有的視頻理解模型僅針對特定任務，缺乏綜合多種任務的能力。最新的研究表明，LLM的序列推理能力可以應用于各種視頻處理任務，源于預先訓練的自然語言處理LLM。一些研究文獻關注使用LLM的視頻問答（VQA）、多模態(tài)模型和多模式輸入。LAVILA利用大型語言模型的能力來獲取視頻語言表示，克服了視頻文本語料庫規(guī)模有限的挑戰(zhàn)。通過微調預先訓練的LLM，LAVILA創(chuàng)建了自動化的視頻敘述者，提供了全面覆蓋、增強時間同步和多樣性文本內容的好處。視頻的預訓練基礎模型近年來，語言、視覺和多模態(tài)預訓練方法融合，開創(chuàng)了各種面向視頻的預訓練策略。具體而言，OmniVL統(tǒng)一了圖像語言和視頻語言建模，PAXION整合了動作知識，mPLUG-2允許利用各種模塊組合進行單模態(tài)和跨模態(tài)任務，mPLUGvideo基于mPLUG-2的概念設計。這些方法為視頻處理帶來了一系列視頻或視頻語言基礎模型。
本節(jié)總結了與時間序列和時空數據相關的各種應用中常見的數據集、模型和工具，具體如表3。
交通流量預測已成為智能交通系統(tǒng)（ITS）發(fā)展的關鍵問題。時間序列和時空數據的利用有助于創(chuàng)建更準確和自適應的預測模型。
數據集。多個交通數據集已成為基準，如METR-LA、PEMS-BAY、PEMS04、SUTD-TrafficQA、TaxiBJ、BikeNYC、TaxiNYC和SafeGraph的移動數據集。這些數據集提供了交通速度和流量的詳盡見解，以及交通流量建模和預測的寶貴資源。LargeST是第一個大規(guī)模交通預測的交通數據集，包括五年內道路網絡上的8,000多個傳感器。
工具。研究人員可以使用SUMO、TransWorldNG、SafeGraph Data for Academics和trafficBERT等工具進行交通模擬和分析。SUMO是開源的交通模擬器，TransWorldNG是GitHub上的復雜交通模擬工具。SafeGraph Data for Academics提供匿名數據訪問。trafficBERT是針對不同道路條件的模型，利用多頭自注意力機制捕捉時間序列信息。
醫(yī)療保健領域的時間序列預測面臨挑戰(zhàn)，但具有實際意義。預測模型在疾病進展、死亡率估計和時間依賴風險評估方面至關重要。本節(jié)概述了著名數據集和模型/工具，展示了其在推進醫(yī)療解決方案方面的巨大潛力。
數據集。醫(yī)療保健領域有多個數據集，如PTBXL（18,885名患者，21,837份心電圖）、紐約大學數據集（10年住院臨床筆記）、UF Health臨床語料庫（900億字）、i2b2-2012（時間關系注釋）、MIMICIII（ICD-9代碼、生命體征等）和CirCor DigiScope（最大兒科心音數據集）。
模型檢查點和工具包。模型檢查點和工具包在醫(yī)療保健領域廣泛應用。NYUTron處理實時結構化/非結構化筆記和電子訂單，BioBERT優(yōu)化生物醫(yī)學數據集，ClinicalBERT適應臨床領域，BlueBERT擅長生物醫(yī)學NLP任務，Clairvoyance支持臨床決策，ARL EEGModels和DeepEEG處理EEG信號。
天氣預報是日常決策和經濟考慮的基礎，涉及大氣條件預測。本節(jié)介紹了用于天氣動力學時間序列預測的主要數據集、模型和工具。
數據集。SEVIR（風暴事件圖像）包含10,000多個事件，整合了GOES-16和NEXRAD數據。Shifts作為不確定性估計，對真實世界分布偏差具有魯棒性。NASA提供了AvePRE、SurTEMP、SurUPS數據集，闡明了12個氣象參數的小時變化。WeatherBench作為中程天氣預報的基準，CMIP6是國際聯(lián)盟，專注于評估全球氣候模型，ERA5是廣泛的再分析數據庫，提供1979年至2018年的顆粒大氣數據。
模型和工具。Pangu-Weather是快速、精確的全球預測模型；ClimaX基于Transformer架構，配備創(chuàng)新編碼和聚合技術，可在CMIP6數據上預訓練；GraphCast融合GNNs，在預測任務中表現(xiàn)出眾。天氣預報的時間序列評估得益于數據收集和建模的進步，未來有望提供更精細的工具和數據集。
時間序列預測，特別是在金融領域，面臨挑戰(zhàn)。需要深入研究線性和非線性歷史數據交互以進行未來預測。常見應用包括預測買賣信號和預測股票價格變動。
數據集。金融（就業(yè)）收集了COVID-19期間美國100萬活躍員工的就業(yè)數據，并考慮國家政策。StockNet研究了推文和歷史股價對88只股票的影響。EDT面向企業(yè)事件檢測和基于文本的股票預測，包含9721篇新聞文章，為基于文本的股票預測提供基準。NASDAQ-100包含NASDAQ-100的每日股票價格，使用yfinance包從雅虎財經檢索。
模型和工具。FinGPT是開源、擴展、專門為金融領域定制的語言模型，強調數據管理管道和輕量級低秩適應方法的價值。WeaverBird是金融領域的智能對話系統(tǒng)，具有知識庫和搜索引擎，能理解復雜金融查詢，提高可信度。在快速發(fā)展的金融領域，預測模型和工具的不斷改進至關重要。隨著數據量和模型復雜度的增加，金融行業(yè)將從更精確的預測和精細的決策中受益。
視頻問答（VideoQA）致力于使用給定視頻中的內容回答自然語言問題。該模型應生成反映視頻中描繪內容的精確答案。該領域還擴展到視頻質量評估和視頻預測。
數據集。TGIF-QA提供165K個動畫GIF的QA對，MSR-VTT有10,000個視頻剪輯和字幕，WebVid有1000萬視頻剪輯和網絡字幕，MSVD有12萬個視頻片段描述，DiDeMo有近27,000個事件時刻描述，COCO有328K圖像用于對象檢測、分割和字幕。
模型和應用。對比語言圖像預訓練（CLIP）利用自然語言監(jiān)督來訓練圖像表示，BLIP提供獨特的引導方法處理VLP中的噪聲網絡數據，ViLBERT擴展BERT架構聯(lián)合處理視覺和文本輸入，VisualBERT通過Transformer將圖像區(qū)域和語言結合起來，允許self-attention識別隱式的語言-視覺對齊。
事件序列，也稱為異步時間序列，在金融、購物和社交等領域至關重要。本小節(jié)將討論用于事件預測任務的主要數據集、模型和工具。
數據集。亞馬遜和淘寶是兩個包含用戶產品評論行為的數據集，每個事件包含時間戳和類別。Retweet、StackOverflow和Taxi是另外三個事件序列數據集，分別包含用戶轉發(fā)、用戶問題解答和用戶出租車上車事件序列。
模型和應用。Tick 是經典 TPP 統(tǒng)計學習的著名庫，但存在局限性。為克服這些局限性，研究人員開發(fā)了神經 TPP，利用神經網絡的表達能力學習復雜依賴關系。EasyTPP 是神經事件序列建模領域的首個開源研究資產中央存儲庫，提供流行神經 TPP 實現(xiàn)、豐富模塊庫、統(tǒng)一數據集界面和易于使用擴展的評估程序。
除了前面提到的具體應用之外，時間序列預測、分類和異常檢測也是電力、云計算、零售等領域的普遍應用領域。
數據集。ETT（電力變壓器溫度）包含中國兩個縣的變壓器兩年溫度數據；M4提供100,000個時間序列；Electricity【309】含近四年家庭電力消耗數據；阿里巴巴集群跟蹤捕獲24小時共置工作負載統(tǒng)計數據；TSSB（時間序列分割基準）擁有75個注釋時間序列；UCR時間序列分類檔案數據集從85個擴展到128個系列。
通用工具和庫。OpenSTL 是時空預測學習的基準，涵蓋廣泛方法和任務。BasicTS 是基于 PyTorch 的基準測試和工具箱，用于時間序列預測。Merlion 是開源機器學習庫，支持單變量和多元模型。darts 是專為時間序列預測和異常檢測設計的 Python 庫。PyTorch Geometric Temporal 是 PyTorch Geometric 的動態(tài)擴展庫，支持各種功能。
在本節(jié)中，我們討論了當前研究的潛在局限性，并強調了未來六大研究方向，旨在開發(fā)更強大、透明和可靠的大規(guī)模時序數據分析模型。
大型語言模型（LLM）主要處理自然語言，但最近的研究將其擴展到時間序列和時空任務。LLM的學習表示可被微調以捕捉時序數據模式。然而，LLM作為“黑匣子”，其預測和決策背后的數據影響難以理解。需要進行更深入的理論分析，以了解語言和時序數據之間的潛在模式相似性，以及如何有效地將其用于特定的時間序列和時空任務。
現(xiàn)實世界應用中的時間序列和時空數據通常帶有文本描述等補充信息，這在經濟學和金融等領域尤其有用。LLM可以適應學習聯(lián)合表示，考慮時間數據的順序性質和其他模態(tài)的獨特特征，以及不同模態(tài)的時間分辨率差異，以充分利用來自不同時間分辨率的所有信息，獲得更好的性能。
現(xiàn)實世界應用需要研究模型適應非平穩(wěn)環(huán)境的能力，避免災難性遺忘。雖然已有一些研究關注常見模型中的這些問題，但大型模型持續(xù)適應不斷變化的時間數據，包括在線學習策略、適應概念漂移以及適應數據中不斷演化的模式，仍未被充分探索。
理解LLM預測時間序列的原因至關重要，特別是在醫(yī)療和金融領域。目前對LLM內部理解有限，因此需要建立理論框架以理解LLM所學，并研究如何增強大型模型以執(zhí)行時間推理和推斷因果關系。這包括開發(fā)識別因果關系的方法，對于根本原因分析和干預計劃等應用至關重要。
時態(tài)數據敏感，LLM訓練可能泄露隱私。研究隱私保護技術（如差分隱私和聯(lián)邦學習），確保數據隱私，同時受益于LLM在時間序列和時空分析方面的強大功能。
LLM在通用數據上預訓練，并在特定任務上微調。微調數據中的對抗性或噪聲示例可能導致模型存在漏洞。如果微調數據未經過仔細整理，模型可能繼承偏見或漏洞，導致魯棒性受損。此外，LLM在大量數據集上訓練，但可能無法很好地推廣到新數據。時間序列和時空數據可能突然變化或趨勢，LLM在訓練期間未遇到類似模式，可能會產生不可靠的輸出，強調魯棒泛化的需求。
本文章轉載微信公眾號@算法進階