2024年免費(fèi)的文本工具API接口清單
本章探討了利用財(cái)務(wù)文本數(shù)據(jù)進(jìn)行股票市場(chǎng)預(yù)測(cè)的相關(guān)研究工作。首先回顧了早期研究中采用的基于詞嵌入的技術(shù)，這些技術(shù)雖然能夠提取文本數(shù)據(jù)中的信息，但缺乏對(duì)語(yǔ)境的深入理解。例如，一些研究通過(guò)分析金融新聞流中的情感分?jǐn)?shù)、社交媒體帖子來(lái)預(yù)測(cè)股票價(jià)格，但這些方法未能充分利用文本的上下文信息。
接著，本章介紹了大型語(yǔ)言模型（LLMs）的分類和它們?cè)诹炕顿Y中的應(yīng)用。LLMs通過(guò)在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)到了通用的語(yǔ)言模式。文中詳細(xì)討論了三種類型的LLMs：僅編碼器模型、僅解碼器模型和編碼器-解碼器混合模型，以及它們?nèi)绾瓮ㄟ^(guò)預(yù)訓(xùn)練和微調(diào)來(lái)適應(yīng)特定的下游任務(wù)。特別提到了參數(shù)高效的微調(diào)技術(shù)，如低秩適應(yīng)（LoRA），這種技術(shù)通過(guò)在預(yù)訓(xùn)練模型參數(shù)中引入低秩變化來(lái)減少計(jì)算和內(nèi)存需求。
最后，本章還概述了近期的研究工作，這些工作利用LLMs作為特征提取器，直接從文本中提取預(yù)測(cè)信號(hào)。一些研究通過(guò)微調(diào)預(yù)訓(xùn)練的LLMs來(lái)進(jìn)行更準(zhǔn)確的財(cái)務(wù)情感分析，而其他研究則通過(guò)在生成性LLMs上使用prompt來(lái)提取金融新聞和價(jià)格歷史中的關(guān)鍵因素。這些研究表明，LLMs在量化投資領(lǐng)域具有巨大的潛力，能夠提供從文本到股票未來(lái)表現(xiàn)的直接建模能力。
3.1 問(wèn)題陳述：
如何利用大型語(yǔ)言模型（LLMs）來(lái)預(yù)測(cè)股票回報(bào)以支持股票選擇。在這一部分中，作者設(shè)定了一個(gè)包含多只股票的投資宇宙，并解釋了量化投資者如何根據(jù)定量標(biāo)準(zhǔn)從這個(gè)宇宙中選擇股票來(lái)構(gòu)建投資組合。隨著市場(chǎng)條件的不斷變化，投資者需要定期更新或重新平衡他們的投資組合，這就需要一個(gè)有效的股票選擇過(guò)程。
作者指出，傳統(tǒng)的股票選擇過(guò)程通常涉及多步驟的特征提取和驗(yàn)證，這可能耗時(shí)且需要額外的標(biāo)記數(shù)據(jù)和持續(xù)的改進(jìn)。為了簡(jiǎn)化這一過(guò)程，作者提出了利用LLMs直接從財(cái)務(wù)新聞文本中預(yù)測(cè)股票回報(bào)的方法。這種方法的核心是將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值向量，這些向量能夠捕捉文本的語(yǔ)義信息，并作為預(yù)測(cè)未來(lái)股票表現(xiàn)的特征。
在構(gòu)建預(yù)測(cè)模型時(shí)，作者提出了一個(gè)由文本表示模塊和預(yù)測(cè)模塊組成的復(fù)合結(jié)構(gòu)模型。文本表示模塊負(fù)責(zé)將輸入的文本序列編碼為數(shù)值向量，而預(yù)測(cè)模塊則基于這些向量來(lái)預(yù)測(cè)股票的n步未來(lái)回報(bào)。為了實(shí)現(xiàn)這一目標(biāo)，作者使用了一種特殊的訓(xùn)練方法，即聯(lián)合微調(diào)預(yù)訓(xùn)練的LLM作為文本表示模塊，并訓(xùn)練一個(gè)密集層作為預(yù)測(cè)模塊，以最小化預(yù)測(cè)值與真實(shí)值之間的均方誤差。
此外，作者還描述了如何構(gòu)建用于訓(xùn)練的數(shù)據(jù)實(shí)例集合。每個(gè)實(shí)例都是通過(guò)將投資宇宙中的股票標(biāo)識(shí)符與相關(guān)新聞鏈接起來(lái)，并使用回顧時(shí)間窗口來(lái)選擇可用新聞。這種方法允許模型學(xué)習(xí)新聞文本與股票未來(lái)表現(xiàn)之間的關(guān)系。
3.2 方法論：
探討了構(gòu)建基于LLM的股票回報(bào)預(yù)測(cè)模型的方法論，這一模型由文本表示模塊和預(yù)測(cè)模塊組成，旨在將財(cái)務(wù)新聞文本轉(zhuǎn)化為股票回報(bào)的數(shù)值預(yù)測(cè)。文本表示模塊利用預(yù)訓(xùn)練的LLM將輸入的文本序列轉(zhuǎn)換成高維向量表示，這些向量捕捉了文本的語(yǔ)義信息。具體來(lái)說(shuō)，作者討論了編碼器-only和解碼器-only LLMs在文本表示上的差別，編碼器模型如BERT和DeBERTa通過(guò)遮蔽語(yǔ)言建模任務(wù)學(xué)習(xí)上下文嵌入，而解碼器模型如GPT-3和Mistral通過(guò)自回歸的下一個(gè)詞預(yù)測(cè)任務(wù)進(jìn)行訓(xùn)練。這些模型的不同預(yù)訓(xùn)練目標(biāo)導(dǎo)致它們?cè)谔幚砦谋緯r(shí)采用不同的策略，從而影響最終的文本表示。
此外，本節(jié)還介紹了兩種將LLMs生成的token級(jí)向量整合到預(yù)測(cè)模塊的方法：瓶頸表示和聚合表示。瓶頸表示通過(guò)在輸入序列末尾添加一個(gè)特殊的結(jié)束序列（EOS）標(biāo)記，利用其向量表示來(lái)壓縮整個(gè)序列的信息。這種方法對(duì)于編碼器模型在微調(diào)過(guò)程中與預(yù)訓(xùn)練的一致性可能更為有利。相對(duì)地，聚合表示則是通過(guò)簡(jiǎn)單平均或更復(fù)雜的機(jī)制（如注意力機(jī)制）將所有token的向量表示合并起來(lái)，以獲得整個(gè)序列的統(tǒng)一表示。作者選擇了簡(jiǎn)單平均方法來(lái)實(shí)現(xiàn)聚合表示，因?yàn)樗恍枰~外的訓(xùn)練參數(shù)，并且可以清晰地與瓶頸表示進(jìn)行比較。
最后，第3.2節(jié)還討論了模型的實(shí)現(xiàn)細(xì)節(jié)，包括使用低秩適應(yīng)（LoRA）技術(shù)對(duì)LLMs進(jìn)行微調(diào)，以及其他技術(shù)如梯度檢查點(diǎn)、混合精度訓(xùn)練和DeepSpeed來(lái)減少GPU內(nèi)存使用。這些技術(shù)的運(yùn)用使得模型能夠在有限的資源下進(jìn)行有效的訓(xùn)練。通過(guò)這些方法，研究者能夠在不同的投資宇宙上進(jìn)行實(shí)驗(yàn)，評(píng)估模型在股票回報(bào)預(yù)測(cè)任務(wù)上的性能，并探索不同類型LLMs在量化投資策略中的適用性。
本章詳細(xì)記錄了利用大型語(yǔ)言模型（LLMs）進(jìn)行股票回報(bào)預(yù)測(cè)的實(shí)證研究過(guò)程和分析結(jié)果。研究使用了2003年至2019年間的公司級(jí)財(cái)務(wù)新聞流數(shù)據(jù)，這些數(shù)據(jù)包括了新聞內(nèi)容和相關(guān)公司標(biāo)識(shí)符。同時(shí)，研究涵蓋了北美、歐洲和新興市場(chǎng)的股票投資宇宙數(shù)據(jù)集，包含了股票標(biāo)識(shí)符和對(duì)應(yīng)日期的真實(shí)月度前向回報(bào)。
實(shí)驗(yàn)中，每個(gè)數(shù)據(jù)實(shí)例是通過(guò)將投資宇宙數(shù)據(jù)中的股票標(biāo)識(shí)符與相關(guān)新聞通過(guò)回溯時(shí)間窗口（例如一周）鏈接起來(lái)構(gòu)建的。具體來(lái)說(shuō)，北美市場(chǎng)的數(shù)據(jù)集包含了630只股票，平均每只股票有2.5條新聞，共有366011個(gè)訓(xùn)練實(shí)例和241367個(gè)測(cè)試實(shí)例；歐洲市場(chǎng)的數(shù)據(jù)集包含了350只股票，平均每只股票有1.9條新聞，共有100403個(gè)訓(xùn)練實(shí)例和121705個(gè)測(cè)試實(shí)例；新興市場(chǎng)的數(shù)據(jù)集則包含了370只股票，平均每只股票有2.6條新聞，共有71610個(gè)訓(xùn)練實(shí)例和183608個(gè)測(cè)試實(shí)例。
模型訓(xùn)練使用了批量大小為32，學(xué)習(xí)率為1e-5，并采用了100步的預(yù)熱階段后接線性衰減的策略。LLMs的微調(diào)采用了低秩適應(yīng)（LoRA）技術(shù)，所有模型均在最大上下文長(zhǎng)度為4k的情況下訓(xùn)練了10個(gè)周期，并使用了2個(gè)A100 GPU。
在投資組合構(gòu)建方面，Long-only投資組合是通過(guò)選擇基于回報(bào)預(yù)測(cè)排名位于頂部9/10的股票構(gòu)建的，而long-short投資組合則包括了排名在頂部9/10和底部1/10的股票。所有投資組合中的股票均采用等權(quán)重。
回測(cè)評(píng)估采用了月度再平衡的方式，模擬了每月構(gòu)建的投資組合的交易情況，并報(bào)告了累積回報(bào)圖表和測(cè)試期間的性能統(tǒng)計(jì)數(shù)據(jù)，如年化回報(bào)和夏普比率。
具體到評(píng)估指標(biāo)，研究使用了分位數(shù)RMSE、分位數(shù)精確度和分位數(shù)回報(bào)三個(gè)指標(biāo)來(lái)衡量預(yù)測(cè)模型的性能。分位數(shù)RMSE衡量了基于預(yù)測(cè)排名的分位數(shù)內(nèi)實(shí)際回報(bào)與預(yù)測(cè)回報(bào)之間的誤差；分位數(shù)精確度表示了實(shí)際高回報(bào)股票被正確預(yù)測(cè)在高回報(bào)分位數(shù)的比例；分位數(shù)回報(bào)則是基于預(yù)測(cè)分位數(shù)的股票實(shí)際回報(bào)。
實(shí)驗(yàn)結(jié)果顯示，在北美市場(chǎng)中，使用聚合表示的Mistral和Llama模型在long-only投資組合中實(shí)現(xiàn)了較高的年化回報(bào)，分別為25.15%和27.00%，夏普比率分別為1.20和1.32。在long-short投資組合中，使用聚合表示的DeBERTa和Mistral模型也展現(xiàn)出了較高的年化回報(bào)和夏普比率，分別為12.87%和1.49，以及18.30%和1.26。在歐洲市場(chǎng)中，Mistral的聚合表示在long-only投資組合中表現(xiàn)最佳，年化回報(bào)為15.12%，夏普比率為1.02；在long-short投資組合中，同樣使用聚合表示的Mistral模型年化回報(bào)為9.07%，夏普比率為1.04。新興市場(chǎng)的結(jié)果與北美和歐洲市場(chǎng)類似，其中Llama的聚合表示在long-only投資組合中年化回報(bào)最高，為12.76%，夏普比率為0.90。
與基于情感分析的投資組合相比，基于LLMs的預(yù)測(cè)投資組合在多數(shù)情況下表現(xiàn)更佳。例如，在北美市場(chǎng)中，基于FinBERT和FinVader情感分析的long-only投資組合年化回報(bào)分別為20.64%和12.26%，夏普比率分別為1.22和0.72，而基于DeBERTa聚合表示的預(yù)測(cè)投資組合年化回報(bào)為25.15%，夏普比率為1.20。在long-only投資組合中，基于情感分析的投資組合表現(xiàn)不佳，特別是FinBert，年化回報(bào)和夏普比率均為負(fù)值。
此外，研究還發(fā)現(xiàn)，雖然聚合表示在某些情況下提供了更高的分位數(shù)回報(bào)，但這并不總是意味著較低的分位數(shù)RMSE。例如，在北美市場(chǎng)中，DeBERTa和Mistral的聚合表示在頂部9/10分位數(shù)的分位數(shù)回報(bào)較高，但相應(yīng)的分位數(shù)RMSE也較高。這表明，盡管預(yù)測(cè)可能不夠精確，但只要預(yù)測(cè)結(jié)果仍然落在正確的分位數(shù)內(nèi)，投資組合的回報(bào)就不會(huì)受到影響。
本文證明了通過(guò)微調(diào)大型語(yǔ)言模型（LLMs）來(lái)直接建立財(cái)務(wù)新聞文本表示與股票未來(lái)回報(bào)之間的關(guān)系是可行的，并且能夠?yàn)榱炕顿Y組合構(gòu)建提供有價(jià)值的信號(hào)。研究發(fā)現(xiàn)，使用LLMs的token級(jí)嵌入的聚合表示通常能夠提高僅多頭和多空投資組合的表現(xiàn)；在較大的投資宇宙中，基于解碼器的LLMs預(yù)測(cè)模型能夠產(chǎn)生更強(qiáng)的投資組合，而在較小的投資宇宙中，不同模型的表現(xiàn)則沒(méi)有一致性。在所研究的三種LLMs（DeBERTa、Mistral、Llama）中，Mistral在不同投資宇宙中表現(xiàn)更為穩(wěn)健。此外，基于LLMs文本表示的回報(bào)預(yù)測(cè)相較于傳統(tǒng)情感分析方法，在投資組合構(gòu)建中表現(xiàn)更佳。盡管如此，論文也指出了一些未解決的問(wèn)題，例如需要進(jìn)一步研究編碼器-only模型在大型投資宇宙中表現(xiàn)不佳的原因，以及不同小宇宙中性能變化的原因，為未來(lái)的研究提供了方向。
最后，為大家提供一下好用且高效的大語(yǔ)言模型API：
原文轉(zhuǎn)自 微信公眾號(hào)@QuantML
2024年免費(fèi)的文本工具API接口清單
構(gòu)建高效API的10個(gè)API設(shè)計(jì)最佳實(shí)踐
如何找到合適的API
8個(gè)最佳Swagger替代品
探索頂級(jí)PDF水印API：PDFBlocks（2024年更新）
API 安全 101：是什么、如何做、為什么做
探索SOAP API：深入了解其優(yōu)勢(shì)和戰(zhàn)略實(shí)施
一站式教程：使用Python、PHP和Ruby調(diào)用企業(yè)網(wǎng)站備案/ICP域名備案查詢API
開(kāi)放API的優(yōu)勢(shì)、挑戰(zhàn)和戰(zhàn)略見(jiàn)解
對(duì)比大模型API的內(nèi)容創(chuàng)意新穎性、情感共鳴力、商業(yè)轉(zhuǎn)化潛力
一鍵對(duì)比試用API 限時(shí)免費(fèi)