シカゴ大学の研究者らは、大規模言語モデル（LLM）がプロのアナリストに匹敵し、それを上回る精度で財務諸表分析を行えることを実証した。「大規模言語モデルによる財務諸表分析」と題されたワーキングペーパーで発表されたこの研究結果は、将来の財務分析と意思決定に大きな影響を与える可能性がある。

研究者らは、OpenAI が開発した最先端の LLM 「GPT-4」の性能を、企業の財務諸表を分析して将来の利益成長を予測するというタスクでテストした。驚くべきことに、標準化され、匿名化された貸借対照表と、テキスト的な文脈を一切含まない損益計算書だけが提供された場合でも、GPT-4 は人間のアナリストを上回ることができた。

研究者らは次のように書いている。

我々は、LLM の予測精度が、狭く訓練された最先端の ML モデルの性能と同等であることを発見した。LLM の予測は、その訓練記憶から生じるものではない。その代わりに、LLM は企業の将来の業績について有用な物語的洞察（narrative insights）を生成することがわかった。

「思考連鎖型プロンプト」が人間のアナリストの推論をエミュレート

重要な革新点は、GPT-4が金融アナリストの分析プロセスを模倣し、トレンドを特定し、比率を計算し、情報を統合して予測を行うよう導く「思考連鎖型（chain-of-thought）プロンプト」を使用したことである。この GPT-4の強化バージョンは、将来の収益の方向性を予測する際に60％の精度を達成し、人間のアナリストによる予測の53～57％の範囲を顕著に上回った。

「LLM は意思決定において中心的な役割を果たす可能性があることが示唆された」と研究者らは結論付けている。LLM の優位性は、その膨大な知識ベースとパターンやビジネスコンセプトを認識する能力に起因している可能性が高く、不完全な情報であっても直感的な推論を行うことができる。と研究者らは指摘している。

財務分析を変革する LLM

数値分析が伝統的に言語モデルにとって難題であったことを考えると、この発見はさらに注目に値する。「言語モデルにとって最も困難な領域のひとつが数値計算領域であり、そこではモデルが計算を実行し、人間のような解釈を行い、複雑な判断を下す必要がある。

研究チームメンバーの一人 Alex Kim 氏は次のように述べている。

LLM はテキスト的なタスクには効果的だが、数字に対する理解は一般的に物語的な文脈から来るものであり、深い数値的推論や人間の心の柔軟性に欠けている。

一部の専門家は、この研究でベンチマークとして使われた「ANN」モデルは、クオンツファイナンスの最先端を表していない可能性があると警告している。「あの ANN ベンチマークは最先端には程遠い」とHacker News フォーラムにコメントした実務家もいる。

人々は1989年にこの研究を止めたわけではない。黙ってやれば大儲けできると彼らは気づいたのだ。

とはいえ、汎用言語モデルが専門的な ML モデルの性能に匹敵し、人間の専門家を凌駕する能力は、金融領域における LLM のディスラプトの可能性を示している。研究チームのメンバーらは、GPT-4の能力を紹介するインタラクティブな web アプリケーションも作成した。

AI が急速な進化を続ける中、財務アナリストの役割は次に大きく変わるかもしれない。人間の専門知識や判断がすぐに完全に取って代わられることはないだろうが、GPT-4のような強力なツールはアナリストの仕事を大幅に補強・効率化し、今後数年で財務諸表分析の分野を再構築する可能性がある。

【via VentureBeat】 @VentureBeat

【原文】