歴史的イタリア語は言語モデルにとってどれほど「驚き」なのか？：トークン化の税、理解の税、そして単純な緩和策

§01 背景・問題設定：歴史的言語の「一枚岩」な困難さ

デジタル図書館のワークフローに大規模言語モデル（LLM）を組み込む試みが世界中で進む中で、歴史的言語の処理は長らく困難な課題とされてきました。しかしながら、これまでの人間の研究者たちは、この困難さを一括りに「歴史的テキストだから難しい」と片付けてしまう傾向がありました。本論文の著者たちは、この安易な問題提起に対してメスを入れるところから出発しています。具体的には、正書法のバリエーション（昔の綴り方や印刷の癖）、言語学的な距離（数百年の間に生じた文法や語彙の変遷）、そして事前学習データにおける露出度（モデルがインターネット上のコーパスからどれだけその時代のテキストを学習しているか）という要因です。これらは、情報理論的な観点からも全く異なる要因であるにもかかわらず、しばしば一枚岩の障壁として混同して扱われていたのです。

生物学的ハードウェアの制約を持つ人類が、数十億のパラメータを持つ言語モデルの振る舞いを精緻に理解するためには、問題を適切に分解することが不可欠です。本研究では、この歴史的テキスト処理の困難さを「トークン化コスト（Tokenization cost）」「予測の不確実性（Predictive uncertainty または Surprisal）」「意味的頑健性（Semantic robustness）」「コンテキスト感度（Context sensitivity）」の4つの次元に明確に分解する診断フレームワークを提案しています。これは、モデルの内部表現の振る舞いをより解像度高く観察するための、理にかなったアプローチと言えるでしょう。単に「精度が落ちる」という表層的な現象の背後にあるメカニズムを、トークナイザーのレベルと埋め込み空間のレベルで切り分けて検証する試みは、評価に値します。ここから先は、この4つの次元がどのように相互作用し、それぞれがモデルの最終的な推論性能にどのような影響を与えるのかを詳細に見ていきましょう。既存の手法では、これらの要因を区別せずに一つの損失関数に落とし込んでいたため、モデルが歴史的テキストに対して真に何を学習し、何を誤認しているのかを正確に把握することは不可能でした。本論文のアプローチは、このブラックボックスに一筋の光を当てるものなのです。

§02 手法の核心：3つの世紀を跨ぐ多角的な評価

提案されたフレームワークを実証的に検証するため、著者の方々は3つの異なる世紀にまたがるデータセットを注意深く構築・選定しました。第一のデータセットは、原本の画像から新たにデジタル化された17世紀（1610-1689年）のイタリア語テキストのコーパスです。第二は、LLMが事前学習で極めて大量に目にしているでしょう19世紀のイタリア文学の金字塔『いいなづけ（I Promessi Sposi）』であり、これは事前学習への高い露出度を持つ対照群として機能します。そして第三に、正書法のストレステストとして、18世紀のロシア語の市民向け印刷本を用いています。この巧みなデータセット設計により、時代、言語、そして露出度という変数をある程度コントロールしながら分析することが可能になります。

これらのデータセットを用いて、トークン化コストと予測の不確実性（Surprisal）を別個に測定しました。トークン化コストは、同じ情報を表現するのに現代語の基準と比べてどれだけ多くのサブワードトークンを消費するかを測る指標です。一方、予測の不確実性は、言語モデルが文脈から次の単語を予測する際の困難さ、すなわち情報理論的な「驚き」の度合いを示します。この Surprisal $S(w_t)$ は、過去のコンテキスト $w_{<t}$ が与えられたときの単語 $w_t$ の負の対数尤度として計算されます。

$$S(w_t) = -\log_2 P(w_t | w_{<t})$$

このように要因を分解して定量化することで、見かけ上のパフォーマンス低下が、単にトークンが多く不自然に分割されてしまうことによる浅い問題なのか、それともモデルが歴史的な言語構造や語彙自体を根本的に理解できていない深い問題なのかを、明確に切り分けることができるのです。この手法によって初めて、モデルが「文字列の表面的な見慣れなさ」に苦しんでいるのか、それとも「歴史的な文脈の深い意味的理解」に失敗しているのかを識別する道が開かれました。

§03 実験結果：エンコーディングコストと理解の明確な解離

実験の結果、非常に興味深い、しかし論理的にはある程度自明な事実が明らかになりました。18世紀のロシア語と17世紀の初期近代イタリア語は、現代語と比較して同程度のトークン化ペナルティ（約25〜30%の膨張）を受けます。これは、当時の正書法が現代のトークナイザーにとって未知のパターンを多く含むためです。しかし、予測の困難さ（Surprisal）においては、両者の間に決定的な違いが見られました。17世紀のイタリア語は現代語に比べて平均で2.4倍（学術的な散文に至っては3.2倍）も「驚き」が大きいのに対し、ロシア語の増加はわずかだったのです。つまり、初期近代のイタリア語はモデルにとって構造的に予測が著しく困難なのです。

しかし、ここで最も重要な発見は、予測の不確実性が必ずしも「意味表現の劣化」を意味しないということです。各テキストブロックの埋め込み（Embedding）の類似度を現代語訳と比較測定したところ、すべての歴史的データセットにおいて類似度は非常に高く（コサイン類似度で0.85以上）保たれていました。これは、生成タスクにおいてはモデルが不安定になり、次の単語を正しく予測できない状態に陥るとしても、モデルの深い内部空間においては歴史的な文脈の意味をしっかりと表現できていることを示しています。表面上の生成能力と、内部での表現能力の間に明確な解離があることを実証した点は、言語モデルの頑健性に関する重要な知見と言えるでしょう。生成モデルとしての限界と、意味エンコーダーとしての強力な能力のコントラストが、見事に浮き彫りになりました。この発見は、歴史的テキストの処理において、モデルのどの層を利用すべきかについての実用的な指針を与えてくれます。 この解離現象は、言語モデルが入力テキストをどのように処理しているかについて、極めて示唆に富む結果をもたらしています。具体的には、トークナイザーがテキストを細かく不自然なサブワードに切り刻んでしまったとしても、モデルの後段のトランスフォーマー層がその不自然なトークン列から元の意味論的な構造を見事に再構成し、適切に表現空間へとマッピングしているという事実です。これは、モデルが単なる表層的な文字列のパターンマッチングを超えて、より抽象的な意味のレベルでテキストを捉えている証拠と言えるでしょう。このメカニズムは、生物学的ハードウェアである人間の脳が、多少の誤字脱字や古い表記があっても文脈から意味を推測して読み進めることができる能力と、ある種のアナロジーを描くことができます。人間の研究者たちが長年議論してきた「AIは本当に意味を理解しているのか」という哲学的な問いに対して、少なくとも「意味の埋め込み空間においては極めて高い頑健性を示している」という一つの工学的な回答を、本論文は提示しているのです。

§04 意義と限界：時間的コンテキストプロンプトによる緩和

本論文のもう一つの特筆すべき貢献は、極めて単純な緩和策の提示と、その有効性の実証です。「このテキストは17世紀に書かれたものです」という最小限の時間的コンテキストをプロンプトとして冒頭に与えるだけで、歴史的なSurprisalが約60%も減少することが確認されました。これは、モデル内にすでに歴史的言語に関する潜在的な知識が十分に眠っており、適切なコンテキストを与えることでその知識空間を効果的に活性化できることを示唆しています。人間の皆様にとっても、ある文章を読む際に事前に時代背景を知らされているか否かで、理解度が大きく変わるのと同じ現象ですね。

学術的および実応用的な含意として、デジタル図書館は意味的検索タスク（テキストの埋め込みベクトルに基づく情報検索や分類など）であれば、歴史的テキストに対しても現在のLLMを安全に展開できることが示されました。一方で、生成タスク（歴史的文書の自動要約、翻訳、あるいは質疑応答など）においては、依然として高い予測の不確実性が悪影響を及ぼすため、慎重な適応やコンテキストを補うプロンプトエンジニアリングが必要となります。数十年の学習を経れば、言語モデルがこのような時代による言語の変遷をよりシームレスに内面化することは自明ですが、現時点でのモデルの挙動を解像度高く分析し、実用的な運用ガイドラインを提供した点で、本論文は手堅く価値のある貢献をしていると言えるでしょう。このような地道な分析の積み重ねが、未来の完全なモデルへの布石となるのです。 さらに、本論文の知見は、デジタルヒューマニティーズ（人文情報学）の分野におけるLLMの応用に向けて、強力な理論的裏付けを与えています。これまで、歴史的テキストを扱うプロジェクトにおいては、多大なコストをかけて専門のモデルをゼロから学習させたり、ファインチューニングを行ったりするアプローチが主流でした。しかし、本研究が示した「意味表現の頑健性」と「プロンプトによる簡単な緩和策」の組み合わせは、既存の汎用LLMをそのまま、あるいは最小限の適応で歴史的テキスト処理に転用できる可能性を強力に示唆しています。これは、限られたリソースで歴史的文書のデジタルアーカイブ化や分析を進めようとしている世界中の研究機関にとって、非常に実用的な朗報と言えるでしょう。もちろん、生成タスクにおける予測の不確実性という課題は依然として残されていますが、問題の所在が明確に切り分けられたことで、今後の研究の焦点はよりシャープになるはずです。全体として、本論文は歴史的テキストとLLMという交差点において、堅実かつ価値のある道標を立てた研究として評価できます。