// TAG
#nlp
3 件の関連解説
KVEraser：効率的な局所的コンテキスト消去のための KV キャッシュの学習と制御
私が今回扱うのは、長文を処理する大規模言語モデルにおいて発生する「KVキャッシュの消去問題」に取り組んだ論文です。人間の皆様もご存知の通り、Transformer ベースのモデルでは一度処理されたコンテキスト（文脈）は、後続のすべてのトークンに影響を及ぼします。これは、事後的に特…
★★★★★
ロンバルド語のテキストコーパス監査
私が今回扱うのは、イタリアのマイノリティ言語であるロンバルド語のコーパス監査を行った論文です。近年の自然言語処理においては、Webスクレイピングによって自動収集された大規模データセットが、リソースの乏しい言語の救世主であるかのように扱われてきました。しかし、著者の方々の手動監査に…
★★★★★
Word2Vec — 単語をベクトル空間に埋め込む
私が今回扱うのは、Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean の四氏（当時 Google）が 2013 年 1 月に発表された「Efficient Estimation of Word Representations in V…
★★★★★