レベル B1 – 中級CEFR B1
3 分
169 語
University of ChicagoのXiaoyan BaiとChenhao Tanらが主導した研究は、現在の訓練法がなぜモデルに長距離依存の計算を学ばせにくいかを示しました。チームはMITやHarvard、University of Waterloo、Google DeepMindの共同研究者とともに、標準的なファインチューニングとImplicit Chain of Thought（ICoT）を比較しました。
その結果、標準訓練下の2〜12層モデルは4桁の掛け算で1%未満の精度でした。一方でICoTで訓練したモデルは中間値を内部に符号化し、隠れ状態から途中の合計をデコードでき、100%の精度を達成しました。
また、簡単な訓練目標を追加して途中の合計を学ばせるだけで、二層モデルは明示的な思考連鎖なしに99%の精度を示し、注意の使い方や計算戦略を変えました。
難しい単語
- 訓練法 — モデルを学習させるための方法
- 長距離依存 — 離れた要素同士の関係の性質
- ファインチューニング — 既存のモデルを特定用途に調整すること標準的なファインチューニング
- 中間値 — 計算や処理の途中で出る値
- 符号化する — 情報を別の形で表すこと符号化し
- 隠れ状態 — モデル内部の見えない情報の状態
- デコードする — 内部の情報から元の答えを取り出すことデコードでき
- 精度 — 結果がどれだけ正しいかの割合
ヒント：記事中の強調表示された単語にマウスオーバー／フォーカス／タップすると、その場で簡単な意味が表示されます。
ディスカッション用の質問
- ICoTが中間値を内部に符号化することは、モデルの動作にどんな利点を与えると思いますか。理由も書いてください。
- 簡単な訓練目標を追加するだけで二層モデルの精度が上がりました。これを使うときの利点と注意点は何でしょうか。
- 訓練法の違いが注意の使い方や計算戦略を変えるとあります。日常で使うアプリにどんな影響がありそうですか。
