Notatki do odcinka
生成AIは2階建てで進化してきました前回に続き、生成AIの話。今回はLLMの基本的な仕組みについて。LLMがやっていることは「次の単語を予測して返す」、ただそれだけ。そんなアホみたいな仕組みであたかも会話しているように見えたことが、ChatGPT登場時の衝撃だったという話。トークン、パラメーター(≒エンジンの排気量)、スケーリング則についても触れました。
• 22-1: 歯磨きの間にチェスアプリ 前回エピソード
• ChatGPT
• LLM(大規模言語モデル) - Wikipedia
• トークン(自然言語処理) - Wikipedia
• LLMの仕組みをざっくり理解する - Qiita 数式なしの入門解説
• 「LLMは次のトークンを予測しているだけ」は正しいのか? - note 「予測しているだけ」の先にある話
• LLM の基礎 | Microsoft Learn
• Scaling Laws for Neural Language Models(論文) パラメーター数と性能の関係
• ニューラルネットワーク - Wikipedia
• ディープラーニング - Wikipedia
LISTENで開く
Strona: listen.style

