AIのしくみ 074AIアプリの設計

RAGが外れるとき

一覧に戻る

検索が外れると、LLMは外れた資料に沿って誤った答えを作る。32秒の動画で、効果音と画面の字幕だけで進みます。

用語 検索の失敗 = Retrieval failure

字幕の全文

  1. 社員が、RAGのアプリに在宅勤務手当の金額を質問します
  2. 検索の1位は、質問と同じ語を含む2023年版の規程です
  3. LLMは渡された資料に沿って、古い金額の月3,000円を答えます
  4. 1つ目の原因は分け方で、2026年版の金額が別のチャンクに分かれています
  5. 2つ目は語の違いで、2026年版での呼び名は通信費補助です
  6. 3つ目は古い資料で、2023年版が索引に残っています
  7. 3つを直すと検索は2026年版を拾い、LLMの答えは月5,000円です
  8. 検索が拾う資料を直すと、LLMの答えも正しくなります