AIのしくみ 074AIアプリの設計
RAGが外れるとき
検索が外れると、LLMは外れた資料に沿って誤った答えを作る。32秒の動画で、効果音と画面の字幕だけで進みます。
用語 検索の失敗 = Retrieval failure
字幕の全文
- 社員が、RAGのアプリに在宅勤務手当の金額を質問します
- 検索の1位は、質問と同じ語を含む2023年版の規程です
- LLMは渡された資料に沿って、古い金額の月3,000円を答えます
- 1つ目の原因は分け方で、2026年版の金額が別のチャンクに分かれています
- 2つ目は語の違いで、2026年版での呼び名は通信費補助です
- 3つ目は古い資料で、2023年版が索引に残っています
- 3つを直すと検索は2026年版を拾い、LLMの答えは月5,000円です
- 検索が拾う資料を直すと、LLMの答えも正しくなります