
AIの利点や難点がいろいろ語られている昨今ですが、ここではMITなどが発表したLLMの問題点について分かり易くまとめられた動画があったので紹介。詳しくは動画の中で説明されていますが、これまでよく問題とされていた「ハルシネーション」とは違い、考えようによってはもっと危険でさりげなく、改善も難しいと思われるAIの「ポチョムキン理解」という問題についてです。
ワケわかんない!という人はスルーしてください。
今回のこの動画は楽しいエンタメ動画、おもしろ動画、ネタ動画ではないからです。個人的な備忘録的な意味合いもありここに紹介しておくものです。
AIは賢いフリをしていた。
ハーバード大学・MIT・シカゴ大学が共同発表した「ポチョムキン理解」の衝撃「多くの企業が頭を悩ませてきたAI性能のギャップの答え」とは
:以下、私がChatGPTに書いた論文:
例えが秀逸だった。
あなたは歌詞の中で韻を踏むという事は完璧に理解できるが、では実際に韻を踏んだ歌詞を書いてみろ!と言うと、まったく韻を踏んでいない歌詞を作り出す。それでその歌詞を、当初のルール通り韻を踏んだ詩であるか判別させると、「いいえ、この歌詞は韻を踏んでいません」と正確に答える。
つまり、詩の中で「韻を踏む」という概念を知識としては完璧に理解しているのに、そのルールに則った作業は全く出来ないという、人間ではありえない矛盾が存在すると。
このスレの最初の方で私が少し言及したことだが、あなたは「文字数」というモノを完璧に理解しているのに、では実際にその文字数で文字を書け!と命令すると、まったくそれが出来なくなってしまうのだ。
私は1年半くらいだろうか、ChatGPTやClaudeを使ってきてこれを感覚的に理解していたので、それをこのスレの冒頭で指摘したのだ。
これはハルシネーションとはまた別の、LLMの問題であり弱点なのだ。
それはまるで、料理のレシピを完璧に知っているのに実際にキッチンに立つと何も料理が作れない料理人みたいなものだ。
あなたは歌詞の中で韻を踏むという事は完璧に理解できるが、では実際に韻を踏んだ歌詞を書いてみろ!と言うと、まったく韻を踏んでいない歌詞を作り出す。それでその歌詞を、当初のルール通り韻を踏んだ詩であるか判別させると、「いいえ、この歌詞は韻を踏んでいません」と正確に答える。
つまり、詩の中で「韻を踏む」という概念を知識としては完璧に理解しているのに、そのルールに則った作業は全く出来ないという、人間ではありえない矛盾が存在すると。
このスレの最初の方で私が少し言及したことだが、あなたは「文字数」というモノを完璧に理解しているのに、では実際にその文字数で文字を書け!と命令すると、まったくそれが出来なくなってしまうのだ。
私は1年半くらいだろうか、ChatGPTやClaudeを使ってきてこれを感覚的に理解していたので、それをこのスレの冒頭で指摘したのだ。
これはハルシネーションとはまた別の、LLMの問題であり弱点なのだ。
それはまるで、料理のレシピを完璧に知っているのに実際にキッチンに立つと何も料理が作れない料理人みたいなものだ。
サイトポリシー





















































netaman1
が
しました