ChatGPTが応答を生成するのはどの程度正確ですか？

OpenAIが開発したAIチャットボット、ChatGPTは、その精度と性能のために様々な分野で話題になっています。ただし、2021年までに利用可能なデータに限定されていることに注意することが重要です。ペンシルバニア大学のChristian Terwiesch教授が、ChatGPTにMBAの試験を与えることでその正確性をテストしました。

試験は、プロセス分析、在庫回転、待ち行列分析など、さまざまなビジネスコンセプトをカバーする7つの質問で構成されていました。これは現実の人間の環境をシミュレートするために設計され、質問は人間の学生にまったく同じように行われました。Terwiesch教授が驚いたことに、ChatGPTはプロセス分析におけるボトルネックの概念に関する最初の質問に対する回答でA +を取得し、素晴らしいスタートを切りました。

より複雑な質問には戸惑いが見られたものの、チャットボットの全体的なパフォーマンスに教授は感心していました。Terwiesch教授がChatGPTでMBA試験を実施した後、そのAIチャットボットはBとB-の間の成績を受け取ったでしょう。

ChatGPT精度についての説明

ChatGPTの精度の別のデモは医療の分野でした。このチャットボットは米国医師免許試験（USMLE）に合格することができました。研究によると、ChatGPTは全ての試験において50％以上の精度を達成し、回答のための洞察や説明も提供しました。

医療スタートアップ企業Ansible Healthの医師らが主導した別の研究によると、ChatGPTは、米国で医師として免許を取得するために必要な3つの試験すべてで合格ラインに近い結果を示しました。ChatGPTの精度は確かに注目に値しますが、文脈や提示された内容に応じて性能が変わる可能性があることを念頭に置くことが重要です。

モデルを訓練するために使用されるトレーニングデータには、使用されたテキストソースの偏りと制限が含まれているため、責任を持ってモデルを使用することが重要です。

この考えは、OpenAIのCEOも同様で、彼はツイートで「ChatGPTは非常に限られており、今の時点で何か重要なことに依存するのは間違いです。」と述べました。

00:48

01:12

Chat GPTとのテスト会話に失敗しました

上記のスナップショットに示されるように、ChatGPTとのテスト会話から、このAIチャットボットの性能が常に一定であるわけではないことが明らかになりました。

ChatGPTは、アルゼンチンがFIFAワールドカップで何回勝ったかについて尋ねられた時、「アルゼンチンは1986年にFIFAワールドカップで1回優勝しました。」と最初に答えました。しかし、「1978年にFIFAワールドカップを勝ったのは誰ですか」と尋ねられた時、「アルゼンチンが1978 FIFAワールドカップを勝ちました。」とChatGPTは答えました。

これにより、アルゼンチンが2回ワールドカップを優勝したことが結論付けられました。しかし、同じ質問が再度された場合、「アルゼンチンは何回ワールドカップを優勝しましたか？」ChatGPTは以前の会話にもかかわらず、「アルゼンチンは1986年に一度、FIFAワールドカップで優勝しました。」と同じ答えを示しました。

これはChat GPTの正確さを強調し、改良と洗練の必要性を示しています。

今すぐ読む：Chat GPTはコードを書いて修正できるのか？

ChatGPTはみんなに同じ答えを与えますか？

ChatGPTからの回答はわずかに異なる場合がありますが、ユーザーが同じ質問をする場合、非常に似た回答が与えられる傾向があります。

ChatGPTは信頼できますか？

ChatGPTには制限があり、時には不正確な結果や誤った結果を示すことがあります。そのため、十分注意してください。