AI生成テキストをフラグ付けするツールは有用ですが、注意が必要です。

生徒たちが宿題の助けとしてAIツールにますます頼る中、教師や教授は新たな役割を担うよう求められています。それは、学問の誠実さを守る使命を持つ探偵のような存在です。エッセイを書いたのは学生ですか、それともChatGPTですか?AI検出器が助けとなり、教育者が生徒の提出物にAI生成されたテキストを特定するのを助けています。しかし、これらのツールは決して完璧ではありません。

AI生成エッセイの検出器を初めて開発されて以来、広く研究してきた科学者として、繰り返しますが、どんなAI検出器も完璧な精度を達成することはできません。異なる検出器はエッセイを誤分類し、誤ってAI生成の本物の人間の文章を検出したり、AI生成のコンテンツを検出し損ねたりすることがあります。これにより、慎重な使用と精査の必要性が強調されます。

今年初めに私と同僚が行った 調査 に基づき、教師や教授がAI検出器を責任を持って使うためのいくつかのヒントを紹介します。

ラベルを読んでください。 AI検出器が絶対に完璧ではありません。特定のツールを使う際は、そのツールが報告する検出精度に注意してください。例えば、OpenAIは自社の 検出 器がAI生成テキストを正しく識別できるのはわずか26%で、人間が書いたテキストをAI生成と誤ってフラグ付けしたのは9%だと述べています。6か月後にそのツールは停止されました。

テキストの長さは重要です。 長いテキストは一般的にAI検出器でより信頼性の高い結果をもたらします。言い換えれば、単一の単語がAIによって生成されたのか短い文なのかを判別することはほぼ不可能です。私たちの研究では、信頼できる検出には50語のテキスト長が最低要件であることが示唆されました。

AI検出器は、人間とAIが共同作成したコンテンツを確実に検出できません。 人間とAIが協力すると、AI生成テキストの定義と検出が曖昧になります。各課題でどれだけAI生成コンテンツが許されているか、またなぜAIをどのように活用したかを明確に示すガイドラインを学生に示すことが重要です。

注意:検知器には偏りがある可能性があります。 AI検出器は、おそらくその訓練方法の関係で、明確なパターンなしに特定の人口統計グループに対して バイアスを示す ことがあります。したがって、重要な意思決定を行う際にAI検出器の出力だけに頼ることは控えたほうがいいと思います。

結果の一貫性を高めるために複数のツールを使うこと。 異なるAI検出器は同じテキストに対して異なる結果をもたらすことがあります。複数の検出器を使い、それらの出力を照合することで、より包括的な評価が可能になります。

テキストベースの検出器だけに頼らないでください。 検出器の出力と並んで、キーストロークデータや執筆過程のビデオ録画などの追加情報源も検討し、より情報に基づいた判断ができるようにしましょう。

AI技術は進化し続け、学生は必然的にAIツールを学習に取り入れることになります。私と同僚は TeachAIに携わるのを楽しみ、今後も教育者が進化するテクノロジーを活用して学校や人生で成功するよう支援する機会を増やせることを楽しみにしています。

ジャンガン は研究ディレクターであり、協働問題解決、創造性、好奇心、デジタルリテラシーなどの複雑なスキルの評価を専門としています。