ETSに第一線の科学者たちが集まり、公平性のための評価のパーソナライズを探る

「私たちは、それぞれの知識とスキルを、その人に最も適した方法で測定しようと努めなければなりません。」
- ランディ・ベネット、ETSノーマン・O・フレデリクセン評価イノベーションチェア

理論的には、個別評価は非常に...明らかだった。必要なことは皆同意できますが、「どうやって行うか」こそが課題と機会を生み出し、評価コミュニティが将来の評価を再定義し、背景、興味、第一言語、文化的アイデンティティに関係なく、個々の知識と能力を測 る解決策を開発する必要があります。

ETSでは、評価の未来を毎日体現しています。また、パーソナライズドラーニングなどの重要な研究分野で活躍する第一線の研究者や革新的な頭脳がいることは光栄ですが、私たちだけで現在の評価パラダイムを変えることはできないことを理解しています。

「このイベントは、より大きな利益のために個別評価の可能性を共同で探求するための多くのステップの一つです」とETSのリサーチ担当副社長カ ドリエ・エルシカン氏は述べました。

このイベントは活発な対話を呼び起こし、公平性に貢献するパーソナライズされた評価 を実現するために必要なことについて議論を促しました。これは今年予定されている4回の会議のうちの最初のもので、ETSの新しい研究アジェンダに沿ったものでした。最初のイベントで聞いた内容は以下の通りです:

ランディ・ベネット、
ノーマン・O・フレデリクセン ETS評価イノベーションチェア

「アメリカをはじめ、世界中の多くの国々は前例のない人口変動を経験しています。その変化は、特に人種・民族、言語、社会経済的な側面における多様性の拡大に向けたものです。これらすべての側面が、文化的な多様性を大きく生み出しています。今日の試験は、私たちや多くの国が経験している文化的多様性のレベルに対応するために設計されていません。この対立が、多様性に対応するための個別化を含む新たな評価の概念の必要性を促しています。

公平性を達成するために意図的に行われなければ、パーソナライズは容易にさらなる不平等を生み出す可能性があります。開発を誰が行うか、選ぶ方法、個別化する変数、利用する参加者サンプルが重要です。テストを開発する人々やAI学習システムの開発者の人口構成は、アメリカや多くの国の公立学校の人口構成とはまったく異なります。これは公平性のためのパーソナライズ設計の文脈で問題となります。」

マシュー・L・バーナッキ、
ノースカロライナ大学チャペルヒル校学習科学・心理学准教授、ドナルド&ジャスティーン・ターベット特別研究者

「教育研究者たちは何十年もかけて、指導設計が特定の学習者にどのように利益をもたらすかを研究してきました。学習に関する多くの心理学的理論は、教師やデザイナーが学習体験に持つ資産をどのように対応・活用できるかを考えるためのプレイブックとして機能します。その知識を構築するのではなく、パーソナライズの専門家は既存の知識ベースを設計スキーマに取り入れ、学習者の適切な特徴に合わせてパーソナライズし、評価が学習者の経験や成果にどのように影響するかを改善する必要があります。...パーソナライズをデザインのレンズとして採用することで、個々の知識とスキルを公平に示し育てる機会を提供する学習・評価体験を設計する際に、個人をより豊かに表現する助けとなります。」

オカン・ブルット、
アルバータ大学 計測・データサイエンス准教授

「画一の評価から個別化評価へと移行するにあたり、信頼性や妥当性といった教育測定の核心的な概念を再考する必要があります。これらの概念に対するより広く包括的な定義があれば、パーソナライズされた評価の大規模採用をより効果的に支援できます。パーソナライズは、より公平で包摂的な学習環境を促進することで社会問題に取り組む可能性を秘めています。パーソナライズされた評価は、学習者が自分自身の学習体験や選択を通じて、自分が知っていることやできることを真に示す力を与えます。」

ニール・ヘファーナン、
ASSISTments Foundationの創設者兼理事長、ウィリアム・スミス学部長のコンピュータサイエンス教授であり、ウースター工科大学の学習科学・技術大学院プログラムディレクター

「ETSや同業者たちと一緒に、公平性のためのパーソナライゼーションについて話し合えてとても良かったです。形成的評価は今後も重要であり、私のオンライン数学プラットフォーム ASSISTments.org がどのように学習をパーソナライズしているかを説明するためにこのグループに参加できたことを光栄に思います。」

セリーナ・マグローガン、
AP^® カリキュラム、指導、評価シニアディレクター カレッジボード^®

「個別評価の鍵は処方的学習です。明確なアウトプットパラメータと事前にスコアリングルーブリックを備えた処方的な学習機会は、学生が自分の成果物に対して主体性や責任感、さらには誇りを持つ助けとなるでしょう。この点で、評価は彼らにとって効果的であり、不利なものではありません。」

キンドラ・V・ミドルトン、
大学院教育心理学教授
ハワード大学

「ここ数年、学習と評価におけるパーソナライズの進展が期待に満ちています。パーソナライズはすべての学生に利益をもたらすと同時に、公平なアクセスを提供する可能性を秘めています。しかし、パーソナライズには適切な測定を確保する責任も伴いますが、現在、このムーブメントは前向きな方向に向かっています!」

ロバート・J・ミスレヴィ、
メリーランド大学名誉教授、元フレデリック・M・ロード測定・統計学チェア(ETS)

「パーソナライズと社会文化反応評価(SCRA)は、生徒の個人的、社会的、文化的、言語的背景を適切に活用し、彼らが何を知っているか、何ができるかをよりよく示します。私の講演では、さまざまな種類の評価の特性を設計・利用・分析するための証拠的推論フレームワークを概説し、これらの原則をさまざまな目的に適用します。学習におけるスコア解釈の局所的妥当性と、大規模なテストプログラムにおけるスコアの比較可能性との間に異なるトレードオフを提供する設計を検討しています。学習科学技術の進歩により、ターゲットを絞ったスコア利用において妥当性、つまり公平性を高める多様なアプローチが可能になりました。」

ジェシー・R・スパークス、
ETS上級研究科学者

「より公平性を高めるための個別化評価には多くの課題と機会があります。 パーソナライズの実施方法は、評価のユースケースによって程度や質が異なる場合があります。例えば、教育と学習を支援するための評価にパーソナライズを取り入れる機会が増えるかもしれません。「どのように、いつ個別化すべきか、そしてどの程度まで個別支援が評価への公平な参加や、より公平な生徒の成果や教育機会に貢献できるのかを理解することが極めて重要です。」

葉桐、
評価運用担当上級副社長(NBME)

「パーソナライズされた評価は、学習者の成功への道を支援する形成的な領域において大きな可能性を秘めています。しかし、パーソナライズの際には評価設計や実施における文化的・社会的側面にも注意を払う必要があります。一方で、背景に関係なく、誰もが自分の知識や能力を公平に示せる公平な機会を提供する公正な評価を提供する必要があります。一方で、学習者自身の文化や価値観だけでなく、他者についても意識を高めるために、評価を教育ツールとして活用する必要があります。」