skip to main content skip to footer

学生成長スコアの集計報告の新しいアプローチ

2021年12月8日

現在、アメリカ合衆国の48州が、州全体の小中学校の生徒テストプログラムの一環として生徒の学力向上を測定しています。成長指標は、学区や学校、さらには教師の説明責任システムの一部としてよく用いられ、現在の成果だけでなく生徒のパフォーマンスをより完全な全体像として提供します。これらのシステムは、学区、学校、または教師のクラスに所属するすべての生徒の成長平均を使用します。このアプローチは一見、学生の進捗をまとめる実用的で単純な方法のように見えますが、実際には問題を抱えることもあります。

生徒数の少ない学校、学区、教師に対して平均的な成長指標を適用すると、年ごとの大きな変動が生じる可能性があります。例えば、ある年に高成長率の指標が90パー センタイルにランクされた小さな学校が、翌年には価値が低く、10パー センタイルにランクインすることもあります。こうした年ごとの変化により、学生の平均成長を意思決定に活用するのが難しくなることがあります。これらの決定はしばしば重要な問題や資金面、学生、学校、学区に影響を与えるその他の考慮事項に関連しているため、これらの措置が正確であり、実行可能な情報を提供することが極めて重要です。

ここ数年、私たちはカリフォルニア州教育局(CDE)と協力し、州の学生の学力向上を測定・報告する方法をよりよく理解できるよう支援してきました。年々の大きな変動に直面した際、カリフォルニア州は成長指標を展開するかどうか、またはどのように進めるべきか迷っていました。その結果、私たちは州の(総)成長指標を改善し、少数の生徒を対象とする学校や学区、あるいは障害のある生徒や英語学習者(EL)などの低発生率の生徒グループに対する過度な不安定さを取り除く方法を見つけることにしました。

作業の過程で、成長指標の精度を向上させ、年ごとの変動を減らすために、経験的最適線形予測(EBLP )と呼ばれる 標準的な統計手法に取り組みました。この統計手法は、病院の患者結果や州内の郡の識字率など、複数のグループの指標を提供するために、さまざまな用途で一般的に用いられています。私たちのチームは、このEBLP手法を成長データに適用するための必要な方法論とコンピュータアルゴリズム、コードを開発しました。これには100万以上の個別の生徒成長指標や数百、あるいは数千校の学校が存在します。

EBLPメソッドは新しい学生成長モデルではありません。これは、単純なゲインスコア(例:今年度のスコアから前年のスコアを差し引いたもの)から、より詳細な 学生成長パーセンタイルまで、あらゆる種類の学生成長スコアに適用可能です。EBLP手続きの強みは、複数年の学生成長スコアデータを最適に活用し、州の報告年度におけるグループの成長スコアをより正確に推定できることにあります。簡単に言えば、EBLPの総合成長スコアは、報告年度のスコアの単純な平均ではなく、2年以上の学生成長スコアの加重平均です。

さらに、EBLPの方法はグループの規模に応じて適応します。より正確で安定した推定値を持つ大規模なグループでは、EBLPの総合成長スコアは単純な平均とほぼ同じです。報告年度の学生成長スコアにほぼすべての重みを置き、過去の学生成長スコアにはほとんど重みを置かないとしています。逆に、小規模なグループの場合、EBLP手続きでは前年の成長スコアにかなりの重みを置くことがあり、報告年度の学生グループの成長を参考にできます。この場合、EBLPは単純平均より顕著に異なりますが、単純平均よりも正確で安定しています。全体として、EBLP加重平均は小規模グループの精度と安定性の向上により大きな影響を与え、小規模グループと大規模グループのパフォーマンス差を縮小します。この方法を用いると、生徒数が少なく、または学校や学区内の生徒グループが少なく、単に生徒数が少ないという理由だけでペナルティを受けることはありません。

このEBLP手法を用いて、私たちはチームの結果をCDEに共有しました。CDEのスタッフは、年ごとの成長スコアの大きな変動に対する解決策として興味を持ち、州内の学校や学区の成長指標の安定性を向上させる可能性を探るよう依頼しました。ETSとCDE による 調査では、EBLPが特に小規模学校や学区において成長指標の精度と年を超えた相関を改善したことが明らかになりました。私たちの提案したアプローチの成功を受けて、カリフォルニア州教育委員会は最近、学校および学区の成長、さらには学校や学区内の生徒グループの成長を報告するためにEBLPアプローチの使用を全会一致で承認しました。

この作業や 当社のR&Dコンサルティングサービスについて詳しくはこちらをご覧ください。

キャサリン・カステラーノはETSの上級研究科学者です。ダン・マカフリーはETSの副社長です。