データをさらに深く掘り下げて、物語の真相を明らかにしましょう。

私たちのチームは、すべての生徒の学習機会向上を支援するために、学生グループのスコア報告の革新に取り組んでいます。私たちは、政策に特化した評価データ利用者と研究者による共同設計チームの一員として、広く使われている評価結果のより良い表示を共同で開発するチームの一員として協力を開始しました。私たちはチームをパートナーとして率い、ETS研究者とデータ可視化の専門家であるイーライ・ホルダー(3iap)を率いました。ホルダーは最近画期的な論文『 Unfair Comparisons』を発表していました。昨春、私たちは隔週で集まり、学生グループテストの結果を報告する方法を考えました。これにより、反応を「ただそういうものだ」から「ニーズX、Y、Zに対応して学生を助けられる!」へと変える形に変えようとしています。その経験を通じて、私たちのすべてのデザインを導いていたモットーは「平均を超える」でした。このブログでは、その単純な変化がどのように学生のパフォーマンスについてより多くを明らかにできるかを共有するために、再びチームを組みました。

ここ数年、マサチューセッツ州の学生は全国教育進捗評価(NAEP)読解評価で他州の学生を平均的に上回っています。2024年にも4年生と8年生の両方で同様の措置が行われました。このような高い評価は、マサチューセッツ州の結果を基準にし、自らの州政策の指針として示唆する政策立案者や教育リーダーの注目を集めています。歴史的にマサチューセッツ州よりNAEPの評価がかなり低かったミシシッピ州とルイジアナ州は、NAEPのスコア向上で称賛され、他の州が彼らの政策からアイデアを得ている例となっています。しかし、ミシシッピ州とルイジアナ州はNAEPの州ランキングを上げているものの、平均スコアはマサチューセッツ州のような上位州に比べて依然として低いままです。NAEPのデータをより深く掘り下げ、平均を超えて考えることで、ミシシッピ州とルイジアナ州が達成したことや、生徒の識字率が互いに、またマサチューセッツ州と比べてどう比較されているかをより明確かつ完全に理解できます。

_{図1。2024年の全国教育進捗評価(NAEP)におけるグレード4の平均読解スコアの棒グラフによると、マサチューセッツ州はルイジアナ州、ミシシッピ州、そして全米よりも平均的に高いスコアを取っています。}

NAEPデータエクスプローラー(NDE)は、メニュー操作で膨大なNAEPデータへのアクセスを提供し、4年生の州レベルの読解力を掘り下げることができました。図1は、全米およびルイジアナ州、ミシシッピ州、マサチューセッツ州の平均グレード4 NAEP読解スコアの棒グラフを示しています。このような棒グラフはかつて人気のものでしたが、多くの点で誤解を招き、特に欠損思考を招きます。このシンプルな棒グラフからいくつかの観察点を挙げます。

• マサチューセッツ州の生徒は、2024年の全国平均215点を上回る225点と、アメリカで最も高いグレード4の読解力を誇っています。この違いはランダムなノイズではありません。これは統計的に有意であり、ブログ全体で指摘されている他のすべての違いも同様です。
• ミシシッピ州は3州の中で219点で次に高い平均スコアで、マサチューセッツより6ポイント低いですが、全国よりは4ポイント高いです。
• ルイジアナ州の平均スコア216は、全国平均とほぼ同じでした。

平均値に加え、NAEPデータエクスプローラーは州レベルのデータも数パーセンタイル単位で提供します。パーセンタイルは、生徒のサンプルを100の等しい部分に分け、それぞれが生徒の1%を表します。特定のパーセンタイルについて話すとき、それは学生の一定割合が落ちるその値のことです。例えば、ある生徒のスコアが75パーセンタイルにある場合、それはその生徒のスコアが他のすべての生徒の75%以上であることを意味します。複数のパーセンタイルポイントをプロットすることで、生徒全体の分布におけるスコアの比較をよりよく理解できます。

_{図2。2024年グレード4全国NAEP読解スコアの注釈付き分布図。}

左から右へ、図2のパネルは、追加の情報層化が学生のスコアとNAEPスケールの関係を示す洞察を与えていることを示しています。 

• 左のパネルでは、単純な棒グラフが全国平均という一つのポイントしか伝えていないことがわかります。このようなチャートでは、ユーザーがバーの内外でのスコア分布を自分なりに考える傾向があり、データの誤解や 、なぜ グループによってスコアが低いのかを誤解しがちです。
• 中央のパネルでは、スコア分布プロットを使って、生徒がどのスコアを取る傾向があったかを強調しています。ここでは、最も濃い色合いのセクションで、全国の中間50%の学生が189(25パーセンタイル)から245(75パーセンタイル)のスコアを挙げていることを示しています。
• 右側のパネルには NAEPの達成レベル が追加され、スコアパーセンタイルの解釈の基準となります。達成レベルは、生徒が知識とスキルをどれだけ示すかを示し、NAEPベーシックは部分的な習熟を示します。ここで最も濃い色合いのセクションでは、学生の中間50%のスコアが3つのレベルにまたがっていることを示しています:NAEPベーシック以下、NAEPベーシック、NAEP習熟。さらに、90パーセンタイルはNAEPアドバンストレベルにわずかに届き、上級レベルに到達できるほど高いスコアを得た学生は10%未満です。

_{図3。2024年4年生NAEP読解スコアの分布図。全国および各州の平均読解スコアは白で示されています。縦線は全国分布のパーセンタイルポイントを示しています。}

図3を見てください。君も僕たちが見ているものが見えるか?ミシシッピ州の分布の左側は、全国やルイジアナ州よりもマサチューセッツ州に近くなっています。ミシシッピ州とマサチューセッツ州の10パーセンタイルは、全国より約10ポイント高いです。

ミシシッピ州とマサチューセッツ州の両方で見直しています
成績の低い生徒により良いスコアを
国全体よりも。

分布の右端には何が見えますか?そこでミシシッピ州の得点は、マサチューセッツ州(13ポイント)やルイジアナ州(4ポイント)よりも低いです。 

ミシシッピ州で最も優秀な学生たち
より多くのサポートが必要になるかもしれません
他州の学生と同じレベルの成績です。

NAEPはまた、学生の家族が 経済的に不利な状況にあるかどうかなど、いくつかの学生の特徴に関するデータも収集しています。経済状況ごとにスコアを分けると、ミシシッピ州、ルイジアナ州、マサチューセッツ州の4年生の読解力スコアのより完全な全体像が見えます(図4参照)。

_{図4。家族の経済状況ごとに分割した4年生NAEP読解スコアの分布図。全国および各州の家族経済状況別の平均4年生読解スコアは白で示されています。縦線は全国分布のパーセンタイルポイントを示しています。}

学生の家庭が経済的に不利な状況にあるかどうかで分析すると、読解力スコアは大きく異なり、経済的に恵まれない家庭の生徒の方が一般的に高い傾向があります。 経済的に恵まれない生徒への読解教育において、州によっては他よりも良い成績を収めているようです。

図4の左パネルを見ると、私たちが見ているものが見えますか?

ミシシッピ州もルイジアナ州も、全国全体を上回っています
学生の成績に関しては
経済的に恵まれない家庭から。

• ミシシッピ州は経済的に恵まれない生徒の中で4年生の平均読解スコア(212)が最も高く、マサチューセッツ州(204)より8ポイント、全米(202)より10ポイント高いです。
• 経済的に不利な学生の10パーセンタイルと25パーセンタイルは、ミシシッピ州の方がマサチューセッツ州より13ポイント高いにもかかわらず、経済的に不利な学生数はミシシッピ州(75%)の方がマサチューセッツ州(40%)のほぼ2倍です。
• ミシシッピ州の学生は、スコア分布の各パーセンタイルポイントで全国平均を6ポイントから15ポイント上回っていますが、最も高いスコア(90パーセンタイル)の学生は、分布の左側で最も大きな差が見られます。
• ルイジアナ州の学生の73%が経済的に不利な状況にあるにもかかわらず、最低パーセンタイルを除く各パーセンタイルポイントで常に全国を約7ポイント上回っています。

経済的に恵まれていない学生のスコア分布を示す図4の右パネルを見て、次のような観察と深い疑問が生じました。

• これら3州はいずれも、全国平均よりも7〜10ポイント高い平均スコアを持っています。
• 分布の左側を見ると、ミシシッピ州とマサチューセッツ州は全米より10〜20ポイント高い10パーセンタイルと25パーセンタイルを誇っています。
• 最大の違いはミシシッピ州の10パーセンタイルで、全国より20ポイント高いです。
• これらの州は、経済的に恵まれない学生に対してどのような支援を提供しているのでしょうか?

_{図5。8年生のNAEP読解スコアの分布図を家族の経済状況ごとに分割したもの。全国および各州の家族経済状況別の8年生平均読解スコアは白字で示されています。縦線は全国分布のパーセンタイルポイントを示しています。}

NAEPの3州の8年生データを見て、傾向が続くか見てみましょう。家族の経済状況ごとにスコアを分けると、図5の左パネルのスコア分布プロットは、ミシシッピ州とルイジアナ州が8年生の経済的に恵まれない生徒の間でマサチューセッツ州と同等の成績を収めていることを示しています。これら3州はいずれも、分布の左から中間部分において全国全体を上回っています。

しかし、経済的に不利でない学生にとっては、ミシシッピ州は他州や全国と比べて改善の余地があります。図5の右パネルを見ると、以下の観察が得られます。

• マサチューセッツ州とルイジアナ州と比べて、ミシシッピ州は高得点・低得点の学生の分布全体で得点が低いです。
  • 例えばミシシッピ州の25パーセンタイルは243で、マサチューセッツ州の25パーセンタイルの258ポイントより15ポイント低く、ルイジアナ州の253ポイントより10ポイント低いです。
• ミシシッピ州の経済的に恵まれない8年生の生徒に対するこの結果は、4年生の調査結果とは著しく異なり、上級学年でより高度な読解力を身につける生徒のニーズに合わせて読解介入が必要であることを示唆しています。
• 対照的に、経済的に恵まれていない学生にとっては、ルイジアナ州はマサチューセッツ州とより似た成績を収めており、しばしばミシシッピ州を最大10ポイントも上回っています。

共通の評価プログラムを用いることで、NAEPデータは州ごとの学生の成績を詳細かつ価値ある比較に提供できます。 

平均NAEPスコアは、マサチューセッツ州の学生がルイジアナ州、ミシシッピ州、そして全米全体で学生を上回っていることを示していますが、平均値で止まると、ミシシッピ州やルイジアナ州の低得点学生のより高い成績を見逃すことになります。具体的には、ミシシッピ州、時にはルイジアナ州も、4年生のリーディングにおいてマサチューセッツ州や全国を上回っています。

• 州内の低得点の生徒たち;
• 経済的に恵まれない学生、特に平均点以下の学生;および
• 経済的に不利でない学生、特に下位10パーセンタイルや25パーセンタイルに入っている学生。 
• ルイジアナ州とミシシッピ州はどちらも、特に経済的に恵まれない生徒の間で、8年生の読解力でマサチューセッツ州とほぼ並んでいう成績を収めています。特に経済的に恵まれていない生徒の間で、ミシシッピ州の8年生の読解力スコアには改善の余地があります。

私たちの望みは、州の教育リーダーがこれらの結果をジャンプのきっかけとして活用できることです
政策や慣行が何をもたらしたのかをもっと知ろうとするのは、話題が逸れました
ルイジアナ州とミシシッピ州は、全国や他の州を上回る成績を収めるでしょう。
特に低得点の読解力向上に関してはなおさらです
学生や経済的に恵まれない学生たち。

教師による生徒のパフォーマンスや 学校 特性のさらなる調査は、これらの州やあなたの州で生徒のパフォーマンス向上に関連している教師や学校の慣行を明らかにすることができます。 こちら をクリックして、データ探索を始めてください。

マリソル・ケヴェルソン、 キャサリン・E・カステラーノ、 エミリー・ケルザビ はETS研究所で働いています。マリはアソシエイトリサーチサイエンティストです。キャサリンは主任研究科学者であり、エミリーはリサーチプロジェクトマネージャーです。 イーライ・ホルダー は3IAPの創設者です。