eレートスコアリングエンジンのカスタムアプリケーション

電子評価^® 技術を活用するために、ETSはETS採点技術をコースやオンラインサービスに取り入れた機関に対して、ライティング評価と採点の専門知識を提供しています。標準的なライティングや講師が作成したプロンプトを使うことも、自分で作成することも可能です。

ETSのガイドラインに従う標準的なプロンプトを使うと、エッセイの回答はETSの学年レベルのスコアモデルに提出され、総合的なスコアが付与されます。

もし自分でカスタマイズされたライティングプロンプトを作成する場合は、これらのプロンプトに対するエッセイの回答を集め、採点してETSに送付し、採点モデルを作成・認証する必要があります。ETSは、以下の要件に従ってカスタムeレートエンジンスコアリングモデルを構築するために、プロンプトの開発と回答の採点を支援します。

発展するトピック

• ETSの専門家は、国、州、地区の基準を反映したカスタマイズされたエッセイトピックの作成を支援します。
• ETSは、あなたが独自のカスタマイズトピックを開発し、採点セッションを行い、ライティングスコアを分析する際に専門的なアドバイスを提供します。
• また、ETS開発スペシャリストが組織の仕様に従って開発作業を行い、事前評価セッションを行うこともできます。

エッセイの採点

• ETSはエッセイ採点セッションを実施し、採点方法論や品質保証手続きを取り入れたカスタマイズされたモデル作成のための採点データを収集できます。
• 読者の募集、トレーニング、モニタリングに加え、ETSは講師や訓練を受けた読者がテキスト処理されたエッセイ回答を採点するために利用できるオンライン採点システムを提供しています。
• スコアリングが完了すると、エッセイファイルとそれに伴う読者スコアがスコアリングエンジンに送信され、自動モデル構築が行われます。

品質保証

• トピックのスコアリングモデルを構築する前に、e-rater技術はそのトピックに関するエッセイを分析して訓練されます。
• エッセイは、一貫性のある公正な採点基準を適用した独立した読者から2つのスコアをもらう必要があります。
• 採点されたエッセイのプールは、スコアスケール全体(例えば1から6のスケール)を表現し、e-raterエンジンが各スコアポイントでエッセイを認識できるように訓練する必要があります。

e-rateterエンジンモデルの要件

• スコアリングガイドで明確に定義されたスコア基準
• 採点ガイドで示される執筆課題を反映したエッセイのテーマ
• 対象となる学生集団と同一または類似の学生集団
• 各エッセイの回答に対して独立した読者スコアを2つ(読者はスコアリングガイドの使用訓練を受けるべき)
• ETSの仕様に従ってフォーマットされた電子ファイルには、トピックごとに少なくとも350件の学生回答が記載されています