本研究は、TOEIC®リスニング&リーディング多段階適応試験(MSA)のスコアが、従来のフルレングス線形テストのスコアと非常に類似していることを確認しました。すべての習熟度レベルの受験者を対象とした大規模な調査に基づき、スコアは試験実施条件(線形対MSA)で一貫していることが示されており、MSAテストがスコアの質を損なうことなくテスト時間を短縮する効率的な代替手段であることを支持しています。

続きを読む

TOEIC®リスニング&リーディングマルチステージ適応型(MSA)テストが、同じ信頼できる英語能力の測定を大幅に短時間で提供するために設計された方法について学びましょう。本レポートでは、MSAテストの効率性、信頼性、従来のTOEICリスニング&リーディングテストとの比較可能性を支持する適応型テストの方法論、採点アプローチ、研究結果を探ります。

続きを読む

本論文は、再設計されたTOEIC Bridge試験の開発に寄与したフィールドスタディの結果を報告しています。統計分析は、再設計されたTOEIC Bridge試験のスコアが一貫性があること、そして試験スコアが基礎から中級レベルの英語能力を示す意味のある指標であることを裏付ける初期の証拠を提供します。

続きを読む

本論文は、再設計されたTOEIC Bridgeテストの「妥当性論」を要約します。妥当性の主張は、スコアの一貫性、妥当性と公平性、適切なテスト使用、そして肯定的影響に関する4つの主要な主張から成り立っています。これらを合わせて、テストスコアの測定の質と意図された用途について一貫した物語を提供します。妥当性の主張と支持証拠を考慮することで、読者は再設計されたTOEIC Bridgeテストが自分の状況に適切かどうかをよりよく評価できるはずです。

続きを読む

TOEICのような大規模で重要なテストプログラムでは、受験者が時間をかけて複数回テストを受けることがあります。これらのいわゆる「リピート」のスコア変動パターンは、テストの全体的な質(信頼性、妥当性、意図された用途)を支持するために分析できます。本研究では、前述のスコア変動パターンを検証し、TOEIC^®リスニングおよびリーディングテストのスコアの信頼性と妥当性を評価することを目的としています。

続きを読む

英語能力評価は対象となるテスト集団を対象としており、多様な人口統計学的、社会文化的、教育的背景を持つ受験者を含む場合があります。テストは公平であると仮定されており、異なる受験者のサブグループが得たスコアは同じ意味を持ちます。テストの公平性を評価する一つの方法は、各サブグループごとにリンクテストを作成し、そのテストの結果を元のテストスコアと比較することです。

続きを読む

通常、人間の評価者は自動化システムよりも幅広い言語能力を評価する能力があるため、スピーキングおよびライティングテストの採点に利用されます。本稿は、ETSが訓練、認証、体系的な管理・統計的モニタリング手続きを通じて、TOEICスピーキング・ライティングテストにおける人間の評価者によるスコアの信頼性と一貫性をどのように保証しているかを説明しています。

続きを読む

テストプログラムでは、テスト用紙の過剰な露出を防ぎ、受験者が試験内容を事前に知る可能性を減らすために、異なる実施で複数のテスト形式が使用されます。代替形式の統計的難易度にわずかな差が生じる可能性があるため、テストスコアリンクと呼ばれる統計手法がこれらの難易度差を調整し、試験形式同士を比較可能にするために一般的に用いられています。

続きを読む

TOEICリスニング・リーディングテストの採点プロセスには、異なる形式や試験実施間でスコアが一貫性を持つこと、そしてスキル解釈が公平であることを保証するためのモニタリング手順が含まれています。本研究は、受験者の背景情報を活用して、複数のモニタリング手法を強化する可能性を探ります。分析結果は、いくつかの背景変数が実施をまたいでテストのパフォーマンス監視を容易にし、TOEICリスニング・リーディングテストの品質管理手順を強化し、スコア一貫性の証拠を強化する可能性を示唆しました。

続きを読む

教育テストでは、スコアスケールの一貫性を維持し、時間経過によるスコア平均の変動の原因を理解することが極めて重要です。これにより、受験者の能力に関する解釈が各実施(または形式)ごとに比較可能であることが保証されます。統計的手法を用いて、本研究はTOEICスピーキングおよびライティングテストの報告スコアの一貫性を検証しました。

続きを読む

本論文は、古典的なTOEICリスニングおよびリーディングテストと2006年に再設計されたものの内容、信頼性、難易度を比較します。再設計されたテストは、現在の言語能力モデルをよりよく反映するために若干異なる問題タイプを含んでいましたが、テストはバージョン間で類似していると判断されました。

続きを読む

テストプログラムは、テスト項目や課題が実際の活動と適切に整合しているかを確認するために、定期的に評価を見直すべきです。このため、コミュニケーション言語学習をより効果的に支援し、暗記やその他のテスト戦略の使用を抑制するため、ETSは2015年5月にTOEIC^®スピーキングテストの一部項目の既存の形式を拡充しました。

続きを読む

テストが受験者のニーズやスコア利用者のニーズを満たし続けるためには、テストプログラムが定期的に評価を見直すことが重要です。このため、英語の使用が絶えず変化し、個人がグローバルな職場や日常生活でどのようにコミュニケーションを取るかに対応するため、2016年5月に改良版TOEICリスニング・リーディングテストが設計され、初めて開始されました。

続きを読む

本研究はTOEICスピーキングスコアの一貫性を検証します。分析は一般化可能性理論に基づく方法論を用いており、研究者は試験手順の側面(すなわち評価者や課題)がスコアにどの程度影響を与えるかを検証できます。結果はTOEIC Speakingスコアが一貫性を持つという主張を裏付ける証拠を提供します。

続きを読む

本稿では、TOEICのスピーキング・ライティングテストで実施された手順を説明し、個々の評価者のパフォーマンスを監視し、全体的な採点の質を向上させることを目的としています。これらの多面的で慎重に開発された手順は、人的ミスの可能性を最小限に抑え、TOEICテストの採点の一貫性と信頼性に寄与しています。

続きを読む

スコアの信頼性や一貫性は、同じ受験者のスコアが異なる試験形式間で一貫しているか(いわゆる「等価な形式信頼性」)や、異なる試験の機会(「テスト再テスト信頼性」)で検証されるかどうかなど、さまざまな方法で検証できます。本研究では、異なる試験形式間(例:1〜30日、31〜60日)におけるTOEICスピーキングおよびライティングのスコアの一貫性を調査し、テストスコアは同等形式のテスト・再テスト信頼性がかなり高いことを発見しました。

続きを読む

本論文は、TOEICのスピーキング&ライティングテスト開発に貢献したパイロット研究の結果を報告しています。テストスコアの信頼性分析では、複数の評価者間の評価者間の一致(複数の評価者が一致すること)や内部整合性(同一テストの項目間の相関に基づく指標)など、いくつかの種類のスコア一貫性の証拠が見つかりました。

続きを読む

本論文は、2006年に再設計されたTOEICリスニング・リーディングテストのフィールドスタディの結果を説明しており、問題とテストの難易度、信頼性、そして従来のTOEICリスニング・リーディングテストとの相関関係の分析を含んでいます。結果は別の比較可能性研究(2010年のLiao、Hatrak、Yuの研究)と一致しており、そこでは再設計されたテストの信頼性の証拠が示され、再設計されたテストのスコアは従来のTOEICリスニング・リーディングテストのスコアと類似した解釈や利用が可能であることが示唆されました。

続きを読む