TOEIC®リスニング&リーディングマルチステージ適応型(MSA)テストが、同じ信頼できる英語能力の測定を大幅に短時間で提供するために設計された方法について学びましょう。本レポートでは、MSAテストの効率性、信頼性、従来のTOEICリスニング&リーディングテストとの比較可能性を支持する適応型テストの方法論、採点アプローチ、研究結果を探ります。

続きを読む

本論文は、4つのコミュニケーションスキルすべてを測定する再設計されたTOEICブリッジ評価の設計動機、評価の目的、そして基礎から中級学習者向けの日常文脈における英語のリスニング、リーディング、スピーキング、ライティング能力の定義について述べています。この情報はテスト開発およびその後の妥当性研究の基盤となります。

続きを読む

再設計されたTOEICブリッジ試験は、エビデンス中心設計(ECD)と呼ばれる評価開発手法を用いて開発されました。本論文は、受験者の基礎から中級レベルの英語能力の証拠を引き出す課題設計にECDがどのように用いられたか、また試験開発過程で得られた様々なデータ源が問題や試験設計の意思決定にどのように影響したかを記録しています。

続きを読む

本論文は、再設計されたTOEIC Bridge試験の開発に寄与したフィールドスタディの結果を報告しています。統計分析は、再設計されたTOEIC Bridge試験のスコアが一貫性があること、そして試験スコアが基礎から中級レベルの英語能力を示す意味のある指標であることを裏付ける初期の証拠を提供します。

続きを読む

本論文では、再設計されたTOEIC Bridgeテストスコアと言語能力の自己評価との関係を検証した2つの研究を紹介します。これらの結果は、テストスコアが言語能力の有意義な指標であり、テストスコアが共通ヨーロッパ言語参照枠組(CEFR)などの言語能力基準で定義される言語能力レベルを意味のある差別化に用いることができるという主張を支持する証拠を提供します。

続きを読む

この研究は、TOEIC^®スピーキングテストのスコアが、国際的な職場の専門家によって判断される試験受験者のコミュニケーション効果の良い予測因子であるかどうかを調査しました。10か国の専門家が参加し、異なるコミュニケーションシナリオにおける受験者のコミュニケーション効果を評価しました。結果は、TOEICスピーキングテストのスコアが専門家がコミュニケーション効果をどう認識するかと比較して、有意義な能力評価であることの証拠を提供します。

続きを読む

本研究は、国際的な職場の専門家がTOEICライティングテストのスコアを、受験者の作文能力の「機能的適格性」(またはコミュニケーション効果)を予測する良い指標かどうかを調査しました。10か国の専門家が参加し、異なるコミュニケーション状況における受験者の文章の機能的十分性を評価しました。結果は、TOEICライティングテストのスコアが、専門家が文章の機能的適切性を認識する能力の有意義な評価であることの証拠を提供します。

続きを読む

本論文は、再設計されたTOEIC Bridgeテストの「妥当性論」を要約します。妥当性の主張は、スコアの一貫性、妥当性と公平性、適切なテスト使用、そして肯定的影響に関する4つの主要な主張から成り立っています。これらを合わせて、テストスコアの測定の質と意図された用途について一貫した物語を提供します。妥当性の主張と支持証拠を考慮することで、読者は再設計されたTOEIC Bridgeテストが自分の状況に適切かどうかをよりよく評価できるはずです。

続きを読む

本稿は、TOEICのテストスコアがグローバルな職場環境で受験者の英語コミュニケーション能力の有効な指標となることを確実にするために実施された試験開発と研究プロジェクトの非技術的な概要を提供します。

TOEICテストの主な価値は、その妥当性にあり、テストが私たちが主張する機能をどの程度行っているかと定義できます。

続きを読む

テストスコアの検証を通じて、TOEICテストは異なるが関連するスキルを測定し、それらを総合することで英語能力のかなり完全な全体像を提供していることが明らかになりました。この発見は、言語能力評価における4スキルアプローチが重要であることの追加的な証拠を提供します。

続きを読む

英語能力評価は対象となるテスト集団を対象としており、多様な人口統計学的、社会文化的、教育的背景を持つ受験者を含む場合があります。テストは公平であると仮定されており、異なる受験者のサブグループが得たスコアは同じ意味を持ちます。テストの公平性を評価する一つの方法は、各サブグループごとにリンクテストを作成し、そのテストの結果を元のテストスコアと比較することです。

続きを読む

テストスコアの意味をよりよく理解し、意思決定を容易にするために、スコア利用者は異なる2つのテストのスコアがどのように関連しているかを理解する必要があるかもしれません。2つの異なるテストのスコア間の関係は通常、「コンコーダンステーブル」にまとめられ、2つのテストのスコア間の対応を示します。残念ながら、一部のコンコルダンス表は研究の根拠なしに作成・配布されており、受験者に関する不正確で不公平な判断につながることがあります。

続きを読む

この研究では「ファクター分析」と呼ばれる統計手法を用いて、TOEICリスニング・リーディングテストのパフォーマンスを最もよく説明する統計モデルを特定しました。研究者たちは、リーディングとリスニングスキルを別々の能力として表現するモデル(二要素モデル)が、スコアの解釈方法と一致してパフォーマンスを最もよく説明していることを発見しました。

続きを読む

テストプログラムでは、テスト用紙の過剰な露出を防ぎ、受験者が試験内容を事前に知る可能性を減らすために、異なる実施で複数のテスト形式が使用されます。代替形式の統計的難易度にわずかな差が生じる可能性があるため、テストスコアリンクと呼ばれる統計手法がこれらの難易度差を調整し、試験形式同士を比較可能にするために一般的に用いられています。

続きを読む

伝統的に、研究者たちは「真正性」という用語を、言語テストの課題が現実世界で使われるものとどれだけ一致するかを指し、課題やテストにおいて望ましい特性として使われてきました。本ホワイトペーパーは、TOEICスピーキングテストのいくつかの問題形式が、より多様な現実世界の状況を含むように拡張された経緯を説明しています。

続きを読む

本論文では、4つのスキル言語テストが英語でコミュニケーションできるかどうかを評価する最良の方法であること、そしてこのアプローチがどのような効果をもたらすかを説明します。

• 受験者にとってより公正な評価方法となる
• テストユーザーの意思決定の質を向上させる
• 意思決定者、教師、学習者にとって、よりポジティブなインパクトを生み出す

続きを読む

TOEICリスニングテストには、グローバルな職場に関連する項目やタスクが含まれ、さまざまな実際の文脈を対象としています。テストフォームの数が増える中、TOEICリスニングテストの重要な目標は、幅広い文脈にわたって大量の問題を維持することで、問題生成の効率を高めることで、TOEICリスニングテストの重要な目標となっています。

続きを読む

本研究では、特定の言語スキル(例:話す)における習熟度を、そのスキルに対応するTOEICテストのスコアだけでなく、他のスキルのTOEICテストスコアも考慮することでより正確に推定できるかどうかを調査しました。結果はこの主張を支持し、4つのスキルによるTOEICテストのスコアを合わせることが、単独のどのスキルよりも英語能力のより妥当な測定指標であることを示唆しました。

続きを読む

本研究は以下のことを調査します:

• TOEICのテストの1つの能力スコアが、4つのスキルすべてにおける受験者の英語能力の自己評価とどれだけ相関しているか
• 一つの英語スキル(例:読解)が、複数のTOEICテストスコア(すなわちリスニング、スピーキング、ライティング)を使ってより正確に推定または予測できるかどうか

続きを読む

差分項目機能(DIF)は、予想外に偏りがあり、ある受験者グループに不適切に有利な問題や課題を特定するための統計手法です。話すテストや作文テストの課題の一つは、パフォーマンスベースまたは「構築応答」テストを分析するために使える実証済みで実践的なDIF技術の欠如です。本論文では、そのようないくつかの手法を調査し、スコア解釈の公平性を確保するための研究方法を示しています。

続きを読む

本論文は、古典的なTOEICリスニングおよびリーディングテストと2006年に再設計されたものの内容、信頼性、難易度を比較します。再設計されたテストは、現在の言語能力モデルをよりよく反映するために若干異なる問題タイプを含んでいましたが、テストはバージョン間で類似していると判断されました。

続きを読む

エビデンス中心設計(ECD)は、テストスコアに基づいて評価が何を測定し、スキル解釈を支持するのかを明確にする評価開発手法です。本論文は、TOEICスピーキングおよびライティングテストの開発に用いられたECDプロセスについて説明しています。テスト設計プロセスを通じて収集されたエビデンスは、TOEICスピーキング&ライティングテストのスコア解釈の妥当性を基盤的に支持しました。

続きを読む

本論文は、TOEICのスピーキング&ライティングテスト開発に貢献したパイロット研究の結果を報告しています。テストスコアの信頼性分析では、複数の評価者間の評価者間の一致(複数の評価者が一致すること)や内部整合性(同一テストの項目間の相関に基づく指標)など、いくつかの種類のスコア一貫性の証拠が見つかりました。

続きを読む

テストが受験者のニーズやスコア利用者のニーズを満たし続けるためには、テストプログラムが定期的に評価を見直すことが重要です。このため、英語の使用が絶えず変化し、個人がグローバルな職場や日常生活でどのようにコミュニケーションを取るかに対応するため、2016年5月に改良版TOEICリスニング・リーディングテストが設計され、初めて開始されました。

続きを読む

2006年のTOEICリスニング・リーディングテストの再設計のようなテスト再設計プロジェクトの後も、テストスコアが依然として意味のある解釈可能であるという証拠を提供することが重要です。本研究では、TOEICリスニング・リーディングテストの再設計によるスコアと、受験者が自分の英語能力を認識しているとの関係を調査しました。研究者たちは、テストスコアと受験者の認識との間に一定の相関があることを発見し、再設計されたTOEICリスニング・リーディングテストのスコアが英語能力の有意義な指標であることの証拠を提供しました。

続きを読む

本研究は、TOEIC Bridgeのスコアと、受験者が英語で日常の言語課題を遂行する能力についての自己評価を比較することを目的としました。その結果、テストスコアは受験者の自己評価と良好な相関を示し、TOEIC Bridgeスコアが英語能力の有効かつ公正な指標であることを支持するさらなる証拠を提供しています。

続きを読む

本研究は、TOEICリスニング・リーディングスコアとTOEICスピーキング・ライティングスコアの関係を調査し、リスニング・リーディングスコアをスピーキング・ライティングスコアの予測因子として使用すべきかどうか、またはその逆を判断することを目的としています。調査結果は、測定されたスキルに対するテストスコアの妥当性を支持しています(例:リスニングとリーディングのテストスコアはリスニングとリーディングスキルの意味ある解釈を提供します)。

続きを読む

本研究は、TOEICスピーキングおよびライティングテストのスコアと、学生が日常の英語課題を遂行する能力についての自己評価を比較しようとしました。研究者たちは、テストスコアと自己評価の間に比較的強い相関関係があることを報告しました。この発見は、TOEICスピーキングおよびライティングテストのスコアが英語能力の指標であることを支持するさらなる証拠となります。この研究はPowers, Kim, Weng, and Van Winkle(2009)としても発表されました。

続きを読む

スケールアンカリングは、テストスコアをスコア範囲や習熟度レベルに分類するプロセスです。統計的手法と専門家の判断を組み合わせて、各習熟度レベルで受験者が通常示すスキルや知識の記述を作成します。本研究報告書は、TOEICリスニングおよびリーディングテストのスケールアンカーリングプロセスを説明しており、意味のあるスコア解釈を促進します。

続きを読む

本報告書は、2016年にTOEICリスニング・リーディングテストを更新するプロジェクトの目標と成果について説明しています。特に国際的な職場環境でのコミュニケーションにおける英語の使用は絶えず進化しています。したがって、TOEICリスニング・リーディングテストは定期的に再検討され、試験内容が職場や日常生活における最新のコミュニケーションを反映していることを確認し、英語能力に関する意味のある解釈を支援し、英語教育と学習に良い影響を与えることを目的としています。

続きを読む

時間が経つにつれて、言語能力の概念化が現在の理論に合致し、テスト課題が実際の課題を示すものであることを確実にするために、テストの設計を見直すことが重要になります。本レポートは、TOEICリスニング・リーディングテストの再設計作業の目標、理論的整合性、手順および成果を概説します。  

続きを読む

本論文は、2006年に再設計されたTOEICリスニング・リーディングテストのフィールドスタディの結果を説明しており、問題とテストの難易度、信頼性、そして従来のTOEICリスニング・リーディングテストとの相関関係の分析を含んでいます。結果は別の比較可能性研究(2010年のLiao、Hatrak、Yuの研究)と一致しており、そこでは再設計されたテストの信頼性の証拠が示され、再設計されたテストのスコアは従来のTOEICリスニング・リーディングテストのスコアと類似した解釈や利用が可能であることが示唆されました。

続きを読む

本研究では、TOEIC Bridgeスコアと教師による受験者の英語での日常言語課題の実施能力評価を比較しました。著者らはこれらの評価とテストスコアの間に中程度の相関関係があり、TOEIC Bridgeテストスコアが英語能力の指標としての妥当性を裏付ける証拠を提供していると報告しました。

続きを読む

本研究は、TOEIC Bridgeスコアが英語能力の指標である学生の自己評価および教師による学生評価とどの程度対応するかを評価することを目的としました。TOEIC Bridgeスコアはこれらの測定値と中程度の相関を示し、TOEIC Bridgeスコアが英語能力の指標として意味のある解釈が可能であることの妥当性の証拠となっています。

続きを読む

本研究では、TOEIC Bridgeスコアと学生自身の英語能力評価との関係を調査しました。TOEIC Bridgeテストのスコアは自己申告の読解力およびリスニング能力と相関していることが判明し、TOEIC Bridgeテストのスコアが英語の読解力および聴力の有効または意味のある指標であることの証拠を示しました。

続きを読む

本研究では、職場向けの内容を含むTOEICリスニング・リーディングテストにおいて、フルタイム従業員がフルタイム学生に対して不公平な優位性があるかどうかを調査しました。複数のテスト形式を用いて、研究者たちは統計的手法を用いて両グループ間で異なる機能を持つ問題を検出し、専門家パネルと共にフラグが立てられた項目をレビューし、スコア差が不公平なバイアスに起因するかどうかを評価しましたが、どちらのグループも体系的に有利に働いた証拠は見つかりませんでした。結果は、職場経験のレベルに関わらず、高等教育受験者に対するTOEICリスニング・リーディングスコアの公平性を支持しています。

続きを読む

本章では、職場でのスピーキング能力という概念をどのように定義すべきか、そしてその定義がTOEICスピーキングテストのようなテスト設計にどのような意味を持つかを検証します。インタラクションリストの枠組みを用いて、職場の特定のコミュニケーション要求や話者が利用する言語の範囲などの要素が、タスク設計、採点基準、評価者準備にどのように反映すべきか、そしてこれらの要素が職場でのスピーキング評価のスコアの妥当性の全体的な論拠にどのように寄与するかを検討しています。

続きを読む