A Review of Psychometric Assessment and Reporting Practices: An Examination of Measurement-Oriented Versus Non-Measurement-Oriented Domains

Abstract

The primary aim of the present study is to determine whether the psychometric evaluation practices and test-analytic rationales of researchers publishing in journals with a measurement focus differ from those of researchers publishing in journals with varying substantive research foci. Several components of two different samples of articles were examined and compared; one contained articles from a set of measurement-oriented journals (n = 402) and the other contained articles published in journals representing a cross-section of research domains (n = 289). Findings indicate that, contrary to expectations, articles published in measurement-oriented journals, as compared with general journals, generally may not reflect better psychometric analysis and reporting practices or sounder test-analytic rationales on the part of the researchers. It was also found that although researchers are generally evaluating either score precision/reliability or validity, they seldom evaluate both, indicating that there may be a general lack of appreciation for the importance of conducting a full and coherent data-based test analysis whenever a measure is employed. A number of limitations of the study and recommendations for future research are also addressed.

Le but fondamental de cette étude est de déterminer si les pratiques de l’évaluation psychométrique et le raisonnement analytique de test des chercheurs qui se font publiés dans des revues scientifiques orientées vers la mesure diffèrent de ceux des chercheurs qui se font publiés dans des revues scientifiques orientées sur une variété de recherche substantielle. Nous avons examiné et comparé plusieurs composantes de deux différents échantillons d’articles, dont un contenait des articles d’un ensemble de revues scientifiques orientées vers la mesure (n = 402), et dont l’autre contenait des articles publiés dans des revues scientifiques qui représentaient une coupe transversale de domaines de recherche (n = 289). Les résultats indiquent que, contraire à nos attentes, les articles publiés dans les revues scientifiques orientées vers la mesure, à comparer à des revues scientifiques appliquées, pouvaient généralement ne pas refléter de meilleures analyses psychométriques et de comptes rendus, ou de raisonnement analytique de tests valables de la part des chercheurs. Nous avons aussi trouvé que, même que les chercheurs évaluent généralement ou bien la précision/ fiabilité de la cote, ou bien sa validité, c’est rare qu’ils évaluent en indiquant qu’il pourrait y avoir un manque général d’appréciation de l’importance de mener une analyse complète et cohérente de test de base de données chaque fois qu’une mesure est employée. Un certain nombre de limitations de l’étude et de recommendations pour des pistes de recherche futures a été abordé.