Acta academica karviniensia 2011, 11(2):119-128 | DOI: 10.25142/aak.2011.028
EVALUATION OF RANKING SIMILARITY IN ORDINAL RANKING PROBLEMS
- Mgr. Jiří Mazurek, Ph.D., Odborný asistent, Katedra matematických metod v ekonomiii, Slezská univerzita v Opavě, Obchodně podnikatelská fakulta v Karviné, Univerzitní náměstí 1934/3, 733 40 Karviná, e-mail: mazurek@opf.slu.cz
V problémech s ordinálním pořadím jsou objekty, alternativy, produkty, služby apod. seřazeny několika experty a cílem je získat z těchto (obecně odlišných) pořadí jedno výsledné (konsensuální) pořadí. Dosažení tohoto cíle nicméně závisí na stupni shody mezi jednotlivými pořadími. Pokud jsou pořadí náhodná, nemůžeme očekávat dosažení smysluplné shody, ale pokud jsou si pořadí "blízká" a vyjadřují shodu mezi experty, pak má výsledné konsensuální pořadí smysl. Cílem tohoto článku je ukázat způsoby hodnocení podobnosti pořadí, které je založeno na použití Kendallova τ a W, Spearmanova ρ, Pearsonova r a skalárního součinu vektorů. Jsou zde diskutovány případy bez remíz (shodných hodnocení) i s remízami, stejně tak jako problém podobnosti mezi dvěma neúplnými pořadími (nejlepšími k pořadími). Vysvětlení jsou založena na příkladech.
Korelační koeficient, podobnost pořadí, pořadí, problém s ordinálním pořadím, rozhodování
In ordinal ranking problems objects, alternatives, products, services, etc. are ranked by several experts and the goal is to convert a set of (generally different) rankings into the final group consensus ranking. However, this goal depends on a degree of agreement among rankings. With random rankings one cannot expect to get meaningful consensus, but if rankings are "close" and represent agreement between experts, then the final group consensus has much more sense. The aim of this article is to present the evaluation of similarity among rankings, which is based on Kendall's τ and W, Spearman's ρ, Pearson's r and dot product of vectors. Cases without and with ties are discussed as well as a problem of similarity between incomplete rankings (top k lists). Explanations are based on examples.
Keywords: correlation coefficient, decision making, ordinal ranking problem, ranking, ranking similarity
JEL classification: C10, D70
Published: June 30, 2011 Show citation
References
- ABDI, H. The Kendall Rank Correlation Coefficient. In: Neil Salkind (Ed.). Encyclopedia of Measurment and Statistics, 2007.
- COOK, W. D. Distance-Based and Ad Hoc Consensus Models in Ordinal Preference Ranking. European Journal of Operational Research, Nr. 172 (2006), p. 369-385.
Go to original source... - EMOND, E. J., MASON, D. A New Rank Correlation Coefficient with Application to Consensus Ranking Problem. Journal of Multicriteria Decision Analysis, Vol. 11, No 1., 2002, p. 17-28. Go to original source...
- FAGIN, R., KUMAR, R., SIVAKUMAR, D. Comparing k-top lists. SIAM, Journal of Discrete Mathematics, Vol. 17, No. 1, p. 134-160.
- CHRÁSKA, M. Metody pedagogického výzkumu. Havlíčkův Brod: Grada, 2007. ISBN 978-80-247-1369-4.
- KOSMÁK, L., POTŮČEK, R. Metrické prostory. Academia. Praha: 2004. ISBN: 80-200-1202-8.
- MELOUN, M., MILITKÝ, J. Kompendium statistického zpracování dat, Metody a řešené úlohy včetně CD, Praha: Academia, 2002. ISBN
- STEMLER, S. E. A Comparison of Consensus, Consistency and Measurement Approaches to Estimating Interrater Reliability. Practical Assessment, Research and Evaluation, Vol. 9, Nr. 4, 2004. ISSN: 1531-7714.
- TAVANA, M., LoPINTO, F., SMITHER, J. W. A Hybrid Distance-Based Ideal-Seeking Consensus Ranking Model. Journal of Applied Mathematics and Decision Sciences, vol. 2007, 18 pages. Go to original source...