Fleiss’ Kappa istatistiği, 2’den fazla sayıda gözlemcinin bir veriyi kategorilere ayırırken aralarındaki anlaşma veya uyumluluğu değerlendirmek için tasarlanmış bir istatistiksel ölçüttür. Bu istatistik, 2 değerlendirici tarafından kategorik (nominal) verilerin değerlendirilmesinde kullanılan Cohen’s Kappa istatistiğinin, 3 veya daha fazla değerlendirici olduğu duruma yönelik genişletilmiş bir versiyonudur. Bu yazıda, Fleiss’ Kappa istatistiğinin temel prensiplerini ve SPSS kullanarak nasıl hesaplanabileceğini inceleyeceğiz.
Fleiss’ Kappa Nedir?
Fleiss’ Kappa istatistiği, 3 veya daha fazla sayıda gözlemcinin veya değerlendiricinin bir gruptaki katılımcıları kategorilere ayırırken birbirleri arasındaki uyumunu değerlendirir. Genellikle nominal ölçekli (kategorik yapıdaki) veriler için kullanılır ve özellikle araştırmalarda, öznel konularda araştırmacıların konsantrasyonunu veya uzmanlığını değerlendirmek için yaygın olarak kullanılır.
Fleiss’ Kappa istatistiği, 3 veya daha fazla araştırmacı arasında rastgelelikten kaynaklanan anlaşmazlığı düzeltmek için Cohen’s Kappa istatistiğine dayanır. Ancak, Cohen’s Kappa’dan farklı olarak, Fleiss’ Kappa herhangi iki değerlendirici arasındaki rastgele anlaşmazlığın düzeltilmesinde birden fazla gözlemcinin veya değerlendiricinin katılımını dikkate alır.
Örneğin, bir araştırmada üç farklı doktorun aynı tıbbi durumu değerlendirmesi gerektiğini düşünelim. Doktorlar A, B ve C olsun. Her bir doktor, aynı hasta dosyasını inceleyerek tıbbi durumu “kas spazmı”, “bağ zedelenmesi” veya “eklem iltihabı” olarak sınıflandırır. Ardından, Fleiss’ Kappa istatistiği, doktorların sınıflandırmaları arasındaki uyumu ölçmek için kullanılır. Eğer doktorlar arasında yüksek bir uyum varsa, bu tıbbi durumun değerlendirilmesinde güvenilirlik açısından daha iyi olduğunu gösterebilir.
Fleiss’ Kappa Değeri Anlamı
Fleiss’ Kappa değeri, -1 ile 1 arasında bir değer alır. Bu değerin yorumu şu şekildedir:
- -1: Tam ters yönlü (tamamen zıt) uyumsuzluk. Gözlemciler arasında hiçbir anlaşma yoktur.
- 0: Rasgele anlaşma. Gözlemcilerin sınıflandırmaları rastgelelikten kaynaklanan anlaşmazlıklarla aynıdır.
- 1: Mükemmel uyum. Gözlemciler arasında tam bir uyum vardır.
Sosyal Bilimler ve Sağlık Bilimleri alanlarında referans alınan eşik değer aralıkları biraz farklılık göstermektedir.
Sosyal Bilimler alanındaki çalışmalarda genellikle Landis & Koch (1977) eşik değer aralıkları referans olarak alınmaktadır.
- κ < 0: Kötü anlaşma (şans uyuşmasından daha kötü uyuşma)
- 0.01 ≤ κ ≤ 0.20: Zayıf uyuşma
- 0.21 ≤ κ ≤ 0.40: Orta düzeyde uyuşma
- 0.41 ≤ κ ≤ 0.60: Ortanın iyisi uyuşma
- 0.61 ≤ κ ≤ 0.80: Gayet iyi uyuşma
- 0.81 ≤ κ ≤ 1.00: Neredeyse mükemmel uyuşma
REFERANS:
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
Sağlık alanındaki çalışmalarda genellikle McHugh (2012) eşik değer aralıkları referans olarak alınmaktadır.
- κ ≤ 0.20: Uyuşma yok
- 0.21 ≤ κ ≤ 0.39: Minimal uyuşma
- 0.40 ≤ κ ≤ 0.59: Zayıf uyuşma
- 0.60 ≤ κ ≤ 0.79: Orta düzeyde uyuşma
- 0.80 ≤ κ ≤ 0.90: Güçlü uyuşma
- 0.90 < κ : Mükemmele yakın uyuşma
REFERANS:
McHugh M. L. (2012). Interrater reliability: the kappa statistic. Biochemia medica, 22(3), 276–282.
SPSS ile Fleiss’ Kappa Analizi Nasıl Yapılır?
Bu örnekte, 3 hekimin bir grup hastanın baş ağrısı şikayetlerini birbirinden bağımsız olarak “migren”, “gerilim tipi baş ağrısı” veya “sinüzit” şeklinde sınıflandırmasını inceleyeceğiz. Acaba doktorların hastaları gruplandırma şekli birbirleriyle tutarlı mı diye Fleiss’ Kappa istatistiğini kullanarak bakacağız.
Analyze -> Scale -> Reliability Analysis
Açılan pencerede bütün gözlemci değişkenlerimizi Ratings kutusuna geçiriyoruz.
“Statistics” butonuna basarak, açılacak pencerede “Interrater Agreement: Fleiss’ Kappa – Display agreement on individual categories” seçeneğini işaretliyoruz.
Continue ve OK’a basarak analizimizi başlatabiliriz.
SPSS Fleiss’ Kappa Tablo Yorumlama
SPSS Fleiss’ Kappa analizi sonucunda bize iki tane tablo verecek. Birinci tabloda, Fleiss’ Kappa testinin istatistiksel anlamlılık seviyesi ve Kappa değeri görünüyor.
Sig. sütununda, Fleiss’ Kappa testinin p istatistiksel anlamlılık değeri 0.001’den küçük olarak görünüyor. Bu 0.05’ten küçük olduğu için istatistiksel olarak anlamlı. Yani test ettiğimiz üç doktorun hastaları kategorilere atma şekli, birbirine anlamlı olarak benzermiş.
Kappa sütununa göre Fleiss’ Kappa değeri 0.589 çıkmış. Bu değer, yukarıdaki sağlık bilimleri için kappa eşik değer aralıkları bölümünden hatırlayacağımız üzere, doktorlar arasında “zayıf düzeyde” sayılabilecek bir uyuşma olduğunu gösteriyor.
Son olarak, “Agreement on Individual Categories” tablosunda, SPSS bize doktorların hastaları kategorize ederken “migren”, “gerilim tipi baş ağrısı” veya “sinüzit” olarak kategorize etmelerinin birbiriyle istatistiksel olarak uyumlu olup olmadığını gösteriyor. (1 = migren; 2 = gerilim tipi baş ağrısı; 3 = sinüzit)
- Mesela 1. satırdaki Sig. sütunundaki değer 0.05’ten küçükse diyebiliriz ki “Doktorların hastaları ‘migren’ olarak kategorize etme durumları birbirleriyle istatistiksel olarak anlamlı şekilde uyumludur”. Bu satırdaki Fleiss’ Kappa değerine göre doktorların “migren” olarak sınıflandırdığı hastalar özelinde doktorlar arasındaki uyuşma 0.531’miş yani zayıf düzeyde olsa da istatistiksel olarak anlamlı bir uyuşma.
- 2. satıra göre doktorların “gerilim tipi baş ağrısı” olarak sınıflandırdığı hastalar özelinde doktorlar arasında istatistiksel olarak anlamlı ve zayıf düzeyde bir uyuşma varmış (Kappa = 0.535, p < 0.001).
- 3. satıra göre doktorların “sinüzit” olarak sınıflandırdığı hastalar özelinde doktorlar arasında istatistiksel olarak anlamlı ve orta düzeyde bir uyuşma varmış (Kappa = 0.723, p < 0.001).
SPSS Fleiss’ Kappa Analizi baştan sona bu kadardı. Siz de artık kendi Fleiss’ Kappa analizinizi yapıp 2’den fazla sayıda değerlendiricinin değerlendirmeleri arasındaki uyumu ölçebilirsiniz.
Bir yanıt bırakın