SPSS ile Cohen’s Kappa Analizi (Resimli)

Cohen’s Kappa istatistiği, iki adet gözlemcinin aynı kategorik değişkeni öznel olarak değerlendirmelerinin birbiriyle nasıl uyumlu olduğunu belirlemek için kullandığımız bir istatistiksel ölçüttür. Psikoloji, tıp, eğitim ve sosyal bilimler gibi alanlarda kullanılan bu yöntem, gözlemciler arasındaki rastlantısal uyumu kontrol ederek, öznellikten kaynaklanan hataları belirlemeye ve analiz etmeye yardımcı olur. Bu yazıda, Cohen’s Kappa istatistiğinin ne olduğunu ve SPSS aracılığıyla analizin nasıl yapılacağını anlatacağım.

Cohen’s Kappa Nedir?

Cohen’s Kappa istatistiği, bir araştırma veya gözlemde farklı 2 gözlemci arasındaki uyumu ölçmek için kullanılan bir istatistiksel yöntemdir. Aynı alanda çalışan 2 bağımsız araştırmacı, aynı kişilere bakıp “evet/hayır”, “hasta/sağlıklı”, “geçti/kaldı” veya “A tipi/B tipi/C tipi” gibi öznel sınıflandırmalar yapabilir. Cohen’s Kappa istatistiğinin temel amacı, bir gruptaki bireyleri değerlendiren 2 gözlemcinin (ya da değerlendiricinin) birbirleriyle ne kadar uyumlu karar verdiklerini ölçerek, öznellikten kaynaklanan hataları belirlemektir.

Kategorik yapıdaki niteliksel değerlendirmelerde 2 bağımsız değerlendirici arasındaki uyum düzeyini ölçmek için kullanılan Cohen’s Kappa istatistiği, araştırmacılara değerlendirme süreçlerinde güvenilirlik sağlama konusunda önemli bir fayda sağlar.

2 gözlemcinin değerlendirmeleri arasındaki uyuma “interrater reliability” yani “değerlendiriciler arasında güvenilirlik” denir.

Cohen’s Kappa analizi yapabilmek için veri setimizde kategorik yapıda olan bir değişken olmalıdır. İncelenen kategorik değişkenin kaç kategoriye sahip olduğu fark etmez. Aynı zamanda tam iki (2) adet gözlemcinin bu verileri değerlendirmiş olması lazım; bu 2 gözlemcinin sınıflandırmaları arasındaki uyuma bakıyoruz biz Cohen’s Kappa analizi yaparak.

Eğer 2’den fazla gözlemcinin uyumu test edilmek isteniyorsa, Cohen’s Kappa yerine Fleiss’ Kappa istatistiği kullanılmalıdır.

Eğer 2 gözlemcinin sıralı yapıdaki (hafif-orta-şiddetli) kategorik bir veriyi değerlendirmeleri arasındaki uyumu incelemek istiyorsak bu sayfada anlattığım düz Cohen’s Kappa yerine Ağırlıklı Kappa (Weighted Kappa) istatistiğini kullanmak daha doğru olur.

Cohen’s Kappa, birçok alanda kullanılan ve anlaşılması kolay olan bir istatistiksel ölçüdür. Örneğin, tıp alanında, farklı 2 doktorun aynı hastalığa yönelik teşhislerinin ne kadar uyumlu olduğunu belirlemek için kullanılabilir. Diyelim ki 2 doktor, hastaların sonuçlarını değerlendiriyor ve hastalara birer teşhis koyuyor. Ancak teşhis koyarken her doktorun kendi yorumları ve kriterleri olabilir. Cohen’s Kappa, işte bu durumda doktorların teşhislerinin ne kadar uyumlu olduğunu objektif bir şekilde değerlendirmemize yardımcı olur. Bu şekilde, tedavi süreçleri ve hastalara sağlanan hizmetlerde güvenilirlik artar.

Cohen’s Kappa Değeri Anlamı

Cohen’s Kappa katsayısının hesaplanması, gözlemciler arasındaki uyumun rastgelelikten ne kadar farklı olduğunu dikkate alır. Eğer gözlemcilerin sınıflandırmaları tamamen rastgele olsaydı, Kappa değeri sıfır (0) olurdu. Ancak, gözlemciler arasında tam uyum olduğunda, Kappa değeri 1’e yaklaşır. Bu sayede, Cohen’s Kappa istatistiği, gözlemciler arasındaki uyumu objektif olarak değerlendirir ve araştırmacılara verilerini yorumlama ve sonuçlarını güvenilir bir şekilde çıkarma konusunda yardımcı olur.

Cohen’s Kappa katsayısı (κ), kategorik yapıdaki öğeleri veya verileri sınıflandıran iki gözlemcinin veya değerlendiricinin arasındaki uyumu ölçer. Cohen’s Kappa değeri -1 ile 1 arasında değişir ve şu şekildedir:

• κ = 1, değerlendiriciler arasında mükemmel uyumu gösterir.
• κ = 0, rastgele seviyedeki uyumu gösterir.
• κ < 0, rastgele seviyesinden daha kötü bir uyumu gösterir.

Genel olarak, Cohen’s Kappa değerlerinin yorumlanması, araştırmanın alanına ve araştırmanın özel bağlamına bağlı olarak değişebilir. Ancak, κ değerine dayanarak anlaşmanın gücünü yorumlamak için genellikle kullanılan bazı yaygın yönergeler vardır.

Sosyal Bilimler ve Sağlık Bilimleri alanlarında referans alınan eşik değer aralıkları biraz farklılık göstermektedir.

Sosyal Bilimler alanındaki çalışmalarda genellikle Landis & Koch (1977) eşik değer aralıkları referans olarak alınmaktadır.

• κ < 0: Kötü anlaşma (şans uyuşmasından daha kötü uyuşma)
• 0.01 ≤ κ ≤ 0.20: Zayıf uyuşma
• 0.21 ≤ κ ≤ 0.40: Orta düzeyde uyuşma
• 0.41 ≤ κ ≤ 0.60: Ortanın iyisi uyuşma
• 0.61 ≤ κ ≤ 0.80: Gayet iyi uyuşma
• 0.81 ≤ κ ≤ 1.00: Neredeyse mükemmel uyuşma

REFERANS:

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310

Sağlık alanındaki çalışmalarda genellikle McHugh (2012) eşik değer aralıkları referans olarak alınmaktadır.

• κ ≤ 0.20: Uyuşma yok
• 0.21 ≤ κ ≤ 0.39: Minimal uyuşma
• 0.40 ≤ κ ≤ 0.59: Zayıf uyuşma
• 0.60 ≤ κ ≤ 0.79: Orta düzeyde uyuşma
• 0.80 ≤ κ ≤ 0.90: Güçlü uyuşma
• 0.90 < κ : Mükemmele yakın uyuşma

REFERANS:

McHugh M. L. (2012). Interrater reliability: the kappa statistic. Biochemia medica, 22(3), 276–282.

Bu eşik değerlerin mutlak kurallar olmadığını ve yorumlanmasının özel çalışma ve değerlendirilen verilerin doğası bağlamında ele alınması gerektiğini unutmamak önemlidir. Ayrıca, Cohen’s Kappa’nın yorumlanması, verilere dikkatli bir şekilde bakılması ve değerlendirilen kategorilerin yaygınlığı ve dağılımı gibi diğer faktörlerin göz önünde bulundurulması gerektiğini belirtmek önemlidir.

SPSS ile Cohen’s Kappa Analizi Nasıl Yapılır?

Aşağıdaki adımları takip ederek SPSS’te Cohen’s Kappa Analizi kolayca gerçekleştirebilirsiniz.

Bu örnekte, 2 farklı işe alım personeli, işe başvuran kişileri “düşük”, “orta” ve “yüksek” performans gösterir olarak kendi kriterlerine göre kategorize etmektedir. Bu 2 işe alım personeli, işe başvuran kişileri acaba birbirlerine benzer şekilde mi kategorize ediyorlar diye öğrenmek için Cohen’s Kappa Testi uygulayacağız.

(Bu örnekte düşük-orta-yüksek olarak sınıflanan kategorilere göre analiz yaptık ama kategoriler böyle sıralıyken buradaki düz Cohen’s Kappa analizini değil de Cohen’s Weighted Kappa analizini yapsaydık daha iyi olabilirdi. Yine de örnek göstermiş olmak adına bu sayfadaki şekilde analizi yapmış olduk.)

Analyze -> Descriptive Statistics -> Crosstabs

1. işe alım personeli Gözlem_1, 2. işe alım personeli de Gözlem_2 olarak kaydedildi. Bu değişkenlerin birini Row kutusuna, diğerini Column kutusuna atıyoruz. Hangisini nereye attığımız fark etmez. Sonra, “Statistics” butonuna basarak açılacak pencereden “Kappa” seçeneğini işaretliyoruz.

“Cells” butonuna basarak, Observed, Expected, Row, ve Column seçeneklerini işaretliyoruz. Bunları işaretlemek gözlemler arası benzerlik ve farklılıkları daha kolay görmemizi sağlayacak.

Continue ve OK’a basarak analizi başlatabiliriz.

SPSS Cohen’s Kappa Tablo Yorumlama

SPSS’in bize vereceği tablolardan ilk bakmamız gereken ve en önemli olan tablo “Symmetric Measures” tablosudur. Bu tablodaki Approximate Significance sütunundaki değer, Cohen’s Kappa testinin p istatistiksel anlamlılık değerini verir. Bu değer 0.05’ten küçük ise gözlemler arasında istatistiksel olarak anlamlı bir uyum vardır demektir. Value sütunundaki değer ise, Cohen’s Kappa değerini göstermektedir.

Bu örnekteki tabloda Cohen’s Kappa analizinin p değeri 0.001’den küçük çıkmış ve Cohen’s Kappa değeri 0.584 çıkmış. Yani, bu örnek için “İki işe alım personelinin işe başvuranların performanslarını gruplandırma şekilleri arasında istatistiksel olarak anlamlı biçimde ortanın iyisi bir uyuşma var” diye bir sonuca varabiliriz.

Gözlemcilerin (bu örnekte işe alım personelleri) kişileri ne şekilde kategorize ettiğini görmek için de “Crosstabulation” tablosunu inceleyebiliriz. Bu örnekte detaylar fazla önemli değil o yüzden bu tabloyu detaylı olarak incelemeye çok gerek yok. Merak ederseniz kendi örneğiniz için inceleyebilirsiniz.

SPSS Cohen’s Kappa Analizi baştan sona bu kadardı. Siz de artık kendi Cohen’s Kappa analizinizi yapıp 2 değerlendiricinin kategorik yapıdaki bir değişkeni değerlendirmeleri arasındaki uyumu ölçebilirsiniz.