Cohen kappa, iki değerlendiricinin aynı nesneleri sınıflandırırken gösterdiği uyumu şans payından arındırarak ölçer. Nitel araştırmalarda kodlayıcılar arası güvenirliğin, tanı çalışmalarında gözlemciler arası uyumun standart ölçüsüdür.
Bu araç nedir ve kimin için?
İki kodlayıcı aynı görüşme metnini bağımsız kodladığında yüzde uyum kolayca hesaplanır: 100 kodun 85’inde aynı kararı verdilerse uyum %85’tir. Ancak bu sayı yanıltıcıdır, çünkü iki kişi rastgele karar verse bile bir miktar uyum ortaya çıkar. Kappa bu şans payını düşer ve geriye kalan gerçek uyumu bildirir.
Araç, nitel veri kodlayan araştırmacılar ve alan uzmanları, gözlem formu kullanan araştırmacılar ve tanı kararlarının tutarlılığını sınayan sağlık araştırmacıları için hazırlandı. MAXQDA ya da NVivo ile kodlama yapıyorsanız kod matrisini buraya taşıyarak kappa hesaplayabilirsiniz.
Nasıl kullanılır?
- Uyum matrisini girin. Satırlar birinci değerlendiricinin kararlarını, sütunlar ikincisinin kararlarını temsil eder.
- Köşegen hücreler uyumu gösterir. Her iki değerlendiricinin de aynı kategoriyi seçtiği durumlar buradadır.
- Sonucu okuyun. Araç gözlenen uyumu, şans uyumunu, kappa değerini ve güven aralığını verir.
Dikkat edilmesi gerekenler
Kategorilerden biri çok baskınsa kappa, yüksek yüzde uyuma rağmen düşük çıkabilir; buna “kappa paradoksu” denir. 100 vakanın 95’i aynı kategoriye düşüyorsa şans uyumu zaten çok yüksektir ve kappa bunu cezalandırır. Böyle durumlarda yüzde uyumu da birlikte bildirmek ve dengesizliği açıklamak gerekir.
İkiden fazla değerlendirici varsa Fleiss kappa, sıralı kategorilerde ise ağırlıklı kappa kullanılır; bu araç iki değerlendiricili ve kategorik durum içindir.
Sonucu yorumlama
Landis ve Koch’un (1977) ölçütleri yaygın kullanılır: 0,00–0,20 önemsiz, 0,21–0,40 zayıf, 0,41–0,60 orta, 0,61–0,80 iyi, 0,81–1,00 çok iyi uyum. Nitel araştırmalarda yayın için genellikle 0,70 ve üzeri beklenir; 0,60 altındaki değerler kodlama kılavuzunun yeniden gözden geçirilmesi gerektiğini gösterir.
Kappa düşük çıktığında yapılacak iş, sayıyı kabul edip geçmek değil, uyuşmazlıkların nerede yoğunlaştığına bakmaktır. Genellikle bir ya da iki kategori tanımı belirsizdir; kılavuz netleştirilip kodlama yenilendiğinde değer belirgin biçimde yükselir.
Sık yapılan hatalar
- Yüzde uyumu kappa yerine bildirmek. Şans payı düşülmediği için uyumu abartır.
- Kodlayıcıların birlikte kodlaması. Güvenirlik için kodlamalar bağımsız yapılmalıdır.
- Tüm veriyi değil küçük bir bölümü kodlatıp bunu belirtmemek. Kappa’nın hangi oranda veriyle hesaplandığı yazılmalıdır.
- Sıralı kategorilerde ağırlıksız kappa kullanmak. Bir düzeylik sapmayla üç düzeylik sapma aynı sayılır.
Nasıl raporlanır?
“Kodlayıcılar arası güvenirlik için verinin %25’i ikinci bir kodlayıcı tarafından bağımsız olarak kodlanmıştır. Gözlenen uyum %86,0, Cohen kappa katsayısı ,78 (%95 GA [,66 – ,90]) olarak hesaplanmıştır. Bu değer Landis ve Koch’a (1977) göre iyi düzeyde uyuma karşılık gelmektedir. Uyuşmazlıklar tartışılarak uzlaşıyla giderilmiştir.”
Bir örnek üzerinden
İki kodlayıcının 100 görüşme bölümünü üç kategoriye (olumlu, nötr, olumsuz) ayırdığını düşünelim. Köşegen hücrelerde 30, 28 ve 28 uyum var; kalan 14 vaka uyuşmazlık. Gözlenen uyum %86,0 çıkar. Ancak kategorilerin dağılımı göz önüne alındığında şans eseri beklenen uyum %36,4’tür. Kappa bu ikisinin oranından hesaplanır ve ,78 değerini verir — yani şans payı düşüldükten sonra ulaşılabilecek uyumun yaklaşık dörtte üçü sağlanmış.
Şimdi aynı 100 vakanın 90’ının “nötr” olduğu dengesiz bir dağılım düşünelim. Kodlayıcılar 92 vakada aynı kararı verse bile şans uyumu çok yükseldiği için kappa ,30 civarında kalabilir. Bu, kappa paradoksunun tipik görünümüdür; böyle durumlarda yüzde uyumu da bildirmek ve kategori dağılımının dengesizliğini belirtmek gerekir.
Yöntem notu
Kappa, κ = (Pₒ − Pₑ)/(1 − Pₑ) biçiminde tanımlanır; Pₒ gözlenen uyum oranı, Pₑ ise satır ve sütun marjinal oranlarının çarpımlarından elde edilen şans uyumudur. Değer 1’e yaklaştıkça uyum artar; 0 şans düzeyinde uyumu, negatif değerler ise şanstan da kötü bir uyumu gösterir. Güven aralığı kappa’nın asimptotik standart hatası üzerinden kurulur ve örneklem küçüldükçe belirgin biçimde genişler; bu yüzden güvenirlik hesabının yapıldığı vaka sayısının yeterli olması gerekir.