Uyarladığım Ölçek İçin Pilot Çalışma Gerekir mi?

Kısa yanıt: evet. Maddelerini kendi alanınıza göre değiştirdiğiniz bir ölçek, Türkçe uyarlamasının geçerlik ve güvenirlik kanıtını olduğu gibi taşımaz. Değiştirdiğiniz form, kanıtı yeniden toplanması gereken bir ölçme aracıdır. Bunun en az dört parçası vardır: ölçek sahiplerinden izin, değişiklikler için uzman görüşü, hedef gruptan küçük bir örneklemle pilot (ön uygulama) ve asıl verinizde doğrulayıcı faktör analizi ile güvenirlik raporu. Ölçeği uyarladınız, danışmanınız ya da etik kurul “bu formun geçerliği nerede?” diye sordu ve ne yapacağınızı bilemiyorsanız bu yazı tam o aşama için.

Pilotun ne kadar kapsamlı olacağı, maddelerde ne kadar değişiklik yaptığınıza bağlıdır. Aşağıda önce bunun nedenini, sonra değişikliğin derecesine göre ne yapılması gerektiğini ve tezde nasıl raporlanacağını anlatıyoruz. Ölçek uyarlama ve geçerlik–güvenirlik analizlerinde birlikte çalışmak isterseniz istatistiksel analiz sayfamızda sürecimizi bulabilirsiniz.

Uyarlanmış bir ölçek neden yeniden sınanır?

Ölçme alanının temel başvuru kaynağı olan Standards for Educational and Psychological Testing (AERA, APA ve NCME, 2014), geçerliği bir ölçeğin sabit bir özelliği olarak değil, puanların belirli bir amaç ve belirli bir grup için yapılan yorumunun ne kadar desteklendiği olarak tanımlar. Yani “bu ölçek geçerlidir” demek eksiktir; doğru soru, “bu ölçeğin puanları benim örneklemimde, benim amacım için geçerli biçimde yorumlanabilir mi?” sorusudur.

Durumunuzda üç şey değişmiş olabilir:

• Madde içeriği: “Çalıştığım kurumda…” ifadesini “Okulumda…” yaptığınızda katılımcının zihnindeki bağlam değişir. Madde aynı yapıyı ölçmeye devam ediyor mu, bunu ancak veri gösterir.
• Hedef grup: Ölçek yetişkin çalışanlarla geliştirildiyse ve siz öğrencilerle kullanıyorsanız, aynı maddeler farklı anlaşılabilir.
• Güvenirlik: Güvenirlik de örnekleme özgüdür. Orijinal çalışmadaki iç tutarlılık katsayısı, sizin verinizde aynı çıkacak diye varsayılamaz.

Uluslararası Test Komisyonu’nun test uyarlama yönergeleri de (ITC, 2018) uyarlanmış bir formun, yeni bağlamdaki kullanımı için ayrı kanıt gerektirdiğini vurgular. Bu yüzden danışmanların ve etik kurulların bu soruyu sorması bir formalite değil, ölçmenin mantığıdır.

Değişikliğin derecesine göre ne yapmalı?

Her değişiklik aynı yükü getirmez. Aşağıdaki tablo, en sık karşılaşılan dört durumu ve her biri için asgari adımları özetler:

Sizin anlattığınız durum, yani soruların kendi alanınıza göre uyarlanması, büyük olasılıkla üçüncü satıra girer. Bu durumda pilot çalışma, tezinizin yöntem bölümünü savunulabilir kılan adımdır.

Adım adım: uyarlanan ölçek tezde nasıl hazırlanır?

1. İzinleri yazılı olarak alın

Hem ölçeği geliştiren kişiden hem de Türkçeye uyarlayan araştırmacıdan izin isteyin ve maddeleri değiştireceğinizi açıkça belirtin. “Kullanıma açık” olması çoğu zaman ölçeğin olduğu gibi kullanımını kapsar; maddelerin değiştirilmesi ayrı bir onay gerektirebilir. İzin yazışmaları, araştırma etiği açısından da etik kurul dosyanızın parçasıdır.

2. Değişiklikleri bir tabloyla belgeleyin

Her madde için üç sütunlu bir tablo hazırlayın: Türkçe formdaki özgün madde, sizin uyarladığınız madde ve değişikliğin gerekçesi. Bu tablo hem uzman paneline gönderilecek formun temelidir hem de tezin ekinde yer alır. Değişikliği görünür kılmak, jürinin en sık sorduğu soruyu baştan yanıtlar.

3. Uzman görüşüyle kapsam geçerliğini sınayın

Alanınızdan ve ölçme–değerlendirmeden uzmanlara her maddeyi “gerekli”, “yararlı ama gerekli değil” ve “gereksiz” diye işaretlemelerini isteyin. Lawshe’nin (1975) kapsam geçerlik oranı şöyle hesaplanır:

KGO = (n_g − N/2) / (N/2)

Burada n_g maddeye “gerekli” diyen uzman sayısı, N toplam uzman sayısıdır. Örneğin 8 uzmandan 7’si bir maddeyi gerekli bulduysa KGO = (7 − 4) / 4 = 0,75 olur. Lawshe’nin tablosunda 8 uzman için alt sınır 0,75’tir; bu madde ölçütü karşılar. Ölçütü karşılayan maddelerin KGO ortalaması kapsam geçerlik indeksini (KGİ) verir. Uzmanların ifade önerilerini de bu aşamada maddelere işleyin.

4. Hedef grupla anlaşılırlık denemesi yapın

Asıl örnekleminize benzeyen 5–10 kişiye formu doldurtun ve her maddeyi kendi cümleleriyle ne anladıklarını sorun. Bu kısa görüşmeler, uzmanların fark edemediği belirsiz sözcükleri, çift anlamlı maddeleri ve yanıt seçeneklerindeki sorunları ortaya çıkarır.

5. Pilot uygulamayı yapın

Pilot, formun son hâlini asıl örnekleme benzer ama ondan ayrı bir grupta denemektir. Ölçek geliştirmede pilot için sık başvurulan öneri, hedef gruptan en az 30 kişidir (Johanson ve Brooks, 2010). Pilotta şunlara bakın:

• Madde–toplam korelasyonları: düşük ya da negatif korelasyon veren madde, ters kodlama hatasına ya da anlam kaymasına işaret edebilir.
• İç tutarlılık: alt boyut düzeyinde Cronbach alfa değerleri.
• Boş bırakılan maddeler, uç yanıt yığılmaları ve formun doldurulma süresi.

Otuz kişi faktör yapısını sınamak için yeterli değildir; pilotun amacı formdaki sorunları yakalamaktır. Pilot verisi asıl analize katılmaz ve pilot katılımcıları asıl uygulamaya alınmaz.

6. Asıl veride yapıyı ve güvenirliği raporlayın

Ölçeğin faktör yapısı daha önce gösterildiği için asıl veride ilk tercih doğrulayıcı faktör analizidir (DFA). Bunun için örneklem büyüklüğü planlanırken DFA’nın gereksinimi de hesaba katılmalıdır; ölçek çalışmalarında madde başına yaklaşık 10 katılımcı ve en az 200 kişilik örneklemler önerilir (Boateng vd., 2018). Örneklem planı için sitedeki hesaplama araçlarından da yararlanabilirsiniz. Uyum değerlendirmesinde CFI ve TLI için 0,95’e yakın, RMSEA için 0,06’ya yakın ve SRMR için 0,08’in altında değerler iyi uyum olarak yaygın biçimde kullanılır (Hu ve Bentler, 1999). Güvenirlik için alfa ile birlikte McDonald omega da raporlanmalıdır. Analizler SPSS, JASP ya da R ile yapılabilir; DFA için JASP veya R’deki lavaan paketi yeterlidir.

Tezde nasıl raporlanır?

Yöntem bölümünde “Veri toplama araçları” başlığı altında süreç, aşağıdaki örneğe benzer biçimde anlatılabilir (değerler örnek amaçlıdır):

“Araştırmada [uyarlayan yazar (yıl)] tarafından Türkçeye uyarlanan [ölçeğin adı]’nin maddeleri, ölçek sahiplerinden yazılı izin alınarak okul bağlamına uyarlanmıştır. Uyarlanan form sekiz alan uzmanının görüşüne sunulmuş, tüm maddelerin kapsam geçerlik oranları ölçütü karşılamış ve kapsam geçerlik indeksi 0,86 bulunmuştur. Hedef gruptan 32 öğretmenle yapılan pilot uygulamada madde–toplam korelasyonları .41 ile .68 arasında, Cronbach alfa .84 olarak hesaplanmıştır. Asıl örneklemde (n = 312) yapılan doğrulayıcı faktör analizinde üç faktörlü yapının veriyle uyumu kabul edilebilir bulunmuştur, χ²(51) = 112,40, p < .001, CFI = .96, TLI = .95, RMSEA = .062, %90 GA [.047, .078], SRMR = .044. Alt boyutlar için McDonald ω katsayıları .81 ile .88 arasında değişmektedir.”

Ayrıntılı tablolar (madde değişiklik tablosu, KGO değerleri, standartlaştırılmış faktör yükleri) ekte ya da bulgular bölümünün başında verilebilir.

En çok nerede takılınır?

• İzin almadan değiştirmek: Değişiklik fark edildiğinde etik kurul ya da jüri süreci durdurabilir; izin sonradan alınmaya çalışıldığında takvim kayar.
• Değişikliği yöntem bölümünde belirtmemek: Jüri, orijinal ve kullanılan maddeleri karşılaştırdığında bunu tutarsızlık olarak görür ve düzeltme ister.
• Pilotu etik kurul başvurusuna yazmamak: Pilot da veri toplamadır; etik kurul onayı alınmadan yapılan pilotun verisi tezde kullanılamayabilir.
• Otuz kişiyle faktör analizi yapmak: Küçük örneklemde faktör çözümleri kararsızdır ve jüri bu sonuçları kabul etmeyebilir.
• Yalnızca alfa raporlamak: Yüksek alfa, maddelerin aynı yapıyı ölçtüğünü tek başına göstermez; yapı kanıtı için DFA gerekir.
• DFA uyumu kötü çıktığında madde atmak: Gerekçesiz madde çıkarmak ve hata kovaryansları eklemek, modeli veriye uydurmak anlamına gelir; her değişikliğin kuramsal bir gerekçesi olmalıdır.

Bu adımlar baştan planlanmadığında en sık sonuç, veri toplandıktan sonra yöntem bölümünün geri dönmesi ve analizlerin yeniden yapılmasıdır. Bu nedenle uyarlama planını tez önerisi aşamasında yazmak zaman kazandırır.

Hangi durumda destek almak işinizi kolaylaştırır?

Ölçek uyarlamada destek, en çok uyarlanan formun kullanılabilirliği danışman ya da etik kurul tarafından sorgulandığında işe yarar. Şu durumlardan biri size tanıdık geliyorsa birlikte bakabiliriz:

• Maddeleri alanınıza uyarladınız, ama bunun pilot mu yoksa yeniden bir geçerlik çalışması mı gerektirdiğinden emin değilsiniz.
• Uzman görüşü formunu, KGO hesabını ve pilot planını etik kurul başvurusuna yetiştirmeniz gerekiyor.
• Pilot ya da asıl veriyi topladınız; DFA uyum değerleri tutmadı ve ne yapacağınızı bilemiyorsunuz.
• Danışmanınız yöntem bölümündeki ölçek anlatımını geri çevirdi.

Birlikte çalışma süreci şöyle ilerler:

1. Ücretsiz ön görüşme: Ölçeğiniz, yaptığınız değişiklikler ve takviminiz konuşulur.
2. Kapsam ve yol haritası: Hangi adımların (uzman görüşü, pilot, DFA, güvenirlik) gerektiği ve sırası yazılı olarak paylaşılır.
3. Adım adım birlikte çalışma: Uzman formu, pilot planı ve analizler sırayla yürütülür; her çıktının nasıl okunacağı size açıklanır.
4. Zoom’da birlikte değerlendirme: Sonuçlar ve yöntem bölümündeki anlatım birlikte gözden geçirilir.

Kararları siz verirsiniz; biz seçenekleri ve gerekçelerini önünüze koyarız. Çalışma ilkelerimizi Etik Çerçevemiz sayfasında bulabilirsiniz. Tezin bütünü için destek arıyorsanız tez danışmanlığı sayfamıza da bakabilirsiniz.

WhatsApp’tan ön görüşme isteyin

Sık sorulan sorular

Ölçek uyarlama desteğinin ücreti ve süresi neye göre belirlenir?

Ölçekteki madde ve alt boyut sayısına, değişikliklerin kapsamına, uzman görüşü ve pilot aşamasının gerekip gerekmediğine, verinin toplanmış olup olmadığına ve takviminize göre belirlenir. Ön görüşme ücretsizdir; kapsam ve ücret çalışma başlamadan netleşir.

Ölçeğim ve verilerim gizli kalır mı?

Evet. Paylaştığınız tüm materyaller yalnızca çalışma kapsamında kullanılır ve üçüncü kişilerle paylaşılmaz. Ayrıntılar için KVKK Aydınlatma Metni‘ne bakabilirsiniz.

Farklı bir şehirdeyim; süreç online yürür mü?

Evet. Dosyalar çevrim içi paylaşılır, değerlendirme görüşmeleri Zoom üzerinden yapılır.

Danışmanım ya da jüri uyum değerlerini yetersiz bulursa ne yapılır?

Önce hangi göstergenin neden zayıf kaldığına bakılır: madde ifadesi mi, ters kodlama mı, yoksa yapının bu grupta farklı mı işlediği. Ardından kuramsal gerekçesi olan düzeltmeler belirlenir ve her değişiklik yöntem bölümünde açıkça raporlanır.

Kaynaklar

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
• Boateng, G. O., Neilands, T. B., Frongillo, E. A., Melgar-Quiñonez, H. R., & Young, S. L. (2018). Best practices for developing and validating scales for health, social, and behavioral research: A primer. Frontiers in Public Health, 6, 149. https://doi.org/10.3389/fpubh.2018.00149
• Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1–55.
• International Test Commission. (2018). ITC guidelines for translating and adapting tests (second edition). International Journal of Testing, 18(2), 101–134.
• Johanson, G. A., & Brooks, G. P. (2010). Initial scale development: Sample size for pilot studies. Educational and Psychological Measurement, 70(3), 394–400.
• Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.