Replikasyon Krizi’ni Çözmek: Pre-Registration ve Disclosure Yöntemleri

Bu yazıda, dünyadaki akademik sistemin, bilimin şeffaf olarak yapılmasının önüne koyduğu engellerden ve bilim dünyasının bu engelleri aşmak için yeni yeni uygulamaya başladığı iki yöntemden bahsedeceğim. Bu yöntemler Pre-Registration ve Disclosure yöntemleridir.

Makale Yayınlama Baskısı

Önceki yazılarımda ne demiştim: Bilimsel çalışmalar, üniversitelerdeki hocalar tarafından yapılıyor. (Evet, tarafından.) Akademisyenler araştırmalar yapıyorlar, sonuçlar buluyorlar, yaptıkları araştırma hakkında makaleler yazıyorlar ve bilimsel dergilerde yayınlıyorlar. Üniversitelerde hocaların bulundukları konumu koruması, işlerine devam etmesi, terfi almasını belirleyen en önemli şeylerden biri bilimsel dergilerde yayınladıkları makalelerin sayısı ve bu makaleleri ne kadar ünlü dergilerde yayınladıkları. (Türkiye’de bunu belirleyen en önemli şey torpil ama dünyada bilimin daha saygı gördüğü diğer ülkelerde bu durum bahsettiğim şekilde.)

Yani üniversitelerde hocaların saygınlığını korumaları için araştırma yapmaları ve bu araştırma sonuçları hakkında makale yazıp bunları bilimsel dergilerde yayınlamaları gerekiyor. Bu durum da araştırmacıların, devamlı olarak makale yayınlama baskısı altında olmasına sebep oluyor.

Bilimsel Dergi Sorunu

Burada şöyle bir durum var: Diyelim ki üniversitede hocasınız. Her araştırma hakkında makale yazıp o makaleyi bilimsel bir dergide yayınlatamıyorsunuz. Bilimsel dergiler üniversitelerden bağımsız çalışan kurumlar, ve dergilerin çok büyük çoğunluğu bilimden ziyade kâr amacı güden özel şirketler. Ne kadar çok kişi dergiyi okursa dergi sahipleri o kadar çok para kazanacaklar. Bu yüzden, dergiler, en ilgi çekici makaleler hangisiyse onları yayınlamayı tercih ediyorlar.

Mesela siz bir araştırma yaptınız. “Sınavdan 10 dakika önce dondurma yemek sınav başarısını arttırıyor mu?” diye bir sorunun cevabını arıyorsunuz. Araştırmayı düzgün bir şekilde yaptınız, “Arttırıyor.” ya da “Arttırmıyor.” şeklinde bir sonuç buldunuz. Sizce hangisi daha ilgi çekici bir sonuç? İnsanların büyük çoğunluğu “Arttırıyor” sonucunu daha ilginç bulacaktır. Şimdi siz bu araştırmanız hakkında bir tane makale yazıp bilimsel bir dergiye gönderiyorsunuz.

Araştırma sonucunda hangisini bulduysanız dergi sizin makalenizi yayınlamayı daha çok isteyecektir? Tabii ki “Arttırıyor” sonucunu bulduysanız daha çok isteyecektir, çünkü dondurmanın sınav başarısını arttırdığı sonucu ilginç bir sonuç. İnsanlar “yuh çok acayip” deyip makaleyi okuyacak, başka biliminsanları benzer konularda yazdıkları makalelerde bu makaleyi referans olarak gösterecek…

Dergi bunu istiyor çünkü dergideki makaleler referans olarak gösterildiği zaman derginin saygınlığı artıyor bu da dergiye ileride daha fazla para olarak dönecek oluyor. Yani örneğin “dondurma sınav başarısını arttırıyor” şeklinde bir efektin var olduğunu söyleyen bir bilimsel makalenin bir bilimsel dergide yayınlanma şansı, “dondurma sınav başarısını arttırmıyor” şeklinde bir efektin var olmadığını söyleyen bir bilimsel makaleden daha yüksek.

 

Buraya kadar nelerden bahsettik hızlı özet:

  1. Bilimsel dergiler, ilginç deney sonuçlarını yayınlamak istiyor.

  2. Bir efektin var olduğunun bulunması, o efektin var olmadığının bulunmasından daha ilginçtir.

  3. Üniversitede bilim yapan araştırmacıların, meslekte tutunabilmesi için bilimsel dergilerde yayın yapmaları gerekiyor.

 

Yanlış Pozitif Sonuç Raporlamaya Teşvik

Gerçekte var olmayan bir etkinin, bir deney sonucunda yanlışlıkla “varmış” gibi görülmesine “yanlış pozitif sonuç” denir.

Benim aklıma bir tane efekti araştırmak geldi, o efekt gerçekten var mı yok mu onu araştırıyorum. Önce araştıracağım, sonra da yaptığım araştırma sonucunda o efekt gerçekte var mı yok mu onun hakkında bir sonuç bulacağım. Sonucu raporlayan bir makale yazacağım, makaleyi dergide yayınlatacağım ve üniversitedeki saygınlığımı böyle koruyacağım. Araştırdığım efekt gerçekte yok ise benim bunun hakkında yazdığım bir makaleyi bilimsel bir dergide yayınlatmam çok zor. Çünkü dergiler makalem yeterince ilginç değil diye kabul etmeyecek. Bu şekilde, akademik sistem, beni araştırdığım efektin gerçekte var olduğunu raporlamaya zorluyor.

(Burada hızlıca şundan bahsetmek gerekiyor: bir efekt var ya da yok onu nasıl ayırt ediyoruz: araştırmamızın sonucunda elimize verileri alıyoruz. Bu verileri istatistik yöntemleriyle analiz ediyoruz, bir tane p değeri geçiyor elimize. Bu p değeri 0.05 sayısından küçük ise efekt var gibi görünüyor demek oluyor. p değeri 0.05 sayısından büyük ise de efekt yok gibi görünüyor demek oluyor.)

E sistem bu anlattığım şekilde, beni bir efektin varlığını bulmaya teşvik ediyor, bir efektin var olmadığını bulursam bu bulguyu bir dergide yayınlatmam çok zor. Ne oluyor, ben yaptığım araştırmayı analiz ettiğimde elde ettiğim p değerinin 0.05’in altında bir sayı çıkmasını istemeye başlıyorum. p değeri 0.05’in altında çıksın ki deney sonucunda anlamlı bir efekt varmış gibi görünsün.

İşte sosyal bilimlerde yeni yeni farkına varılan şey şu: Bir deney yapıldığında, p değerini 0.05’in altında göstermek, düşündüğünüzden çok çok daha kolaydır. Yaptığınız deney sonucu elinize geçen veriyi eğip bükerek çeşitli şekillerde esneterek, 0.05’ten küçük bir tane p değeri bulmak çok kolaydır. Eğer sistem sizi 0.05’ten küçük bir p değeri bulmaya teşvik etmeseydi belki yaptığınız deneyde 0.05’ten büyük bir p değeri bulacaktınız. Ama sistem sizi deminden beri anlattığım sebeplerden dolayı 0.05’ten küçük bir p değeri bulmaya zorluyor, siz de veriyi eğip bükerek 0.05’ten küçük bir p değeri ortaya çıkarmayı başarıyorsunuz. Sonra bunun üzerine bir makale yazıyorsunuz, dergiye gönderiyorsunuz. Dergi beğeniyor “woow dondurma yemek sınavdaki başarıyı gerçekten arttırıyormuş çok ilginç” diyor ve makalenizi yayınlıyor.

Burda dikkatinizi çekerim: Eğer sizin üzerinizde 0.05’ten küçük bir p değeri bulma baskısı olmasaydı, siz 0.05’ten büyük bir p değeri bulacaktınız. Ama veriyi değişik şekilde analiz edip 0.05’ten küçük bir p değeri buldunuz. Bu bilgi bilimsel bir dergide bu şekilde yayınlandı. Burada ne olmuş oldu? Doğru olmayan bir bilgi, bilimsel literatüre girmiş oldu. Yani “yanlış pozitif” sonuçlar yayınlanıyor.

Dünyadaki güncel akademik sistemin yukarıda anlattığım şekilde işlemesinden dolayı, bilimsel literatür, özellikle sosyal bilimlerde, maalesef ki böyle yanlış pozitif deney sonuçlarıyla dolu. Bir sürü doğru pozitif deney sonuçları da var, ama bunları yanlış pozitif sonuçlardan ayırt etmek çok zor bir iş.

Bilimde Replikasyon Krizi’nin Çıkışı

Diyelim ben bu şekilde, “Dondurma yemek sınav başarısını arttırıyor” şeklinde yanlış pozitif bir deney sonucu raporladım. Benim yaptığım deneyin aynısını, başka bir araştırmacı yapıyor ve benim bulduğum sonuçları bulamıyor. Başka birkaç araştırmacı daha “Dondurma yemek sınav başarısını arttırmıyor” şeklinde bir sonuç buluyor. Böyle bir sürü değişik araştırmacı benim bulduğum sonucu bulamayınca, “Ne oluyor ya? O zaman ilk başta yayınlanan deney sonucu yanlış olmalı…” diye sorgulamaya başlıyorlar. Gerçek dünyada, son 5-10 yılda, bir sürü deney sonucu hakkında buna benzer hikayeler yaşanmıştır.

İşte sosyal bilimlerde 2010’lu yıllardan beri gündemde olan replikasyon krizi kavramının ortaya çıkış şekli budur. Araştırmacılar, sistem tarafından, deneylerinde 0.05 değerinin altında p değerleri bulmaya teşvik edilmekte, bu bir sürü yanlış pozitif sonucun raporlanmasına neden olmakta, bu da gerçekte var olmayan bir sürü bilginin, bilimsel bir kılıfa sokularak, gerçekte varmış gibi gösterilmesine neden olmaktadır.

Bu çok büyük bir bilimsel sorun. Sosyal bilimler, on yıllardır araştırmacıların akademik sistem tarafından p değerini hack’lemeye teşvik edilmesi sonucu, bir sürü yanlış pozitif sonuçla doldu. p değerini hack’lemek şu demek: araştırmacı deneyin istatistik analizini yaparken, p değerini kritik sınır olan 0.05 sayısının altında bulmak için uyguladığı bütün yöntemlerin genel adına p-hacking yani p değeri hack’lemek deniyor.

Replikasyon Krizi’ne Karşı Çözümler

Biz bilim yaparken doğru ve güvenilir bilgiye ulaşmak istiyorsak, en başından bu akademik sistemi değiştirmeliyiz. Bilimi şeffaf hale getirmeliyiz ki yanlış pozitif sonuçlar doğru pozitif sonuçlardan daha kolay ayırt edilebilsin, ve en önemlisi, biliminsanları artık yanlış pozitif sonuçlar raporlamaya sistem tarafından teşvik edilmesin. Bu yazıda şimdiye kadar anlattığım şeylerin son yıllarda farkına varılması, Psikoloji başta olmak üzere sosyal bilimlerin güvenilirliğini derinden sarstı. Sosyal bilimler alanında çalışan biliminsanlarının çoğu ortak bir şeyin farkına vardı: “Eğer bilimi güvenilir hale getirmek istiyorsak, bazı önlemler almalıyız.”

Bilimi tekrar güvenilir hale getirmek için, son yıllarda, başlıca 2 tane çözüm önerisi benimsendi. Bunlar:

  1. Disclosure (Açıklama)
  2. Pre-Registration (Ön Kayıt)

1) Disclosure (Açıklama):

Disclosure denen şey şu: Makale yazarları, bir dergiye makale gönderdiğinde, şunları yapmış olmaları gerekiyor: Deneyde kullandığı bütün ölçekleri, deney manipülasyonlarını, deneyi kaç kişiyle yapacağı kararını nasıl verdiğini, ve deney sonunda istatistik analizine dahil etmediği katılımcıları neye göre belirlediğini açıklaması gerekiyor. Makale yazarı böyle şeffaf bir şekilde her şeyi açıklarlarsa, deneyde p değerini hack’leyip hack’lemediğini ayırt etmek daha kolay oluyor.

Şimdi şöyle düşünüyor olabilirsiniz: Zaten bir makale yazarı bir deney yaptığında, kullandığı bütün ölçekleri vesaire açıklaması gerekmiyor mu? Bunun zaten standart uygulama olması gerekmiyor mu? Maalesef hayır 🤣. Bilimsel dergilerin çoğu, yayınladıkları makalelerde deneyin nasıl yapıldığının şeffaf bir şekilde açıklanmasını şart koşmuyor. Çünkü demin dediğim gibi, bilimsel dergi denen şey, kâr amacı güden bir özel şirket. Araştırmacının amacıyla bilimsel derginin amacı aynı değil. Araştırmacının amacı bilim yapmak olabilir, bilimsel derginin amacı ise her zaman para kazanmak.

Mesela çok saçma bir durum örneği vereyim: Eğer 1980’lerde 90’larda yazılmış bir psikoloji makalesi okuyorsanız, makalede bahsettikleri deneyi yaparken ölçtükleri şeyi nasıl ölçtüklerini makalenin içinde bulamama ihtimaliniz çok yüksek. Yani makalede sonuç var, ama deneyi yaparken kullandıkları ölçekler yok. Makalenin içinde ölçek arayıp da bulamayan herkes eminim ki bunu ilk fark ettiğinde şok olmuştur. E peki deney hakkındaki makaleyi okuyan ben nasıl inanacağım okuduğum deneyde ölçülen şeyin düzgün ölçekler kullanılarak ölçüldüğüne? Böyle bilim olur mu??

Normalde bir araştırmacı bilimsel bir dergiye makale gönderdiğinde süreç şöyle işlemektedir: Dergi yönetimi, sizin makalenizi, aynı alanda çalışan 2 ya da 3 tane sizin kim olduğunuzu bilmeyen başka araştırmacıya gönderiyor. Bu araştırmacılar sizin makalenizi inceliyorlar. Düzeltilmesi gereken yer varsa söylüyorlar, sonra her şeyin düzgün olduğundan emin olduktan sonra makaleyi onaylıyorlar, editör de onaylarsa makale dergide yayınlanıyor. Sizin deneyde kullandığınız ölçekleri sadece bu 2-3 kişi görüyor. Siz makaleyi yazarken deneyde kullandığınız ölçekleri makalenin içinde herkesle paylaşmak zorunda değilsiniz. Yani sizin makalenizde bahsettiğiniz şeyi düzgün bir ölçekle ölçüp ölçmediğinizi belirlemek, 2-3 kişinin insafına kalmış durumda. “Bu ne bilimsizliktir” yorumunun tam yeri. Bu ne biçim iş, bilim neden tamamen şeffaf değil? Gizleyecek ne var?

Neyse ki, 2010’lardan itibaren, dergilerin çoğu bunu hâlâ şart koşmasa da, makaleleri hakem olarak inceleyen araştırmacılar makale yazarının kullandığı ölçekleri makale içinde düzgünce açıklamasını daha çok istemeye başladı, bu da bilim adına iyi bir şey. Disclosure yani “açıklama” yöntemi yavaş yavaş her zaman standart uygulanan standart uygulama haline gelmeye başladı. Hâlâ her zaman kesinlikle şart olmasa da pozitif bir adım.

2) Pre-Registration (Ön-Kayıt)

İki çözüm önerisinden deminki Disclosure (Açıklama) uygulaması, p değeri hack’lemeye karşı asgari düzeyde bir savunma sağlıyor. p değeri hack’lemeyi kesin bir şekilde önlemenin yolu, bir deneye başlamadan önce, onun Pre-Registration işlemini (yani ön kayıtını) yapmaktır.

Şimdi bakalım. Normalde p değeri hack’leme işleri nasıl oluyor?

Normalde olan şey şöyleydi: Bir deney yapan bir araştırmacı, deneye katılan katılımcılardan elde ettiği verileri nasıl analiz edeceğini genellikle deneyden sonra belirliyordu. Bu da o araştırmacının, bir sürü sayıda istatistiksel analiz yapıp, yaptığı analizler arasından, p değerinin 0.05’ten küçük bir değer çıktığı 1 adet analizi, sanki yaptığı tek analiz oymuş gibi raporlamasına olanak tanıyordu.

Pre-registration (Ön-kayıt) sistemi bu durumu nasıl çözüyor?

Pre-registration işlemi yapan bir araştırmacı, araştırma ve analiz yöntemlerini deneye başlamadan önceden belirlemiş oluyor ve herkesin görebileceği bir platformda bunu deklare ediyor. Başlıca olarak: yapacağı deneyde neyi ölçeceğini, deneyi kaç kişiyle yapacağını, hangi istatistiksel analiz yöntemlerini kullanacağını, analize dahil etmeyeceği deney verilerini neye göre ayıracağını deneye başlamadan önce belirliyor. Deneye başlamadan önce, bunları nasıl yapacağına dair bir form dolduruyor ve özellikle bu iş için kurulmuş olan AsPredicted isimli web sitesine veya replikasyon krizi’ne cevap olarak kurulmuş olan Open Science Framework isimli web sitesinin pre-registration bölümüne bu formu gönderiyor. Ve deneyini bu formda bahsettiği şekilde yürütüyor. Bunu yapınca ne oluyor, deney bittikten sonra, türlü türlü değişik istatistik analiz yöntemleriyle 0.05 sayısından küçük bir p değerini, “keşfetme” olanağı engellenmiş oluyor.

Bu pre-registration sistemi, bir araştırmacının, yaptığı deneyde p değerini hack’leme uygulamalarını yapmadığı konusunda okuyucuları ikna etmesinin tek etkili yoludur.


Replikasyon krizi’ne karşı alınan önlemlerden en popüler ikisinden bahsettiğim yazım bu kadardı, ufuk açıcı olduğunu umuyorum, bir sonraki yazıda görüşmek üzere…

istatistik danışmanlık hizmeti büyük

Deniz Şavkay hakkında 168 makale
Lisans eğitimimi Boğaziçi Üniversitesi Moleküler Biyoloji ve Genetik bölümünde, Yüksek Lisans eğitimimi Polonya'daki SWPS Üniversitesi Psikoloji bölümünde tamamladım. Davranış bilimlerine ilgi duyuyorum ve eğitim hayatımı bunun üzerine şekillendirdim. SPSS ile istatistik analizi yapmayı çok seviyorum. SPSS analizleriyle insan davranışındaki kalıpları keşfetmek ve insan davranışı hakkında iç görü sahibi olmak beni heyecanlandırıyor.

İlk yorum yapan olun

Bir yanıt bırakın

E-posta hesabınız yayımlanmayacak.


*