Bilimsel Yayınlarda Taraf Tutma...

Sağlık Bilimlerinde Süreli Yayıncılık- 2008 / Türk Tıp Dizini’nden

Yazar: Prof. Dr. Hamdi AKAN. Ankara Üniversitesi Tıp Fakültesi, Hematoloji Bilim Dalı, Tıp Eğitimi ve Bilişimi Anabilim Dalı Öğretim Üyesi. hamdiakan@gmail.com

Bir araştırmanın yayın haline gelmesi uzun ve sıkıntılı bir süreçtir. Bu süreçte çok farklı aşamalarda hatalar olabilir. Bu hatalar, çalışma tasarım hatası, çalışma popülasyonu seçim hatası, örneklem sayısı hatası, çalışmanın yürütülmesi sırasında çalışma protokol ya da projesine uyulmaması, çalışma sonunda veri giriş hatası, istatistik yöntem seçim hatası gibi metodolojik ya da sistematik olmayan hatalar olabilir. Bu hataların bir kısmı uygun kalite kontrol sistemleri kurularak önlenebilirse de; bir kısmı ancak çalışma bittiği zaman ortaya çıkar ve artık düzeltilmesi olanaklı değildir ve o çalışmanın çöpe girmesine yol açabilir.İstemeden yapılan bu tip hataların dışında, sistematik olarak çalışmanın gidişini belirli bir yöne doğru etkileyecek şekilde yapılan hatalar vardır ki bunlar “taraf tutma” başlığı altında toplanabilir. Yabancı literatürde bu konu “bias” başlığı altında ele alınmaktadır.

Bias’ın kelime karşılığı “önyargı” olarak görülebilir ve genelde bir kişinin karar ve yargılarında görüşleri ve ideolojik tercihleri nedeni ile taraf tutması anlamına gelir. Ancak taraf tutma ya da önyargılı olma koşulu ancak bu yargının objektif ya da normal olarak kabul edilemeyeceği durumlar için söz konusudur. Bilimsel çalışmalar açısından bakılırsa, sonuçların gerçek olandan sistematik olarak farklı çıkmasına yol açabilecek her türlü süreç bu kavrama girer. Bir hatanın taraf tutmaya yol açabilmesi için bunun sistematik hata olması gerekir. Sistematik hatalar genellikle kontrollü çalışmalarda bir çalışma grubunun sonuçlarının diğerinden farklı yöne gitmesine yol açar. Unutulmaması gereken konu, bilimsel çalışmaların her zaman hataya açık olduğudur. Ancak taraf tutmayı amaçlamayan yani “random hata”lar ya da diğer bir deyimle şans faktörü, bias oluşmasına yol açmaz. Bu tip hatalar her iki grupta da aynı yöne giden farklılaşmaya yol açtığı için birbirinin etkisini giderir ama sonuçların duyarlılığını azaltabilir.

Taraf tutma şekilleri

Bias, değişik şekillerde sınıflandırılabilir ve çok sayıda taraf tutma şekli vardır.

Zamanlama açısından sınıflandırmak gerekirse 2 ana başlık vardır:

A. Çalışmanın tasarımı, yürütülmesi ya da analizi sırasında taraf tutma

B. Çalışmanın yayınlanması ve değerlendirilmesi sırasında taraf tutma

Taraf tutma çeşitlerinin sınıflandırılması, çalışmanın değişik aşamalarına göre yapılabilir. Bu sınıflandırma ve alt grupları Tablo I’de verilmiştir. Buna göre 7 farklı aşamada taraf tutulabilir:

1. Literatür değerlendirmesi

2 Çalışma tasarımı

3. Çalışma yürütülmesi

4. Veri toplanması

5. Analiz

6. Sonuçların yorumlanması

7. Yayın

Taraf tutma ya da aldatmaca

Bias yani taraf tutma ile bilimsel çalışmalarda aldatmaca arasında ince bir sınır varsa da ikisi aynı anlama gelmez. Bilimsel yayınlarda aldatmaca, olmayanları olur hale getirerek, istemli olarak yapılan etik dışı eylemlerdir. Bir çalışmada olmayan hastalar, olmayan veriler, olmayan sonuçlar, olmayan yaklaşımlar ve olmayan metodlar olur hale gelir, ya da başka çalışmalardan kopya edilir. Bunların en tipik örnekleri olan plajerizm (yağmalama), masa üstü yayın (desktop publishing), fabrikasyon gibi aldatmaca örnekleri eğer anlaşılabilirse, doğrudan doğruya araştırmacının kasıtlı davranışı olarak değerlendirilir ve etik kurallar çerçevesinde araştırıcı cezalandırılır. O çalışma da hiç yapılmamış olarak kabul edilir. Halbuki araştırmacının bias yaptığı çalışmalar, sistematik bir gözle incelenirse ortaya konabilir ve araştırıcı kasıtlı değil, hatalı olarak değerlendirilir. Yapılan araştırma ise ret edilmese bile değerinden yitirir. Bu aşamada öncelikle taraf tutma nedenleri hakkında bilgi verilecek, sonra da taraf tutma şekilleri incelenecektir.

Niye taraf tutulur?

Bu soruyu günlük hayatta sorarsanız yanıtı oldukça basittir. Kazanmak için taraf tutulur. Ancak bu durumda bir kasıt vardır ve taraf tutma istemli olarak yapılır. Hâlbuki bias önyargı unsurunu da kapsadığı için geniş anlamda bakılırsa, bias yapan kişi her zaman bunun farkında olmayabilir yani bunu istemli olarak yapmayabilir. Burada önemli olan hatanın istemli olup olmadığı değil, sistematik olup olmadığıdır.Bilimsel yayınlarda yalnız kazanmak için değil kaybetmemek için de taraf tutulabilir. Örneğin çok şey beklediğiniz bir ilaçla yaptığınız bir klinik araştırmada beklenen sonuç çıkmadığı zaman o çalışmayı yayınlamamak iyi bilinen bir taraf tutma olup, yayın sırasında taraf tutmaya (publication bias) bir örnektir.

Tablo 1. Çalışma aşamalarına göre taraf tutma şekilleri
Literatür değerlendirme aşaması	İngilizce dışı literatürü dışarıda bırakma  Literatür tarama  Tek taraflı kaynak seçme
Çalışma tasarımı	Seçim (Selection)  Örnekleme  Karşılaştırma
Çalışma yürütülmesi	Performans  Değerlendirme  Eksiltme (Attrition)
Veri toplanması	Araçlarla ilgili  Gözlemci ile ilgili  Denek ile ilgili  Kabullenme ile ilgili  Verileri girme ile ilgili
Analiz	Karıştırıcı faktörler  Aşırı değerler (Outlier)  Alt grup analizleri
Sonuçların yorumlanması	Doğrulama  Beklentiler  Mantık kurma
Yayın aşaması	Pozitif sonuçlar  Editoryal  Reklam

A. Çalışmanın tasarımı, yürütülmesi ya da analizi sırasında taraf tutma

1. Literatür seçimi

Bir araştırmaya başlamadan önce yapılan literatür taramaları günümüzde internet üzerinden kolayca ulaşılabilen MEDLINE gibi veri tabanları kullanılarak yapılmaktadır. MEDLINE’da yayınlanan literatürlerin %79’u İngilizce bildiriye sahiptir. Eğer tarama yapılırken yalnız İngilizce dilde yayınlanan dergiler seçilirse bu oran daha da düşecektir. Böylece İngilizce dışında yayınlanmış ve araştırılmak istenen onu ile ilgili çok sayıda yazı tarama dışı bırakılmış olacaktır. Yine MEDLINE gibi veritabanları çeşitli arama filtreleri sunarlar. Bu filtreler kullanılırken yapılan hatalar ya da anahtar kelime seçimindeki hatalar, konu ile ilgili önemli yazıların tarama dışı kalmasına yol açacaktır. Analitik bir göz, tarama sonucu bulunan yazılardaki yaklaşımları, sonuçları değerlendirebilir, ancak bulunmayan yazılardaki veriler hiçbir zaman dikkate alınamayacaktır. Şüphesiz ki, belirli bir konu üzerinde çok çalışan ve kendi sonuçlarının doğruluğuna inanan çalışma gruplarının verilerinden hareket ederek çalışmaya başlamak ve o konu ile ilgili farklı sonuçları olan çalışmaları göz ardı etmek de tipik bir bias örneğidir.

2. Çalışma tasarımı:

Seçimde taraf tutma: Özellikle tedavi ya da tanı yöntemlerinin karşılaştırıldığı çalışmalarda, grupların seçimi ve bu karşılaştırılan gruplara tedavi ya da tanı yönteminin nasıl uygulanacağını belirlemek çok önemlidir. Örneğin akut lösemisi olan hastalarda iki ayrı tedavi yönteminin birbirine üstün olup olmadığını araştırırken, farklı tedavi alan grupların ana özelliklerinin ve tedavinin sonuçlarını verilen ilaçlar dışında etkileyebilecek özelliklerinin benzer olması gerekir. Akut lösemide ileri yaşın, tedavi başarısını olumsuz etkileyen bir faktör olduğu iyi bilinmektedir.Eğer bir tedavi kolundaki hastaların çoğunluğunu 50 yaş üzeri seçer, diğer tedavi kolundaki hastaları ise genç olanlardan oluşturursanız, genç hasta grubundaki tedavi hemen her zaman daha başarılı olacaktır. Bu sakıncayı gidermenin en iyi yolu hasta seçim kriterlerinden başlayarak dikkatli olmaktır. Özelliklekarıştırıcı değişkenlerin (confounding variable) çok olduğu çalışmalarda, çalışmaya alınacak hastaların seçiminde bu değişkenlerin dikkate alınması, hasta gruplarının yaş, cinsiyet gibi demografik değişkenlerinin iyi belirlenmesi gerekir. Örneğin bir tedavinin kadın hastalarda daha iyi yanıt verdiği biliniyorsa, hasta grubunu kadın ağırlıklı oluşturmak genel popülasyon hakkında fikir veremeyebilir. Hasta seçim kriterleri ne kadar dikkatli olursa olsun, bu tip sakıncalar tamamı ile giderilemeyeceği için, bu durumda yapılması gereken temel tasarım, karşılaştırmalı çalışmalarda randomizasyon yapmaktır.Randomizasyon ya da rasgelelik; yazı-tura atmaktan, gelişmiş bilgisayar algoritmalarına kadar çeşitli yollarla yapılabilir, amaç yeterli seçilmiş örnek sayısında her iki grupta da temel özellikler ve karıştırıcı değişkenlerin eş dağılmasını sağlamaktır. Önemli karıştırıcı değişkenler varsa, randomizasyon sırasında bu değişkenleri gruplara eşit dağıtmak amacı ile tabakalandırma (stratifikasyon) yapılması seçimde taraf tutmayı önlemekte daha da uygun olur.

3. Çalışmanın yürütülmesi

Çalışmanın yürütülmesi taraf tutmaya en açık dönemdir. Randomizasyon yapılsa bile, hangi tedavinin hangi hastaya verileceği bellidir. Çalışma ilacı grubuna randomize edilecek bir hastanın kötü prognostik özelliklere sahip olması, o hastanın çalışma dışı bırakılmasına yol açabilir. Bu tip sakıncaları önlemek için geliştirilmiş en doğru yaklaşım körleme ya da diğer adı ile maskelemedir. Bu yaklaşımda çalışma ilacı ve kontrol ilacı tamamı ile birbirine benzemektedir; bu yolla hastanın ya da doktorun hangi ilacın verildiğini anlaması güçtür.

Performansta taraf tutma: Çalışma ilacı ve kontrol ilacının gruplara dağılımında bir taraf tutma olmadığı halde, gruplardan bir tanesine daha iyi destek tedavisi ya da ek tedavi uygulanması buna iyi örnektir. Körleme yöntemi bunu önler.

Eksilmede (Attrition) taraf tutma: Bir çalışma süresince çeşitli nedenlerle hastalar çalışmayı bırakabilir.Buna yol açan nedenler çalışma protokolü ihlali, hastanın yan etkiler ya da tedaviden memnun olmaması nedeni ile izleme gelmemesi, temas kurulamaması olabilir. Eğer bu hastalar (eksilen hastalar), eksik izlem nedeni ile değerlendirilmeye alınmazlarsa; belki de o ilaca ait bir sorun etkinlik değerlendirmesine alınmamış olabilir. Örneğin, A ilacı alan 20 hastadan 18 tanesi çalışmayı tamamlamış ve 10 tanesinde olumlu etki izlenmiştir. B ilacı alan 20 hastalık grupta ise 10 hasta ilaca bağlı yan etkiler nedeni ile çalışmayı erkenden bırakmak zorunda kalmış, çalışmaya devam eden 10 hastadan 8 tanesi ise olumlu yanıt vermiştir. Eğer çalışma dışı kalanlar dışarıda bırakılırsa, A grubunda başarı oranı 10/18 (%55), B grubunda ise 8/10 (%80) olur. Yani B ilacı A’dan iyidir. Bu tip analize per-protokol analiz (protokole göre analiz) denir. Halbuki gerçek yaşamda, ilacı yan etki nedeni ile bırakanların çok olması ilacın başarısızlığını gösterir. Bu nedenle aslında A grubunda başarı 10/20 yani %50, B grubunda ise 8/20 Yani %40’tır. Yani A ilacı B’den iyidir. Bu tip analizeintent-to treat analiz (tedavi amacına yönelik analiz) denir.

Bu tip çalışmaların sonuçları verilirken analizin nasıl yapıldığı belirtilmelidir. Doğaldır ki, bir çalışmadan ayrılan ya da izlemden kaybolan hasta sayısının beklenenden çok olması o çalışmanın yürütülmesinde bir sorun olduğunun göstergesidir. Randomize olan hastaların çalışma dışı kalması, hasta alım kriterlerine uyumda yapılan hata, önemli veri eksiklikleri gibi durumlarda kabul edilebilir. Ancak bunun kabul edilebilir olması için hasta alım kriterinin çalışma başında tanımlanmış olması, bu kritere uymayan tüm hastaların çalışma dışı bırakılmış olması ve bu kritere uyumsuzluğu gösterecek somut ölçüm yöntemleri olması gereklidir. Bu konudaki önemli bir yaklaşım, önde gelen tıp dergi editörlerinin bir araya gelerek, randomize, kontrollü çalışmaların nasıl yayınlanması gerektiğini açıklayacak kuralları belirttiği CONSORT bildirisidir. Bu bildiri, randomize, kontrollü çalışmaların tasarım, yürütme, analiz ve yorum aşamalarının okur tarafından tümü ile anlaşılabilmesi için tam şeffaflık gerektiğini ve bunun yöntemlerini gösterir.

Değerlendirmede taraf tutma (Decision bias): Bu tip taraf tutma, alınan ilacın ne olduğunun bilinmesi durumunda sonuç değerlendirenlerin taraf tutabilmesidir. Bu nedenle bazen yalnız hasta ve doktorların değil, diğer çalışma sonuçlarını değerlendiren radyologlar, laboratuvar uzmanları, hasta bakımından sorumlu olanların, hatta sonuçları analiz eden istatistik uzmanlarının bile maskelenmesi gerekebilir.Yukarda belirtilen yaklaşımların kullanılma şeklinin, çalışmaların sunucunu etkileyip etkilemediği araştırılmıştır. Chalmers ve arkadaşları miyokard infarktüsü tedavisi ile ilgili 145 çalışmayı değerlendirmiştir. Randomize edilmeden yapılan çalışmalarda tedavi grupları arasında ölüm oranları bakımından %58.1 fark bulunurken, randomize ama kör olmayan çalışmalarda bu oran %24.4, randomize ve körleme yapılmış çalışmalarda ise %8.8’dir. Colditz ve arkadaşları ise 113 klinik araştırmada, körlemenin rolüne bakmışlar ve körleme ne kadar iyi yapılırsa tedavi farkının o kadar azaldığını göstermişlerdir. Tüm bunlar taraf tutmayı giderecek uygun yöntemlerin kullanılmasının önemini göstermektedir.

4. Çalışmanın analizi

Bir çalışma ile ilgili verilerin analizi aşamasında, beklenen sonuçla uyulmayan verilerin bulunması ya daaşırı uçlarda verilerin (outlier) saptanması sık rastlanan bir durumdur. Bu durumda yapılacak en doğru iş, özellikle laboratuvar örnekleri el altında ise: bu örneklerin yeniden çalışılmasıdır. Ancak, insan üzerindeki denemelerde ve çoğu laboratuvar çalışmada bu olanaksızdır. Bu değerlerin çalışma dışı bırakılması eğer bunu haklı çıkartacak somut bir gerekçe yoksa söz konusu olamaz. Bu durumda veri seti hem bu değerler içerde iken, hem de dışarıda iken analiz edilir. Eğer fark yoksa sorun yoktur. Fark varsa, outlierların olduğu veri seti dikkate alınır, çünkü bu aşırı değerler her zaman bir klinik durumun yansıması olabilir.

Analiz sırasında yapılan diğer bir hata ise, anlamlı veri elde edilmeyen çalışmalarda alt grup analizleri ile anlamlı veri elde edilebilecek gruplar aramaktır. Alt grup ayırımları protokolde randomizasyon öncesi belirlenen özelliklere göre yapılmalıdır, eğer bir alt grup, çalışma bitip veriler toplandıktan sonra ortaya çıkıyorsa, bu verilere şüphe ile yaklaşılmalıdır.

B. Çalışmanın yayınlanması ve değerlendirilmesi sırasında taraf tutma

1. Sonuçların yorumlanması sırasında taraf tutma

Bir araştırma ortaya çıktıktan sonra da taraf tutma devam edebilir. Bu doğrudan yayın haline getirilirken, araştırıcı ya da dergi editörleri tarafından yapılabildiği gibi (publication bias), yayın haline gelen bir araştırmanın sonuçlarının yorumlanmasında okuyucu tarafından yapılabilir.

Bilimsel yayınları okuyanlar, okudukları yazı hakkında karar verirken somut veri ve sonuçları değerlendirirlerse de, bu değerlendirmelerin birikimler ve o konudaki ön yargılardan bağımsız olarak yapılması oldukça güçtür. Genellikle bir araştırmanın sonucunun değerlendirilmesi o zamana kadar o konu ile ilgili bilinenlerden etkilenir. Bir araştırmada çıkan sonuçların bilinene ya da beklenen aykırı olması durumunda, aykırılığı ortaya koyan çalışmadan beklenen kalite düzeyi ya da kanıtlar, o konudaki bilineni destekleyen çalışmalar göre daha yüksek olabilir. Buna doğrulamada taraf tutma (confirmation bias) denir.

Aynı şekilde beklentilere uymayan bir sonuç elde edilmesi durumunda, ilk düşünülen o çalışmanın tasarımının, metotlarının hatalı olduğu ve sonuçların bu nedenle farklı çıktığıdır. Bu taraf tutma ya doğrudan çalışmanın yapısında hata aranarak, ya da o çalışma farklı koşullarda yapıldı ise farklı sonuçlar vereceğini öne sürülerek yapılır (beklentide taraf tutma-expectation bias). Kadınlarda hormon yerine koyma tedavisinin koroner kalp hastalığı riskini azaltmadığının gösterilmesinden sonra, çalışmanın kadınlarda geç dönemde yapıldığının, bu nedenle primer korumada bu yaklaşımın geçerli olduğunun öne sürülmesi bu tip taraf tutmaya örnektir.

Bazı iyi bilinen mekanizmaların varlığı ve bunlardan mantık çıkarma işlemi, önümüzde duran verilerin yorumlanmasında sorun yaratabilir. Örneğin Helicobacter pylori bakterisinin ülser yaptığının gösterilmesine rağmen, uzun süre mide asiditesinde bakterilerin yaşayamayacağı düşünüldüğü için tereddütle karşılanan bir sonuç olmuştur (mantık kurma ile taraf tutma –plausibility bias).

2. Çalışmanın yayını sırasında taraf tutma (publication bias)

Yayın sırasında taraf tutma, çalışma sonuçlarının bir görüşü destekleyecek şekilde seçerek yayınlanması ya da yayınının önlenmesi anlamına gelir. Bunun dergicilikte karşılığı ise pozitif sonuçlu yayınların daha çok yayınlanmasıdır. Bu kavramın doğru olup olmadığını araştıran çeşitli çalışmalar yapılmıştır. Bir çalışmada, Oxford Araştırma Etik Komitesine gönderilen 285 çalışma incelenmiş ve bunların %52’sinin yayınlandığı görülmüştür. Bu yayınların çoğunluğunu olumlu sonuç veren araştırmalar oluştururken, bu tip araştırmalardan daha çok sunum yapıldığı ve bunların daha hızlı yayınlandığı gösterilmiştir. Şüphesiz ki, bu aşamada yayında taraf tutmanın 2 nedeni olabilir; 1. Olumsuz sonuç veren yayınların dergilere gönderilmemesi, 2. Olumsuz sonuç veren yayınların dergi editörleri tarafından reddedilmesi. Bu faktörlerden hangisinin geçerli olduğunu araştırmak için Journal of American Medical Association (JAMA) dergisine yapılan yayın başvuruları incelenmiştir. 754 yazıdan 133 tanesi yayınlanmış ve olumlu sonuçların olumsuz olanlara tercih edildiği gösterilememiştir. Bu veri, editoryal seçimin yayında taraf tutmada rolü olmadığını gösterse de, tüm dergilerin JAMA ile aynı tutuma sahip oldukları şekilde bir genelleme yapmak zordur.

Bu genellemeyi önleyen faktörlerin arasında reklam nedeni ile taraf tutma (commercial bias) vardır. Dergiler üzerindeki finans baskısı ve editörlerin ilişkileri buna yol açabilmektedir. 1992 yılında Annals of Internal Medicine dergisinde 10 önde gelen tıp dergisindeki ilaç reklamlarının bilimsel doğruluğunu sorgulayan bir yazı çıkmasından sonra, bu dergide yayınlanan ilaç reklamları diğer dergilere göre belirgin derecede azalmıştır. Yine de asıl sorunun dergilere gönderilen yazılarda olduğu görülmektedir. Lexchin ve arkadaşlarının yaptığı bir çalışmada Medline ve Embase dizinlerinde yer alan konu ile ilgili 30 çalışma incelendiğinde ilaç endüstrisi tarafından sponsorluğu yapılan çalışmaların daha az yayınlandığı, yayınlananların önemli bir kısmının olumlu sonuca sahip olduğu görülmüştür. Şüphesiz ki, endüstri çalışmalarının daha çok olumlu sonuca sahip olması, bu çalışmaların önceden daha etkin olduğu varsayılan ilaçlarla yapılması, karşılaştırma kolunun seçiminde yapılan hatalar, çalışma tasarımı hataları gibi nedenlere bağlı olabilir. Ancak, yayın sırasında taraf tutmanın bu alandaki en önemli etken olduğu görülmektedir. Sonuç olarak, bu tip taraf tutmalar, bilimsel verileri zedelemekte, doktorun karar vermesini zorlaştırmakta, sağlık politikalarının belirlenmesinde sorunlara yol açmakta ve bazen de hastalara zarar vermektedir. Bu sorunların önlenmesinde CONSORT bildirgesi gibi yaklaşımlarla dergilerin politikalar belirlemesi çok önemlidir. Son yıllarda Uluslar arası dergi editörleri (International Committee of Medical Journal Editors-ICMJE), bir araya gelerek, dergilerine başvurulacak tüm klinik araştırmaların, başlamadan önce geçerli bir web sitesine kayıt edilmiş olmalarının gerekli olduğuna karar vermişlerdir. Halen, dünya üzerinde yürütülen klinik çalışmaların önemli bir kısmı çalışma başlamadanwww.clinicaltrials.gov sitesine kaydedilmektedir. Bunların dışında editörlerin eğitimi, sponsorların ve yazarların bu konulara dikkat etmesi, orijinal protokollere ulaşılabilme, çıkar çatışması durumlarında şeffaflık gibi yaklaşımlar taraf tutmanın önünde önemli engeller olacaktır.

Not. Bu yazı, yazarın editörlüğünü yaptığı ve yakında çıkacak olan “Bilimsel Yayınlar Kitabı”ndaki yazısından alınmadır.

Kaynaklar

1. D Moher, DJ Cook, AR Jadad, P Tugwell, M Moher, A Jones, B Pham, TP Klassen. Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technology Assessment 1999; Vol. 3: No. 12. PubMED. http://www.nlm.nih.gov/pubs/factsheets/medline.html
2. Peter Jüni, Douglas G Altman, Matthias Egger Assessing the quality of controlled clinical trials. BMJ 2001; 323
3. David Moher, Kenneth F Schulz, Douglas G Altman, for the CONSORT Group. The CONSORT statement: revised recommendations for improving the quality of reports of parallel-group randomised trials. Lancet 2001; 357: 1191–94
4. EMEA note for guidance on statistical principles for clinical trials (CPMP/ICH/363/96) September 1998 CPMP/ICH/363/96
5. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991; 337(8746):867-72.
6. Lise Lotte Gluud. Bias in Clinical Intervention. Am J Epidemiol 2006 163(6):493-501
7. Ted J Kaptchuk. Effect of interpretive bias on research evidence. BMJ 2003;326:1453-1455
8. Joel Lexchin, Donald W Light. Commercial influence and the content of medical journals BMJ 2006;332:1444- 1447
9. Joel Lexchin, Lisa A Bero, Benjamin Djulbegovic, Otavio Clark. Pharmaceutical industry sponsorship and research outcome and quality: systematic review. BMJ 2003;326:1167-1170
10. Carin M. Olson, Drummond Rennie, Deborah Cook et al. Publication Bias in Editorial Decision Making. JAMA 2002;287:2825-2828.

Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication. www.icmje.org

 http://www.kanitlar.com/bilimsel-yayinlarda-taraf-tutma.html