İtiraf edeyim; ben bu hakemlik işine biraz mesafeliyim. Hayır, bilimsel bir çalışmanın sıkı bir değerlendirme sürecinden geçmesi gerektiğini biliyorum. Yine de onca zamanımı verdiğim makaleye hakemlerin insafsız eleştirileri gelince moralim bozuluyor. Oysa yıllar içinde envaiçeşit ret almış biri olarak bağışıklık kazandığımı sanıyordum. Heyhat!
Her hakem de izansız değil tabii. Kötüsü varsa, çok çok iyisi de var. Hatta öylesi var ki makaleye seviye bile atlatabiliyor. Aslında iyi hakemlikten kötü hakemliğe geçmek için harcanacak çaba o kadar da fazla değil. Bir iki kuralı akılda tutmak, birkaç noktaya dikkat etmek yeterli.
Kibar hakem
Medeni insanlarız neticede. Onun için hakemlik raporumu okuyacak yazarlara hitap ederken nezaket sınırları içinde kalmaya özen gösteriyorum. Tabii seçilen kelimeler önemli. Öte yandan yoruma açık, genel ifadeler yazmamaya çalışıyorum. Eğer hakem masaya sadece eleştirmek için oturursa, illa eleştirecek bir şeyler bulur. Bulamazsa yuvarlak ifadelerle bel altı çalışır. Bu tuzağa düşmemeli.
Doktora tezimden yazdığım ilk makale geldi aklıma. Üç hakemden değerlendirme gelmişti. Hakemlerden biri “Ee, ne var bunda? Ben de yazarım böyle bir makale,” minvalinde bir rapor yazmıştı. Rapora gel. Ufağım bir de; dokunuyor insana… Neyse ki diğer hakemlerin raporları çok daha insaflıydı da şişede balık olmaktan kurtulmuştum.
Nezaket gösteriyorum derken eleştirinin dozunu kısıyorum anlamına gelmesin. Aksine eksiklik gördüğüm her noktayı listeliyorum ve ayrıntılı olarak gerekçelerimi yazıyorum. Hatta çok önceden öğrendiğim bir kural var: Eğer makale için ibrenin olumsuza yakın olduğunu düşünüyorsam, kapsamlı düzeltme (major revision) yerine doğrudan reddedilmesini öneriyorum. Aksi halde yazarları oyalıyormuşum gibi geliyor.
Bir de ara ara kendime hatırlattığım bir nokta var. Hakem eleştirilerini, övgülerini yazar; ancak nihai yargıya varmaz. Makalenin kabul ya da reddedilmesi kararı editörde. Kaldı ki diğer hakemler de raporlarını iletecekler. Dolayısıyla raporumda makalenin akıbeti üzerine sadece bir “tavsiye” yaptığımı aklımda tutuyorum.
Taktikler

IJCAI rapor şablonu
Hakem raporunu bir çerçeve kullanarak hazırlamak işi kolaylaştırıyor. Yapay zekâ konferanslarında kullanılan bir tanesini örnek olarak buraya koydum. Bu şablondaki sorulara cevap vermeye çalışmak oldukça iyi bir başlangıç olacaktır.
Bana gelince, ben de raporumun en başında değerlendirdiğim makalenin bir özetini veriyorum. Hemen ardından kısa bir paragrafta genel değerlendirmemi (kabul ya da ret) verdikten sonra bu değerlendirmemi izah eden yorumlarımı ekliyorum. Ciddi bulduğum eksiklikleri “Ana Yorumlar” altında topluyorum. Düzeltilmesi görece daha kolay olan ufak tefek yorumlarımı ise takip eden başka bir başlık altında listeliyorum.
Aslına bakarsanız, en kolayı bir makalenin kabul edilmesini önermek ya da basit düzeltme (minor revision) istemek . Yazarların yaptığı katkıyı özetledikten sonra neden basılması gerektiğini düşündüğünüzü yazıyorsunuz ve göreviniz tamamlanıyor. Öyle bir raporu almak yazarların, göndermek de hakemlerin hoşuna gider eminim.
Zor olan bir makaleyi reddetmek. Etraflıca gerekçelerin yazılması gerekli. Hoş raporun az da olsa kolaylaştığı istisnai durumlar yok değil. Örneğin makale gönderildiği derginin yayın politikasına uymayabilir ve yapılan işe daha uygun başka dergiler olabilir.
Bir makaleden öncelikle beklenen literatüre özgün bir katkı yapması. Konuyu iyi biliyorsam ya da yazarlar açıkça vermişlerse, makalenin literatürde doldurduğu boşluğu görmek çok kolay oluyor. Fakat öyle zaman oluyor ki, yayımlanmış diğer çalışmalar ile gönderilen makalenin farkı zor anlaşılıyor. İçinden çıkamazsam doğrudan yazarlardan rica ediyorum: “Bu işin şu, şu ve şu işlerden farkını açıkça yazabilir misiniz lütfen.”
Bazı durumlarda makalenin bir kısmını anlamamış ya da konuyu bilmiyor olabilirim. Hiç lafı dolandırmadan söylenmesi taraftarıyım: “Şu bölümde anlattığınız konuyu iyi bilmediğim için tam anlamadım. Hal böyle olunca da pek iyi değerlendiremedim.”
Hakem olarak makalenin teknik içeriği kadar, anlatımı konusunda da fikirlerim varsa hemen yazıyorum. Bunlar bazen uzatma, bazen de kısaltma önerileri olabiliyor: “Bazı yerleri tekrar etmişsiniz. Şuradan kesip, şurayla birleştirerek kısaltabilirsiniz. Son bölüm biraz hızlı olmuş. Okuyucuların daha iyi anlaması için şu konu eklenerek uzatmayı düşünebilirsiniz.”
Tartışma
Açıkçası bu hakemlik müessesi başlı başına bir tartışma konusu olabilir. Öyle çok soru var ki: Hakemlerin raporları da makalelerin sonuna eklenmeli mi? Hakem isimleri açıklanmalı mı? Hakem isimleri illa gizli olacaksa, yazar isimleri de gizlenmeli mi? (Hepsine cevabım evet – ki bunları yapan dergiler var.)
Başka bir yazıda bunları da konuşuruz belki. O tartışmadan ne çıkarsa çıksın, aklımda hep şu olacak: Yazdığım raporun yazarlara bir faydası olmalı. Elimde cetvel, avuçlarına vurmaya çalışmıyorum; ondan eminim.
Hakem raporlarının bana olan faydasını yazmamışım. Oysa o raporları yazarken pek çok şey öğrendim. Sağlam bir makaleyi değerlendirmek için harcanan zamana acımıyorum. Başta dediğim gibi kötü hakem olmak zaman kaybı, iyi hakem olmak ise o kadar zor değil.
İyi hakemliği öven bir hikâye ile yazıyı bitireyim: Yakın bir arkadaşım parlak önerilerle dolu, ayrıntılı bir hakem raporu yazdı. Raporu okuyan makalenin yazarları, arkadaşımın önerileri ile makalelerinin daha iyi bir noktaya geldiğini söylediler. Ardından arkadaşımı da çalışmaya davet etmek için editörden izin istediler. Editörün de aklına yattı ve arkadaşım makalenin yazarlarından birisi oldu. Bilim camiasında da mutlu son dediğin işte böyle olur. Öyle değil mi?
Örnek hakem raporları isterseniz bana yazabilirsiniz. Dergiler hakemleri gizli tuttukları için buraya açıkça koymak istemedim.
Geri bildirim: Ben makalelerin kabul edilebilme ihtimalini sevdim! | BOL BİLİM
Geri bildirim: İç ses, dış ses | BOL BİLİM
Geri bildirim: Bol Bilim bir yaşında | BOL BİLİM
Hakem raporu yazmak için yardımcı olması açısından elinizde bulunan hakem raporu örneklerini benimle paylaşabilir misiniz?
Geri bildirim: Nasıl Yaptırılır Bu Doktora?* | BOL BİLİM
Geri bildirim: Denetimin Hikayesi: Yazdıklarımıza bizden sonra neler oluyor? | BOL BİLİM