Akademisyenliğin birçok zamanı, proje hazırlamak, makale yazmak ile geçiyor. Tamamlayıp gideceği yere gönderdikten sonra, ummalı bir bekleyiş başlıyor. Eğer bir konferansa bildiri gönderdiyseniz, genelde sonuçların ne zaman açıklanacağı belli olduğu için o zamana kadar “rahatsınız”. Bir dergiye makale gönderdiyseniz, bazen aylar, bazen yıllar süren bir bekleyiş.

Peki, biz yazdıklarımızı gidecekleri yere gönderdikten sonra arkada neler dönüyor?

Dergilerle başlayalım.  Bu süreci, aslında daha önce yazmıştım.  Kısaca, makaleyi ilk önce gönderdiğiniz derginin editörü alıyor. Önce konu olarak, makalenin konusunun dergisi için uygun olup olmadığına bakıyor. Eğer uygunsa, konusuna, anahtar kelimelerine bakarak yardımcı editörlerden birisine atıyor. Bazen, makalenin gönderilmesi sırasında da yazarlara, tercih ettikleri bir yardımcı editör var mı diye soruluyor. Yardımcı editöre makale geldikten sonra, yardımcı editör makaleye bakarak, doğrudan reddedip etmeyeceğine karar veriyor. Eğer yapılan çalışmanın seviyesi çok düşük, yeteri kadar sonuç içermiyor, ya da yazımı okunmayacak kadar kötü olan bir makaleyse, bu aşamada yardımcı editör durumu açıklayan kısa bir rapor yazarak makalenin yayınlanmasını reddediyor. Sanki bu adımlar çok objektifmiş gibi yazıyorum ama tabii ki değil. Mesela, birkaç yıl önce bir dergiye gönderdiğimiz makaleyi, editör şak diye akşamına geri gönderdi; konusu uygun değil dedi. Önce canımız sıkıldı ama sonra uzun bir mesajla neden uygun olduğunu yazdık. Sonra geri aldı ve en sonunda makale orada basıldı. Bu konudaki en matrak hikayelerden bir tanesini Web’in yapısı hakkında önemli çalışmaları olan Albert-László Barabási, Network Science kitabının girişinde anlatıyor. Gönderilen makalelerin yaklaşık yüzde 70ini yazarlara geri göndermesiyle (ve tabii büyük icatları basmasıyla) meşhur Science dergisine gönderdiği makale, editörden geri dönüyor. Yeni bir alanda çalıştığı ve yaptıkları birçok yerden bu şekilde geri döndüğü için, kafası atıp editörü telefonla arıyor. Telefonda, neden makalesinin değerlendirilmesi gerektiğine editörü ikna edebilince, kendisi bile şaşırıyor.

Editör ve yardımcı editörü geçtikten sonra, makale hakemlere gidiyor. Kendim yardımcı editör olana kadar, bu aşamanın tam ne demek olduğunu ve ne kadar problemli olduğunu bilmiyordum. Genelde, bir makaleye bakınca, yardımcı editörün aklına bu makaleye iyi hakem olabilecek üç-beş isim geliyor. Fakat, bu insanlar tabii ki başka makaleler için başka yardımcı editörlerin de aklına geldiği için, o insanların verdikleri dersler olduğu için, kendileri makale yazmakta oldukları için, vb. hakem olmayı kabul etmiyorlar. Bu aşamada uzun bir hakem bulma süreci sürüp gidiyor. Bazı dergilerde, yazarlara tercih ettikleri hakemler sorulabiliyor. Fakat bu kişilerin de hakem olacaklarının bir garantisi yok. Ayrıca, yazarlarla tam nasıl bir ilişkileri olduğu da bilinmediği için, ben genelde bu şekilde belirtilmiş hakemi atamak pek istemiyorum. Kaç hakem atanacağı dergiye göre değişse de genelde üç hakem olması beklenen bir durum. Bu üç hakem, birbirilerinden bağımsız olarak raporlarını sisteme yükledikten sonra, yardımcı editör hem bu raporlara göre, hem de kendisinin makale üzerindeki düşüncesine bakarak, bir ara karara varıyor. Bu ara kararda, makale kabul edilsin, ya da şu değişikliklikler yapılırsa kabul edilsin, bu makale reddedilsin gibi bir sonuçla editöre geliyor. Editör, yardımcı editörden gelen sonuca bakarak son kararı veriyor.

Konferanslarda durum benzer olsa da, hakem bulma sıkıntısı açısından farklı. Her yıl konferansın ilk ilanlarının çıktığı aşamada, o yıl hakemlik için çalışacak program komitesi baştan oluşturuluyor ve o aşamada komiteye davet edilen herkese yaklaşık kaç bildiriye hakemlik yapacağı, hangi tarihlerde yapacağı, hakemlikten sonra hakemler arası toplantılar varsa ne zaman olacağı gibi bilgiler bildiriliyor. Komitede olmayı kabul etmek, bu işleri yapmayı kabul etmek demek. Orada da, program komitesi başkanı, bildirileri doğru hakemlere atamak için çok uğraşıyor fakat en azından doğru insanı bulduktan sonra, o insan ben yapmayacağım demiyor. Ya da demeyeceği varsayılıyor 🙂 2011 yılında AAMAS konferansının program komitesinde eş-başkanken, hakem raporlarının gönderileceği haftanın başından itibaren stresli bir şekilde eksik hakem raporlarının peşine koştuk. Bir hafta boyunca, raporları yazmayanlara telefon, email vs. derken, en son sabaha bir tane bildirinin bir hakem raporu eksik kaldı. Tek rapor! Hiçbir şekilde, hakeme ulaşamadığım için ondan ümidi kestim. Kime sorabilirim diye deli gibi dolandım. Amerikadakiler daha uyanmamıştır; Avrupalılar son anda birşey yapmaz. Yeni Zelanda’dan benzer konularda çalışan bir akademisyen arkadaşıma, rica minnet yaptırdım. Tüm raporları aynı akşam gönderebildik. Bu olaydan beri, ne zaman bir konferansa gitsem, program başkanlarını bulup, emekleri için teşekkür ederim.

Hanginiz hakem?

Gelelim proje değerlendirmelerine. Proje değerlendirmelerinde, proje bütçesini sağlayacak kurumun kurallarına göre değerlendirmeler yapılıyor ama genellikle projelerin panelde değerlendirilmesi geleneği var. Yasaklı olmadığımız ve TÜBİTAK panellerine panelist olarak çağrıldığımız zamanlarda, TÜBİTAK’ta her proje, panelden yaklaşık bir ay önce, üç paneliste atanıyordu. Her panelist, projeyi özgün değer, yöntem, ve yapılabilirlik üzerinden değerlendirdiği bir raporla Ankara’da panele geliyordu. Panel sırasında, panelistler sırayla söz alıp, düşüncelerini söylüyorlar ve tartışıyorlardı. En sonunda, paneldeki herkes oy kullanıyor ve sonuca göre projenin kabul alıp almadığına karar veriliyordu. Hala süreç böyle mi bilmiyorum.

Bu sene Kanada’nın bilimsel kurumu NSERC’nin proje değerlendirme komisyonunda çalışmaya başladım. Oradaki süreç söyle: Her projeyi, beş tane panelist değerlendiriyor. Her paneliste, yaklaşık 40 tane proje düşüyor. Eğer, bir projenin birinci ya da ikinci panelistiyseniz, proje hakkında daha detaylı konuşmanız bekleniyor. Panelist olarak, proje konusundaki düşüncenizi, başka hakemlerden aldığınız yorumlara göre şekillendirmeniz bekleniyor. Bundan dolayı önce, her paneliste, yaklaşık 8-10 proje için hakem bulma görevi veriliyor. Her proje için beş-yedi  hakem önermeniz bekleniyor. Genelde bunlardan en fazla bir ikisi bu görevi kabul ediyor. Bu hakem raporlarını göz önüne aldıktan sonra, panelistler değerlendirme yapıyorlar.

NSERC panellerinde değerlendirilen üç kriter var. Projeyi yazan iyi bir araştırmacı mı, proje iyi bir proje mi, projenin bilim insanı yetiştirme potansiyeli nasıl? Kasım ayında, tüm panelistlerle yaklaşık üçer saat süren Skype toplantıları yapılıyor. Bunun amacı, tüm panellerde aynı standartları tutturmak. Toplantılardan önce, bize bir araştırmacının yeterli olması, iyi olması, çok iyi olması ne demek gibi ölçütler verildi. Bu yeterliliği ölçmek için neler kullanabiliriz, neler kullanamayız anlatıldı. Örneğin, proje yürütücüsünün son altı yılda yaptığı yayınlara bakabiliyoruz, fakat bu yayınların etki faktörüne veya yürütücünün h-endeksine bakmak yasak. Ya da, panel sırasında bir proje hakkında toplamda 15 dakikadan fazla konuşmak yasak. Daha sonra, ortak bir Skype toplantısında, panelleri yönetecek beş tane hoca, sanki kendileri panelistlermiş gibi altı tane projeyi değerlendirdiler; biz dinledik. Gerçek değerlendirme panelleri, şubatta Kanada’da yapılıyor ve tam bir hafta sürüyor.

Benim proje tecrübemi, İlker’in de ev işlerini ilerletmesi için faydalı bir hafta olacağı kesin!