Son zamanlarda içinde bulunduğum bir çok ortamda bana bu soruluyor (tabii Boğaziçi’nde ne oluyor sorusundan sonra!). Konuştuğum kişi, işinde ya da bir ders kapsamında, belirli bir proje yapmış. Biraz üzerinde düşündükçe, bunun aslında güzel bir fikir olduğuna ve etrafta gördüklerinden daha iyi olduğuna kanaat getirmiş. Şimdi de merak ediyor: Bundan bir makale olur mu? Bunu yazsam, bir dergide bastırabilir miyim? Birçok çalışma için sadece kişiyi dinleyerek bunu buradan söylemek zor. Fakat, bir makaleye döndürme niyetiniz varsa, mutlaka başka yöntemlerden, ürünlerden, ya da artık ne bulduysanız, onun diğerlerinden iyi olduğunu göstermeniz gerekiyor. Peki bu nasıl gösterilir? Burada daha çok mühendislikte kullanılan bazı yolları açıklmaya çalıştım.

Veri Kümeleri

Bazı alanlarda akademisyenlerin geliştirdikleri yöntemleri birbirleriyle karşılaştırmaları için hazır veri kümeleri oluyor. Benim bildiğim alanlardan makina öğrenmesi, veri kümelerinin en çok bulunduğu alan. Makine öğrenmesinde, en kaba tabiriyle yapılmaya çalışılan, bir veri kümesinin bir kısmına bakıp, bir örüntü öğrenmek ve daha sonra ne kadar iyi öğrendiğini veri kümesinin diğer bir kısmıyla sınamak. Sınamanın sonucuna göre, gerçekten iyi mi öğrendim ya da ne kadar iyi öğrendim söylemek mümkün. Böyle olduğu için, başkasının öğrenme yöntemiyle karşılaştırıp, benim yöntemim Defne’ninkinden daha iyi. O 10 sorununun 8’ini doğru cevaplayabildi, ben 9’unu diyebilirsiniz. Makina öğrenmesi için veri kümeleri çok (http://archive.ics.uci.edu/ml/) ve sanki sürekli artıyor. Hatta yarışmaları (https://www.kaggle.com/) bile var. Eğer sizin çalıştığınız alanda da bu şekilde veri kümeleri varsa, hemen yapmanız gereken bu veri kümelerine erişip, bulduğunuz yöntemi bu veri kümesi üzerinde denemek ve sonuçları diğer yöntemlerin sonuçlarıyla karşılaştırmak. Bu veri kümeleri, üzerinden yöntemin ne kadar başarılı çalıştığı gibi, ne kadar hızlı çalıştığı, ne kadar az kaynakla çalıştığı gibi karşılaştırmalar yapılabilir. Benim gibi böyle veri kümeleri olmayan bir alanda çalışıyorsanız, okumaya devam.

Teorik Sonuç

Makalenize konu olan buluşu, kimi zaman teorik olarak inceleyebilirsiniz. Örneğin, bir yazılımdaki hataları bulmak için bir algoritma geliştirdiniz. Size çok güzel geliyor fakat gerçekten o kadar güzel mi? Güzelliği bırakın, öncelikle doğru mu? Yani, sizin algoritma çalıştı, burda bir hata var dedi. Her zaman bu bir hata mı? Eğer öyleyse bunu kanıtlayabilir misiniz? Peki, diyelim ki hata var dediğinizde, hakkaten bir hata çıkıyor. Ama acaba, her hatayı bulabiliyor musunuz? Daha sonra, peki buluyorum da en kısa sürede mi buluyorum, ya da en az hafızayla mı bulabiliyorum gibi aslında veri setleriyle sayısal olarak bulmaya çalıştığımız şeyleri burada bir bir kanıtlamaya çalışabiliriz. Bunları kanıtlamak için değişik kanıt teknikleri kullanılabilir. Birçok zaman, bu şekilde kanıtlamak, bilimsel değer olarak, veri kümesi üzerinde göstermekten daha değerlidir. Veri kümesi üzerinde, nümerik olarak gösterdiğiniz zaman, hep kafalarda şu kalır: Peki başka bir veri seti üzerinde de bu kadar iyi çalışacak mıydı? Ama siz, yönteminizin zaten doğru cevabı verdiğini kanıtladıysanız, daha söyleyecek birşey yok. Gidip kendinize bir kupa alıp, verin.

Kriter Karşılaştırması

Buluşunuzun şahaneliğini, ne bir veri kümesi üzerinde, ne de teorik olarak gösteremediyseniz de olsun. Şunu düşünmeye başlayıın. Size bu buluşun iyi olduğuna ikna eden şeyler neydi? Mesela diyebilirsiniz ki, ben öyle bir algoritma buldum ki, diğerleriyle fonksiyonel olarak aynı işi yapıyor ama kullanıcıların mahremiyetini de koruyor. Ya da, öyle bir algoritma buldum ki, bir insana hiç ihtiyaç duymadan çalışıyor; oysa bu problemi çözen diğer algoritmalar hep bir insanın bazı parametrelere değer vermesini gerektiriyor. Bunun gibi, yaptığınız işe göre çok değişik kriterler olabilir. Burada önemli olan bu kriterlerin gerçekten önemli olması. Yani, sizin yönteminiz bu kriteri sağladığı için dünya daha iyi bir yer olmalı. Yoksa, ben öyle bir algoritma geliştirdim ki, ekrana hiç birşey basmıyor derseniz, birisi de bassaydı, niye basmıyor diyebilir. Eğer, faydalı kriterleri kafanızda oturtabilirseniz, o zaman bu kriterler üzerinden var olan yöntemleri karşılaştırabilirsiniz. Hatta kolay görünmesi ve anlaşılması için bunları bir tabloya koyabilirsiniz.

Vaka Çalışması

Geliştirilen yöntemin, bir vaka üzerinde nasıl işlediğini adım adım göstererek de bir değerlendirme yapmak mümkün. Bazen bir vaka baştan sona kadar incelenebilir. Bazen ise, bu vakadan bazı enteresan durumlar senaryolar şeklinde ortaya çıkarılabilir. Senaryolar üzerinde varyasyonlar yapılarak değişik senaryolar türetilebilir. Bu şekilde gösterilmeye çalışılan şey, yöntemin bu senaryolardaki, tercihen karmaşık durumları, doğru bir şekilde işleyebilmesi ve hatta çözmesidir. Bu şekilde bir değerlendirme süresince, eğer sizin daha iyi yaptığınızı iddia ettiğiniz yöntemler varsa, aynı senaryoları o yöntemlerle de çözüp, bir durum değerlendirmesi yapabilirsiniz.

Kullanıcı Çalışmaları

Bazen de buluşunuz, insanların değerlendirebileceği bir şey olabilir. Mesela, yeni bir yazılım geliştirdiniz veya güzel bir içecek keşfettiniz. O zaman son kullanıcılarla bir değerlendirme çalışması yapabilirsiniz. Anketler, mülakatlar gibi değişik yöntemler kullanılabilir. Temelde, yaptığınız yeniliğe odaklanmanız gerekir. Örneğin, yaptığınız yazılımın çok rahat kullanıldığını savunuyorsanız, insalara kullandırıp, bunu ölçmeye çalışmalısınız. Ya da, amaç kullanılabilirliği değil de, çok sorunsuz çalışmasıysa, kullancıların belirli bir süre yazılımı kullanmasını sağlayıp, yazılım veya kullanıcı aracılığıyla, yazılımın kaç kere sorun çıkardığını sayabilirsiniz.

Kullanıcılarla herhangi bir deney yapmadan önce mutlaka gerekli etik komisyonlarından izin almanız gerekir. Bu komisyonlara başvuru sırasında, nasıl bir deney yapacaksınız, ne tür bilgiler toplayacaksınız, bunları saklayacak mısınız, başkalarıyla paylaşacak mısınız, deney ne kadar sürer, vb. Birçok detayı belirtmek faydalı. Etik Kurulu’ndan izin aldıktan sonra, benzer bilgilerin kullanıcılarla da deney öncesinde paylaşılması gerekli.

Eğer bir şekilde, yaptıklarınızı değerlendirebilir ve benzerlerinden daha iyi olduğunu gösterebilirseniz, o zaman bilin ki bundan makale olur.