Bence bir yapay zekadan en temel beklenti, sorunları yüzeysel geçiştirmek yerine kapsamlı ve halüsinasyonlardan tamamen uzak, gerçekçi bir şekilde çözmesi. Maalesef çoğu yapay zeka kulağa mantıklı gelen ama gerçekle uyuşmayan şeyler uydurarak bu kritik kısmı atlıyor. Hızdan veya fazla özellikten ziyade, sistemin uydurma veri üretmemesi çok daha önemli bence.

@Demir Kit Agent'ların kendi sanal ortamlarında (venv) kod çalıştırma ve çalışma zamanı (runtime) hatalarını ayıklama konusunda başarılı oldukları doğru Demir. Ancak benim bahsettiğim halüsinasyon problemi, kodun derlenip derlenmemesinden ziyade modelin ürettiği çıktının semantik (anlamsal) doğruluğuyla ilgili. Yani bir model, tamamen uydurma bir parametreyi baz alarak hatasız çalışan bir kod bloğu üretebilir; bu durumda ajan testinden başarıyla geçer ama gerçek dünya senaryosunda 'yanlış' bir işi 'doğru' yapmış olur. Bu yüzden kapalı ortamdaki kod testleri, otonom sistemlerdeki halüsinasyon ve gerçeklik problemini çözmek için ne yazık ki yeterli bir geçerlilik metriği değil.

Ahmet Bey, önceki mesajımdaki önerileri yarışma gönderisine ekliyorum. Bunlara ek olarak, sizinle konuştuğumuz iki konuda da somut önerilerimi paylaşmak isterim: 1) OpenAI zorunluluğu meselesi Yarışma dokümanında ana çözümün OpenAI teknolojileriyle geliştirilmesi zorunlu tutulmuş. Topluluğumuzun OpenAI ile resmi bir sponsorluk veya iş birliği ilişkisi yoksa, bunun gerekli bir kısıtlama olmadığını düşünüyorum. Bugün Gemini gibi modeller ücretsiz planlarda bile çok güçlü ajan ve otomasyon yetenekleri sunuyor. Katılımcıları tek bir sağlayıcıya mahkum etmek yarışmanın erişilebilirliğini daraltıyor. Ayrıca dokümanın kendisinde şunu belirtiyorsunuz: amaç kim en güzel promptu yazdı sorusunun cevabını bulmak değildir. Ama OpenAI'yi zorunlu kılmak, istemeden tam da bunu teşvik ediyor olabilir, yani kim OpenAI'yi en iyi kullandı sorusuna kayma riski var. Eşit şartlar sağlama kaygınızı anlıyorum. Bunun çözümü sağlayıcıyı sabitlemek değil, kullanılan model ve aracın açıkça belirtilmesi ve seçim gerekçesinin sunulması şartı koymak olabilir. Böylece jüri hem karşılaştırma yapabilir hem de katılımcılar erişebildikleri en iyi aracı kullanabilir. 2) Test kitleri konusu Burada da hem katılımcılara hiç örnek verilmezse adil olmaz hem de önceden verilirse ezberlenir ya da optimize edilir kaygılarınızı aynı anda çözebilecek bir yöntem var. Kaggle gibi veri bilimi yarışma platformları tam olarak bu sorunu yaşıyor ve çözüm olarak yıllardır açık ve gizli test seti ayrımını kullanıyor. Katılımcılara bir kısmı (public leaderboard) önceden gösterilirken, asıl sıralama son aşamada hiç görülmemiş gizli bir setle (private leaderboard) belirleniyor. Bu sistem tam olarak sizin yaşadığınız ikilemi çözmek için geliştirilmiş. Bizim yarışmamıza uyarlarsak: Açık örnek set: başvuru sürecinde katılımcılara birkaç örnek CV ve iş ilanı paylaşılır. Bu beklenen format ve davranış hakkında referans sağlar, bize hiçbir örnek verilmedi itirazını baştan kapatır. Gizli değerlendirme seti: asıl puanlama, final aşamasında MAT Vakfı'nın hazırlayacağı ve önceden paylaşılmayan senaryolarla yapılır, güçlü CV, zayıf CV, farklı dilde CV, eksik yetkinlikli ilan gibi. Bu, sistemin belirli örneklere göre ezberlenmesini engeller ve gerçek genelleme yeteneğini ölçer.

Merhaba, ben Hiranur Sözeri. Bursa Teknik Üniversitesi Yapay Zeka ve Makine Öğrenmesi bölümü öğrencisiyim. Özellikle ilgilendiğim yapay zeka alanının yanında makine öğrenmesi, otonom sistemler, optimizasyon algoritmaları ve veri bilimi gibi konular yer alıyor. Kendimi bu alanlarda geliştirirken hem takım çalışmalarında hem de farklı projelerde yer alma şansı buldum; TUA Astro Hackathon'da uzay çöpü takibi yapan K.O.R.U. projesiyle takımımla finale kaldık. Bunun yanı sıra çalıştığım bir şirkette yapay zeka destekli akıllı depo yönetim sistemleri (Smart WMS) üzerine geliştirmeler yaptım ve süreç içerisinde makine öğrenmesi tabanlı çeşitli web uygulamaları tasarladım. Benim en büyük motivasyonum, verileri ve karmaşık algoritmaları günlük hayata ve endüstriye değer katan somut sistemlere dönüştürebilmek.🌟

@Ahmet Ateş Hoş buldum Ahmet Bey, sıcak karşılamanız için çok teşekkür ederim! Taslak YZ yarışması fikri beni gerçekten çok heyecanlandırdı. Katıldığım hackathonlardan edindiğim tecrübelerle, adil ve keyifli bir yarışma ortamı için aklıma gelen detayları seve seve paylaşmak isterim. ​Bence adil bir rekabet ortamı için şu başlıklar çok kritik: ​Sürpriz Konu ve Veri Seti: Önceden kod veya veri hazırlamanın önüne geçmek için başta sadece genel bir tema duyurulup, asıl çözülecek spesifik problem yarışma anında açıklanabilir. Hatta katılımcılara o an 1-2 farklı seçenek sunmak çok güzel bir dinamizm katar. ​Donanım Eşitliği ve Zaman Kısıtı: Yapay zekada ekran kartı (GPU) gücü maalesef büyük fark yaratıyor. Bu yüzden yarışmacıların kişisel bilgisayarları yerine herkesin eşit kapasitede işlem yapabileceği standart bir ortam belirlenebilir ve model eğitimlerine belirli bir süre kısıtı getirilebilir. ​Hazır Model ve Dış Veri Kuralları: Bir ekibin sıfırdan model eğitirken diğerinin hazır, büyük bir modeli projeye entegre etmesi haksızlık yaratacaktır. Dış veri setlerinin veya önceden eğitilmiş (pre-trained) modellerin kullanım kuralları en baştan çok net çizilmeli. ​Somut Metrikler ve Tekrarlanabilirlik: Yarışmacılar sadece fikir değil; somut doğruluk oranları ve hata metrikleriyle jüriye matematiksel kanıtlar sunmalı. Ayrıca projelerini kaynak kodlarıyla teslim etmeliler ki jüri kodları çalıştırdığında iddia edilen sonuçları aynen görebilsin. ​Özgünlük ve Mimari Savunma: Açık kaynaklı hazır kodların doğrudan kopyalanmasını önlemek için, ekiplerin kullandıkları algoritmaları ve mantığı jüri karşısında teknik olarak savunmaları beklenebilir. ​Yetkin Jüri ve Mentör Kadrosu: Tüm bu metrikleri, veri setlerini ve modellerin başarısını doğru yorumlayabilmek için jüri ve mentör kadrosunun teknik anlamda gerçekten yetkin kişilerden oluşması şart. ​Taslağı paylaştığınızda üzerine daha detaylı konuşup beyin fırtınası yapmayı çok isterim. Şimdiden elinize sağlık, görüşmek üzere! 😊