Yapay zeka (YZ) teknolojilerinin hayatımızın her alanına yayılması, güvenlik sistemlerinden eğitime kadar pek çok kritik alanda makinelerin yetki sahibi olmasına neden oluyor. Bu entegrasyon çoğu zaman verimlilik sağlasa da, ABD'nin Maryland eyaletindeki Baltimore County'de yaşanan son olay, YZ'nin kritik anlarda yaptığı hataların ne gibi sonuçlar doğurabileceğini gözler önüne serdi.
Polisler Silah Alarmıyla Okula Koştu: Tetikteki Hata
Olay, 20 Ekim akşamı, Baltimore County'deki bir lisede meydana geldi. Okulun güvenlik kameralarını denetleyen, yapay zeka tabanlı bir silah tespit sistemi olan Omnilert, potansiyel bir silah tehdidi algıladı ve yetkilileri hızla uyardı. Sistemin tetiklenmesi üzerine, çok sayıda polis aracı olay yerine intikal etti. Polis memurları, saat 19:23 civarında, tehdit olarak işaretlenen öğrencileri kontrol altına aldı. Ancak, kapsamlı aramalara rağmen ortada bir silah yoktu.
Gözaltı işleminden sadece üç dakika sonra, polis memurları bir çöp kutusunda mavi bir Doritos cips paketi fark etti. Durumu kontrol altına alan memurlar, hatanın kaynağını da bu şekilde tespit etmiş oldu.
Olayın ardından öğrencilere açıklama yapan bir polis memurunun, durumu özetleyen ve sıkça alıntılanan sözü, YZ sistemlerine yönelik endişeleri artırdı: "Sanırım cips yeme şekliniz yüzünden... Doritos veya her neyse, sistem bunu silah olarak algıladı. Yapay zeka en iyisi değil."
Sistem Kendini Savunuyor: "Tasarlandığı Gibi Çalıştı"
Olayın medyaya yansımasının ardından, sistemin üreticisi Omnilert ve Baltimore County Devlet Okulları (BCPS) yönetimi savunma pozisyonu aldı. Bu tarafların argümanı, sistemin temel işlevini yerine getirdiği yönündeydi.
Değerlendirme: İnsan Gözetimi Ne Kadar Önemli?
BCPS Müfettişi Dr. Myriam Roger ve Omnilert yetkilileri, sistemin amacının şüpheli bir durumu üst düzey yetkililere sinyal vermek ve insanların daha sonra elle doğrulama yapmasını sağlamak olduğunu belirtti. Ancak bu olay, kritik güvenlik ortamlarında "insan doğrulamasının" ne kadar hızlı ve stres altında yapılması gerektiğini ve YZ'nin yarattığı yanlış pozitif (false positive) yükünün sonuçlarını sorgulatıyor. YZ'nin "tasarlandığı gibi çalışması", hatalı alarmların yüksek yoğunluklu stres yaratması anlamına gelmemeli.
Bu hatalı durumlar sadece kamusal alanda güvenlik sistemlerinde değil, kurumsal dünyada da endişe yaratıyor. Örneğin, oyun endüstrisinin devlerinden Electronic Arts (EA), 15.000 çalışanına yapay zeka araçlarını kullanma zorunluluğu getirdi. Ancak, tıpkı Baltimore'daki silah tespit sistemi gibi, EA'in şirket içi sohbet robotu 'ReefGPT' de hatalı (halüsinasyon üreten) ve düzeltilmesi gereken kodlar yazarak çalışanların iş yükünü artırıyor. Bu zorunlu kullanım, çalışanlar arasında büyük bir rahatsızlık ve moral düşüklüğüne neden olurken, birçok kişi yapay zekanın verimlilikten çok işten çıkarmalar için bir gerekçe olarak kullanılmasından endişe ediyor. Bu endişeler, AI'nın bir çalışanın kilit görevini devralmasının ardından işten çıkarılan eski bir QA çalışanı örneğiyle somutlaşmıştır. Yapay zeka uygulamalarının kurumsal hayattaki etkileri ve zorunlu tutulan araçların yarattığı verimsizlikler hakkında daha fazla detaya Electronic Arts: Yapay Zeka Zorunluluğu ve Çalışan Tepkisi haberimizden ulaşabilirsiniz.
Omnilert sözcüsü, olayın anında "sistemimizde çözülmüş olarak işaretlendiğini" belirterek, sistemin olası bir tehdidi tespit edip insan incelemesine yönlendirme görevini yerine getirdiğini vurguladı. Ancak okul konsey üyeleri Iazzy Patoka ve Julian Jones, bu yanlış alarmın potansiyel olarak tehlikeli sonuçlarını öne sürerek Omnilert sisteminin acilen gözden geçirilmesi çağrısında bulundu.
Olayın Öğrenciler Üzerindeki Psikolojik Etkisi
Bu tür yanlış alarmların potansiyel tehlikesi, yalnızca yanlış yere harcanan polis kaynakları değil, aynı zamanda olayın merkezindeki öğrenciler üzerindeki travmatik etkidir. Olayda kimliği belirlenen öğrenci Taki Allen, yerel medyaya yaptığı açıklamada yaşadığı korkuyu dile getirdi ve artık cips yerken bile dışarıda kendini güvende hissetmediğini belirtti.
"Artık bazen antrenmandan sonra dışarı çıkmak istemiyorum. Dışarı çıkarsam, kendimi güvende hissetmiyorum, özellikle cips yerken veya bir şeyler içerken. Sırf beni alacak araç gelene kadar içeride kalıyorum."
Konsey üyesi Julian Jones, "Tanrıya şükür daha kötü olmadı," diyerek, bir paket Doritos yüzünden polislerin silah çekerek bir öğrenciye yaklaşmasının kabul edilemezliğini sorguladı. Bu durum, teknoloji ne kadar gelişmiş olursa olsun, hayatı etkileyen sistemlerin sürekli eleştirel bir denetime tabi tutulması ve yapay zekanın görsel tanıma yeteneklerinin sınırlarının doğru anlaşılması gerektiğini bir kez daha ortaya koyuyor.
Kaynak: Haberde yer alan bilgilerin kaynağı ve detaylarına PC Gamer'da yayınlanan ilgili makaleden ulaşabilirsiniz.
