ABD'nin Maryland eyaletindeki Baltimore County bölgesinde bulunan Kenwood Lisesi’nde yaşanan olay, okullarda kullanılan yapay zeka (AI) tabanlı güvenlik sistemlerinin güvenilirliği ve olası sonuçları hakkında ciddi tartışmalara yol açtı. Okulun güvenlik sistemi, masum bir cips paketini potansiyel bir ateşli silah olarak algılayarak korkutucu bir zincirleme hataya neden oldu.
Kenwood Lisesi öğrencisi Taki Allen, yerel basına yaptığı açıklamada, elinde Doritos cips paketi tutarken sistemin alarm verdiğini belirtti. Allen, 'Cips paketini sadece iki elle ve bir parmağım dışarıda olacak şekilde tutuyordum. Onlar ise bunun silaha benzediğini söylediler,' ifadelerini kullandı. Bu hatalı algılama sonucunda, genç öğrenci polis memurları tarafından diz çöktürülerek elleri kelepçelenmek zorunda kaldı.
AI Hata Yaptı, İnsan Hataları Durumu Ağırlaştırdı
Olayın hemen ardından okul müdürü Katie Smith, velilere gönderdiği bir bildirimde, okulun güvenlik departmanının silah algılama alarmını incelediğini ve aslında iptal ettiğini belirtti. Ancak Smith, bu iptal bilgisini hemen fark edemeyince durumu okulun polis irtibat görevlisine (SRO) bildirdi ve SRO da yerel polisi çağırdı. Yapay zekanın ilk tetiklemesi, idari ve iletişim hatalarıyla birleşerek Taki Allen'ın haksız yere gözaltına alınmasına neden oldu.
“Elimde sadece bir Doritos paketi vardı. Kelepçelediler ve beni aradılar.” – Taki Allen, Kenwood Lisesi Öğrencisi.
Sistemi Geliştiren Şirketin Tartışmalı Savunması
Okulda kullanılan yapay zeka tabanlı silah algılama sistemini sağlayan Omnilert şirketi, yaşananlardan ötürü üzüntülerini dile getirse de, dikkat çekici bir açıklama yaptı. Şirket, CNN'e yaptığı bildirimde, 'Sürecin amaçlandığı gibi işlediğini' savundu. Bu açıklama, hem kamuoyunda hem de teknoloji uzmanları arasında büyük tepki topladı. Eğer bir cips paketini silah olarak işaretlemek sistemin 'amaçlandığı işleyiş' biçimiyse, sistemin temel hassasiyet ayarlarının ve kalibrasyonunun ciddi ölçüde gözden geçirilmesi gerektiği anlamına geliyor.
Değerlendirme: Güvenlik mi, Gözetim Baskısı mı?
Bu tür olaylar, okullarda artan AI gözetimi trendine yönelik önemli bir 'Şeytanın Avukatı' argümanı sunmaktadır. Okul güvenliğini artırma motivasyonu anlaşılır olsa da, yüksek hata oranına sahip sistemler masum öğrencilerin haksız yere kriminalize edilmesine yol açabilir. Özellikle yapay zeka sistemlerinin gölge, ışık veya nesnenin tutuş şekli gibi basit faktörlerden etkilenerek hatalı pozitif alarm vermesi, öğrencilerin sivil özgürlüklerinin kısıtlanması ve sürekli bir baskı altında kalması sonucunu doğurabilir. Yüksek riskli ortamlarda kullanılan AI teknolojilerinde 'amaçlandığı gibi işleme' kavramının, sıfıra yakın hata payını içermesi gerekmektedir.
Okullarda Yapay Zeka Güvenlik Sistemleri Neden Tartışmalı?
Uzmanlar, yüz tanıma ve nesne algılama gibi AI teknolojilerinin okullarda kullanılmasının iki temel risk taşıdığını belirtiyor:
- Hatalı Pozitif Riski: Doritos paketinde olduğu gibi, sistemin silah olmayan bir nesneyi silah olarak algılaması, gereksiz panik ve yasal prosedürlere yol açar.
- Eşitsizlik ve Yönlendirme: Bazı çalışmalar, AI sistemlerinin, belirli ırksal veya sosyoekonomik gruplardan gelen öğrencileri orantısız şekilde hedef alma eğiliminde olabileceğini göstermektedir.
Bu riskler, sadece fiziksel güvenlik sistemleriyle sınırlı kalmayıp, yeni nesil yapay zeka destekli tarayıcılarda da ciddi siber güvenlik zafiyetleri olarak karşımıza çıkmaktadır. Örneğin, yapay zeka ajanlarının web üzerinde kullanıcı adına eylemler gerçekleştirmesi, *prompt injection* olarak adlandırılan saldırı türüne zemin hazırlar. Bu yöntemde, kötü niyetli aktörler gizli talimatları sisteme sızdırarak yapay zekayı kullanıcı verilerini ifşa etme veya istenmeyen eylemleri gerçekleştirme konusunda kandırabilir. Bu tür sistemik güvenlik açıklarının detayları hakkında daha fazla bilgi edinmek için, yapay zeka tarayıcıları prompt injection güvenlik riskleri makalemizi ziyaret edebilirsiniz.
Fiziksel güvenlik sistemlerinde görülen bu hatalara ek olarak, dijital alanda da ciddi riskler mevcuttur. Örneğin, yeni başlayan YZ tarayıcı savaşlarında, ChatGPT’nin yaratıcısı OpenAI’ın piyasaya sürdüğü **Atlas** tarayıcısı, lansmanında kullanıcıların parolaları ve kişisel verileri gibi hassas bilgilerin ifşa olma riskini beraberinde getiren çözülmemiş kritik bir güvenlik açığıyla gündeme gelmiştir. İnovasyonun getirdiği bu hızın, güvenlik standartlarını geride bırakması eleştirilere neden olmaktadır. Yeni nesil yapay zeka destekli tarayıcıların yarattığı rekabet ve bu ciddi güvenlik riskleri hakkında daha fazla bilgi edinmek için, OpenAI Atlas yapay zeka tarayıcı savaşları ve güvenlik riski hakkındaki makalemizi okuyabilirsiniz.
Kenwood Lisesi'ndeki bu olay, teknolojinin sunduğu güvenlik vaatlerinin, insan gözetimi ve sağduyulu idari süreçlerle desteklenmesi gerektiğini bir kez daha kanıtlamıştır. Yüksek hassasiyetli AI sistemlerinin bile, insan hatası ve aşırı tepki riskini ortadan kaldırmadığı görülmektedir.
Kaynak: TechCrunch (Orijinal Haber)
