Amazon Echo fiyaskosu ve IT tarafındaki büyük korku!

Amazon Echo fiyaskosu ve IT tarafındaki büyük korku!

Amazon, Echo cihazlarından bir tanesinin bir ailenin konuşmalarını kaydettiğini, ardından ailenin irtibat listesinde bulunan rastgele bir kişiye mesaj attığını, bu kişinin de bir aile üyesinin çalışanı olduğuna dair raporu doğruladı. Sonuçlar korkutucu.
Amazon, Echo cihazlarından bir tanesinin bir ailenin konuşmalarını kaydettiğini, ardından ailenin irtibat listesinde bulunan rastgele bir kişiye mesaj attığını, bu kişinin de bir aile üyesinin çalışanı olduğuna dair raporu doğruladı.

Amazon, Computerworld’e gönderdiği bir açıklamasında tüm gizlilik avukatlarının en kötü kâbusunu ortaya koydu: “Echo arkada gerçekleşen bir konuşmada kulağa ‘Alexa’ gibi gelen bir kelimeyle uyandı. Ardından konuşmanın devamı bir ‘mesaj gönder’ talebi olarak duyuldu. Hangi nokta da Alexa ‘Kime?’ diye sordu? Hangi noktada arka plan konuşması müşterinin irtibat listesindeki bir isim olarak değerlendirildi. Alexa ardından ‘(irtibat ismi), doru mu?’ diye sordu. Alexa ardından arka plan konuşmasını ‘doğru’ olarak değerlendirdi. Bu olaylar dizisi ne kadar ihtimal dışıysa, böyle bir durumu daha imkânsız hale getirecek seçenekleri değerlendiriyoruz.”
Bu arada, aile Echo’nun herhangi bir şey söylediğini duymadıklarını söyledi. Her iki versiyon da doğru olabilir. Aile sıcak bir tartışma içinde idiyse, (dikkatlerini Echo üzerine odaklamak için bir nedenleri yoktuysa) onlar Echo’nun konuşmasını duymamış ya da dikkat etmemiş olabilir.
Kişisel olarak, olayın rahatsız edici olması kadar, bunu oldukça olası olduğunu düşünüyorum. Siri ile iletişimlerde ben sıklıkla bir kelimeyi yanlış algılayarak hatalı komutu yerine getirdiğini duydum. Bir kişiye mesaj göndermek üzereyken sabit telefonum (evet halen duruyor) çaldı.

Konuşmam bittiğinde Siri’nin ses tanıma özelliğinin telefon görüşmemin sonun dönüştürdüğünü ve bunu irtibat kişime göndermek üzereydi. Konuşmamdaki herhangi bir kelimeyi “Gönder” gibi algılasaydı, bunu bunu yapabilirdi.

Yazının yayınlanma aşamasına kadar Amazon röportaj talebine yanıt vermedi. Vermiş olsaydı Ailenin Echo’nun komut ve onay kelimeleri olarak değerlendirdiği hangi kelimeleri konuştuklarını sorardım. Aile o kelimeleri gerçekten konuşmalarında söylediyse (tam olarak doğru noktalarda) bu durum farklı olabilir. O takdirde bu Echo’nun onay komutlarının daha özel olması sorunu ortaya çıkıyor. Nihayetinde “doğru” kelimesinin cümle içinde kullanılması onaylama için yeterli olmamalı. Ya da doğruyla kafiyeli bir şey.
Bunu bir seviye ileri taşıyalım; bu hafta tüm IT’cilerin favori kısaltmasına (GDPR) ve yazılımın otonom olarak ne kadar ileri seviyede etkinli göstermesine referansla (Gözüm üzerinde, otomatik öğrenme.)

Mayıs 25’te devreye giren GDPR’nin hükümlerinden bir tanesine göre, firmalar veri ihlallerini 72 saat içinde rapor etmek zorunda. Ama 72 saat nereden itibaren? İşler bu noktada çetrefilleşiyor. GDPR’nin açıklaması şu şekilde: “Kişisel bir veri ihlali durumunda kontrolör gecikmeksizin, durumun farkına varır varmaz 72 saatten geç olmamak kaydıyla, 55. maddeye uygun olarak kişisel veri ihlali konusunda denetleyici makama bilgi vermelidir, kişisel veri ihlali gerçek kişilerin hak ve özgürlüklerini riske atmayacaksa.”

Bu bağlamda kontrolör ihlale uğrayan firmanın kendisi. Şunu sormamız gerek: Bir firma bir şeyin “farkına” ne zaman varır? O firmanın bir insan çalışanı fark ettiğinde mi? Öyleyse hangi çalışan? CIO? CISO? CEO? İhlale gelirsek, bir kişi bir şey olduğuna ya da olmadığına dair ilk belirtileri duyduğunda mı ihlalin farkında olmuş olacak? Veya o kişi bir ihlalin gerçekten gerçekleştiğine inandığında mı ki, bu aylar sonra olabilir?

Tekrar ilk sorumuza geri dönelim: bir insan çalışanın farkında olmasına göre mi? Ya peki bir sunucu (belki firmanın sahip olduğu bir antivirüs paketinin yüklü olduğu) firmanın kontrol ettiği bir sunucuya mesaj atar ve bir virüsün tespit edildiği uyarısını paylaşırsa? Ve firma sunucusu kendi başına bu tehdidi gidermek için harekete geçerse? Bu eylemler firmanın bildiğine delalet eder mi?
Yapay zekanın otomatik öğrenme yetenekleri şu günlerde kurumsal IT’yi istila ederken, ne kadar sistem eylemi herhangi bir programcının niyetinden daha ileri gidebilir? Otomatik öğrenme kalıplara bakıp o bilgiden daha fazla anlam çıkartıp eylem önerisinde bulunmak üzere tasarlandı. Hızın giderek daha önemli olmasıyla birlikte, özellikle güvenlik kararlarında, birçok firma insanların onaylamasını beklemeksizin otomatik öğrenme yorumları üzerinden eyleme geçecek şekilde sistemlerini programlayacak.

Bu bizi yeniden Echo olayına getiriyor. Amazon’un AI çabaları burada sistemin duyduğunu düşündüğü şeyler bazında eyleme geçmesine izin veriyor, insan onayı olmaksızın veya en iyi ihtimalle yetersiz insan onay mekanizmasına.
Buradaki hata zayıf ses tanıma mıydı yoksa o ses tanımanın hatalı yorumlanması mıydı? Amazon, kusursuz ve büyülü olan gayretlerinde, sistemlerinin epeyce şey yapmasına izin veriyor, çoğunlukla hatasız olduğu önermesiyle. Peki ya hatalı olduğunda ne oluyor? Washington eyaletindeki aile tam da bunu gördü.

IT’ye not: Otomatik öğrenme sistemleri aynı türden tehlikelere açık. IT doğrulanabilir insan onayı olmadan sistemlerin karar vermelerine izin verdiğinde mutsuzluk kaçınılmazdır. Bu Echo vakasında zemin parke tercihleri gibi nispeten zararsız bir konuşmada gerçekleşti. Otomatik öğrenme sistemlerinde bu çok daha tehlikeli bir hal alabilir.
Otomatik öğrenme ve ses tanıma IT’deki bir kişinin, “Müşteri irtibat dosyamızı rakibimize gönder” şeklinde söylediğini düşünürse ne olacak? Ardından onay talebini geveler ve odadaki bir kişinin “Doğru.” demesini bekler.

Echo, teşekkürler. Senin sayende birçok insan birtakım korkulu gerçeklere uyanmış olabilir.

Categories: TEKNOLOJİ

About Author

Write a Comment

Your e-mail address will not be published.
Required fields are marked*