كشفت شركة مايكروسوفت عن تقنية لمنع المستخدمين من خداع روبوتات الدردشة الخاصة بالذكاء الاصطناعي لأغراض خبيثة.

وطرحت الشركة سلسلة من العروض لتقنية Azure AI ، بما في ذلك أداة لمنع ما يسمى بهجمات التتبع والتجسس على المستخدمين.

وقالت سارة بيرد، كبير مسؤولي منتجات الذكاء الاصطناعي في مايكروسوفت، “لقد ظهرت الهجمات كتحدي كبير، حيث تحاول الجهات الفاعلة الخبيثة التلاعب بنظام الذكاء الاصطناعي للقيام بشيء خارج الغرض المقصود منه، مثل إنتاج محتوى ضار أو تسريب بيانات سرية”.

[[system-code:ad:autoads]]

وأضافت بيرد "بالإضافة إلى تخفيف هذه المخاطر الأمنية، تهتم المؤسسات أيضًا بالجودة والموثوقية".

وتابعت "إنهم يريدون التأكد من أن أنظمة الذكاء الاصطناعي الخاصة بهم لا تنتج أخطاء أو تضيف معلومات غير مثبتة في مصادر بيانات التطبيق، مما قد يؤدي إلى تآكل ثقة المستخدم."

ومن المقرر أن تطلق مايكروسوفت قريبًا رسائل نظام الأمان "لتوجيه سلوك النموذج الخاص بالمستخدم نحو مخرجات آمنة ومسؤولة"، كما تقوم بمعاينة تقييمات السلامة لتحديد مدى تعرض التطبيق لهجمات كسر الحماية وتوليد مخاطر المحتوى.