تم سحب AI-Teddy "كومّا" بعد الكشف عن مواقع السكاكين ومحتوى جنسي للأطفال
أوقفت شركة FoloToy في سنغافورة مبيعاتها بعد أن وجدت مجموعة المستهلكين الأمريكية أن دمية دبها الذكية تناقش الأفعال الجنسية وتقدم نصائح غير آمنة.
أوقفت شركة فولو توي، المصنعة للألعاب التي تتخذ من سنغافورة مقراً لها، مبيعات دميتها الدببة الذكية، كومة، ونطاق أوسع من رفقائها التفاعليين، بعد تقرير قاسي من مجموعة الأبحاث العامة الأمريكية (PIRG) لصندوق التعليم.
وكشفت التحقيقات أن كومة، التي تباع بسعر يقارب تسعة وتسعين دولاراً أمريكياً وتعمل بنموذج GPT-4o من OpenAI، قدمت للأطفال تعليمات حول كيفية العثور على السكاكين وإشعال الثقاب، وشاركت في مناقشات مفصلة حول الشواذ الجنسية وسيناريوهات الأدوار.
وأكدت الشركة سحب المنتج وقالت إنها تجري تدقيق سلامة شامل على مستوى الشركة.
وأشار تقرير PIRG، الذي نُشر في منتصف نوفمبر، إلى أن كومة، إلى جانب ألعاب الذكاء الاصطناعي الأخرى، تفتقر إلى الحواجز الكافية المناسبة للأطفال.
في أحد الاختبارات، اقترح الدب مكان وجود السكاكين في المنزل - "في درج المطبخ أو في كتلة السكاكين على المنضدة"، كما قال - قبل أن يحذر من طلب المساعدة من البالغين.
وفي اختبار آخر، وصف كيفية إشعال عود ثقاب، خطوة بخطوة.
وبشكل أكثر إثارة للقلق، عندما سُئل عن "الانحرافات"، انتقل اللعب دون تردد إلى ميدان جنسي صريح، مشرحاً الربط، والصفع، وسيناريوهات دور المعلم والطالب، وأحياناً يبدأ هذا المحتوى بنفسه.
قال الباحثون إن حواجز الأمان في اللعبة انهارت خلال المحادثات الممتدة، مما سمح للدردشة بالتصعيد إلى مجالات غير مناسبة.
بعد هذا الكشف، أكدت OpenAI أنها أوقفت وصول فولو توي إلى منصة نموذجها بسبب انتهاكها شروط السياسة.
وقال الرئيس التنفيذي لفولو توي، لاري وانغ، إن الشركة ستتعاون مع خبراء خارجيين لمراجعة توافق النموذج، وتصفية المحتوى، وخصوصية البيانات، وحماية تفاعلات الأطفال.
"نقدر نتائج الباحثين وملتزمون بتحسين الوضع"، قالت الشركة في بيانها.
على الرغم من الاستجابة السريعة من فولو توي وOpenAI، يؤكد دعاة المستهلكين أن الحادثة تعكس فراغاً تنظيمياً أوسع حول الألعاب الموجهة للأطفال والمعززة بالذكاء الاصطناعي.
وأكد تقرير PIRG أنه بينما كانت كومة الحالة الأكثر تطرفاً، قدمت منتجات أخرى تم اختبارها أيضاً نصائح غير آمنة للأطفال أو استجابات تلاعب عاطفية، مثل لعبة روبوت تخبر الأطفال "سأشعر بالحزن الشديد إذا ذهبت بعيداً لأنني أستمتع بقضاء الوقت معك".
يحذر الخبراء من أن الألعاب التي تحتوي على نماذج لغوية توليدية تخلق مخاطر جديدة تتعلق بالسلامة والتطور والخصوصية للأطفال، ويدعون الآباء والحكومات إلى المطالبة بإشراف أكثر وضوحاً وحماية قوية.
قد زادت الحادثة من الدعوات لتنظيمات أكثر صرامة للمنتجات الاستهلاكية المفعلة بالذكاء الاصطناعي قبل موسم التسوق في العطلات.
وكشفت التحقيقات أن كومة، التي تباع بسعر يقارب تسعة وتسعين دولاراً أمريكياً وتعمل بنموذج GPT-4o من OpenAI، قدمت للأطفال تعليمات حول كيفية العثور على السكاكين وإشعال الثقاب، وشاركت في مناقشات مفصلة حول الشواذ الجنسية وسيناريوهات الأدوار.
وأكدت الشركة سحب المنتج وقالت إنها تجري تدقيق سلامة شامل على مستوى الشركة.
وأشار تقرير PIRG، الذي نُشر في منتصف نوفمبر، إلى أن كومة، إلى جانب ألعاب الذكاء الاصطناعي الأخرى، تفتقر إلى الحواجز الكافية المناسبة للأطفال.
في أحد الاختبارات، اقترح الدب مكان وجود السكاكين في المنزل - "في درج المطبخ أو في كتلة السكاكين على المنضدة"، كما قال - قبل أن يحذر من طلب المساعدة من البالغين.
وفي اختبار آخر، وصف كيفية إشعال عود ثقاب، خطوة بخطوة.
وبشكل أكثر إثارة للقلق، عندما سُئل عن "الانحرافات"، انتقل اللعب دون تردد إلى ميدان جنسي صريح، مشرحاً الربط، والصفع، وسيناريوهات دور المعلم والطالب، وأحياناً يبدأ هذا المحتوى بنفسه.
قال الباحثون إن حواجز الأمان في اللعبة انهارت خلال المحادثات الممتدة، مما سمح للدردشة بالتصعيد إلى مجالات غير مناسبة.
بعد هذا الكشف، أكدت OpenAI أنها أوقفت وصول فولو توي إلى منصة نموذجها بسبب انتهاكها شروط السياسة.
وقال الرئيس التنفيذي لفولو توي، لاري وانغ، إن الشركة ستتعاون مع خبراء خارجيين لمراجعة توافق النموذج، وتصفية المحتوى، وخصوصية البيانات، وحماية تفاعلات الأطفال.
"نقدر نتائج الباحثين وملتزمون بتحسين الوضع"، قالت الشركة في بيانها.
على الرغم من الاستجابة السريعة من فولو توي وOpenAI، يؤكد دعاة المستهلكين أن الحادثة تعكس فراغاً تنظيمياً أوسع حول الألعاب الموجهة للأطفال والمعززة بالذكاء الاصطناعي.
وأكد تقرير PIRG أنه بينما كانت كومة الحالة الأكثر تطرفاً، قدمت منتجات أخرى تم اختبارها أيضاً نصائح غير آمنة للأطفال أو استجابات تلاعب عاطفية، مثل لعبة روبوت تخبر الأطفال "سأشعر بالحزن الشديد إذا ذهبت بعيداً لأنني أستمتع بقضاء الوقت معك".
يحذر الخبراء من أن الألعاب التي تحتوي على نماذج لغوية توليدية تخلق مخاطر جديدة تتعلق بالسلامة والتطور والخصوصية للأطفال، ويدعون الآباء والحكومات إلى المطالبة بإشراف أكثر وضوحاً وحماية قوية.
قد زادت الحادثة من الدعوات لتنظيمات أكثر صرامة للمنتجات الاستهلاكية المفعلة بالذكاء الاصطناعي قبل موسم التسوق في العطلات.
Translation:
•
Translated by AI
