في بداية الأسبوع لاحظ أحد المطورين الذين يستخدمون محرر الأكواد الشهير المدعوم بالذكاء الاصطناعي "Cursor" سلوكًا غريبًا، فقد كان تسجيل الدخول من جهاز آخر يؤدي فورًا إلى تسجيل الخروج من الجهاز السابق وهو ما يعطل سير العمل المعتاد للعديد من المبرمجين الذين يتنقلون بين أكثر من جهاز.

وعندما تواصل المستخدم مع خدمة الدعم تلقى ردًا من موظف يدعى "سام" أوضح له أن هذا السلوك ناتج عن سياسة جديدة، ولكن لم تكن هناك أي سياسة من هذا النوع، و"سام" لم يكن بشريًا، بل مجرد روبوت مدعوم بالذكاء الاصطناعي اخترع السياسة من تلقاء نفسه، مما أثار موجة من الغضب والتهديدات بإلغاء الاشتراكات.

تُعد هذه الحادثة أحدث مثال على ما يعرف بـ "الهلوسة" التي تنتج عن نماذج الذكاء الاصطناعي، وهي ظاهرة تظهر فيها استجابات تبدو معقولة ولكنها غير صحيحة، وغالبًا ما تفضل النماذج اللغوية الكبيرة تقديم إجابات واثقة ومقنعة بدلًا من الاعتراف بعدم التأكد حتى لو استدعى الأمر تأليف معلومات لا أساس لها.

بالنسبة للشركات التي تستخدم الذكاء الاصطناعي في مهام التواصل مع العملاء من دون رقابة بشرية كافية، قد تكون النتائج مباشرة ومكلفة مثل استياء العملاء، وفقدان الثقة، واحتمال إلغاء الاشتراكات، كما حدث في حالة "Cursor".

مخاطر الهلوسة في بيئة الأعمال

تذكر هذه الواقعة بحادثة مشابهة وقعت في فبراير 2024 حين أُجبرت شركة "Air Canada" على الالتزام بسياسة استرداد اخترعها روبوت الدردشة الخاص بها، ووقتها تواصل "جيك موفات" مع خدمة دعم الشركة بعد وفاة جدته وأخبره الروبوت بإمكانه حجز تذكرة بسعر عادي والتقدم لاحقًا بطلب للحصول على تعويض خاص بالحالات الإنسانية، وعندما رفضت الشركة طلب الاسترداد دافعت عن نفسها بأن "الروبوت كيان قانوني منفصل مسؤول عن تصرفاته الخاصة" لكن محكمة كندية رفضت هذا الادعاء، وأكدت أن الشركات تتحمّل مسؤولية المعلومات التي تقدمها أدوات الذكاء الاصطناعي التابعة لها.

على عكس "Air Canada"، اعترفت "Cursor"، بخطئها واتخذت خطوات للتصحيح، فقد قدم الشريك المؤسس للشركة "مايكل ترول" اعتذارًا على "Hacker News"، موضحًا أن المستخدم قد تلقى رد المبلغ المدفوع، وأن المشكلة نشأت بسبب تعديل تقني كان يهدف إلى تعزيز أمان الجلسات، لكنه تسبب بشكل غير مقصود في مشاكل تسجيل الخروج لبعض المستخدمين.

وأضاف "ترول" أن جميع ردود الذكاء الاصطناعي المستخدمة في الدعم عبر البريد الإلكتروني أصبحت الآن معلمة بوضوح على أنها آلية، ونحن نستخدم الردود المدعومة بالذكاء الاصطناعي كفلتر أولي للردود.

ومع ذلك بقيت تساؤلات كثيرة بين المستخدمين حول الشفافية خاصة بعدما تبيّن أن العديد ممن تفاعلوا مع "سام" كانوا يعتقدون أنه موظف بشري، وكتب أحدهم على "Hacker News":" تسمية الروبوت باسم بشري وعدم توضيح هويته الحقيقية أمر خادع بوضوح."

ورغم أن "Cursor"عالجت الخطأ الفني إلا أن الحادثة كشفت عن مخاطر استخدام الذكاء الاصطناعي في التفاعل المباشر مع العملاء دون ضمانات كافية أو مستوى مناسب من الإفصاح، وبالنسبة لشركة تروج لأدوات إنتاجية تعتمد على الذكاء الاصطناعي وتستهدف المطورين، فإن وقوع خطأ من هذا النوع بواسطة نظام الدعم الخاص بها يُعد سقطة محرجة يصعب تبريرها.

وسخر أحد المستخدمين قائلًا: "من المثير للسخرية أن البعض يحاول جاهدًا التقليل من شأن مشكلة الهلوسة، ثم تأتي شركة تعتمد على هذا السرد لتتضرر بشكل مباشر منه."