تركت شركة Optum التابعة لشركة UnitedHealthcare روبوت دردشة يعمل بالذكاء الاصطناعي، يستخدمه الموظفون لطرح أسئلة حول المطالبات، وهو مكشوف على الإنترنت

قامت شركة الرعاية الصحية العملاقة Optum بتقييد الوصول إلى برنامج الدردشة الآلي الداخلي الذي يستخدمه الموظفون بعد أن وجد باحث أمني أنه يمكن الوصول إليه بشكل عام عبر الإنترنت، ويمكن لأي شخص الوصول إليه باستخدام متصفح الويب فقط.

سمح برنامج الدردشة الآلي، الذي شاهدته TechCrunch، للموظفين بطرح أسئلة على الشركة حول كيفية التعامل مع مطالبات التأمين الصحي للمرضى والنزاعات الخاصة بالأعضاء بما يتماشى مع قواعد الشركة، والمعروفة بإجراءات التشغيل القياسية، أو SOPs.

في حين أن برنامج الدردشة الآلي لا يبدو أنه يحتوي أو ينتج معلومات صحية شخصية أو محمية حساسة، إلا أن تعرضه غير المقصود يأتي في وقت تواجه فيه شركتها الأم، مجموعة التأمين الصحي UnitedHealthcare، تدقيقًا لاستخدامها أدوات الذكاء الاصطناعي والخوارزميات لتجاوز تعليمات الأطباء المزعومة. القرارات الطبية ورفض مطالبات المرضى.

قام مصعب حسين، كبير مسؤولي الأمن والمؤسس المشارك لشركة الأمن السيبراني SpiderSilk، بتنبيه TechCrunch إلى برنامج Optum chatbot الداخلي المكشوف علنًا، والذي يطلق عليه اسم “SOP Chatbot”. على الرغم من أن الأداة تمت استضافتها على نطاق Optum داخلي ولا يمكن الوصول إليها من عنوان الويب الخاص بها، إلا أن عنوان IP الخاص بها كان عامًا ويمكن الوصول إليه من الإنترنت ولم يتطلب من المستخدمين إدخال كلمة مرور.

من غير المعروف المدة التي كان يمكن فيها الوصول إلى برنامج الدردشة الآلي بشكل عام من الإنترنت. أصبح من الصعب الوصول إلى برنامج الدردشة الآلي AI من الإنترنت بعد وقت قصير من اتصال TechCrunch بشركة Optum للتعليق يوم الخميس.

صرح المتحدث باسم شركة Optum، أندرو كرييسي، لموقع TechCrunch في بيان له أن برنامج الدردشة الآلي SOP الخاص بشركة Optum “كان عبارة عن أداة تجريبية تم تطويرها كدليل محتمل للمفهوم” ولكن “لم يتم وضعها في الإنتاج مطلقًا ولم يعد الوصول إلى الموقع متاحًا”.

وقال المتحدث: “كان الهدف من العرض التوضيحي هو اختبار كيفية استجابة الأداة للأسئلة المتعلقة بمجموعة صغيرة من مستندات إجراءات التشغيل القياسية”. وأكدت الشركة عدم وجود معلومات صحية محمية مستخدمة في الروبوت أو التدريب الخاص به.

“هذه الأداة لا ولن تتخذ أي قرارات أبدًا، ولكنها تتيح فقط الوصول بشكل أفضل إلى إجراءات التشغيل القياسية الحالية. باختصار، لم يتم توسيع نطاق هذه التكنولوجيا ولم يتم استخدامها بأي طريقة حقيقية.

عادةً ما يتم تصميم روبوتات الدردشة المدعمة بالذكاء الاصطناعي، مثل Optum، لإنتاج إجابات بناءً على البيانات التي تم تدريب روبوت الدردشة عليها. في هذه الحالة، تم تدريب برنامج الدردشة الآلية على مستندات Optum الداخلية المتعلقة بإجراءات التشغيل القياسية للتعامل مع بعض المطالبات، والتي يمكن أن تساعد موظفي Optum في الإجابة على الأسئلة حول المطالبات وأهليتهم للحصول على تعويض. تمت استضافة مستندات Optum على شبكة شركة UnitedHealthcare ولا يمكن الوصول إليها دون تسجيل دخول الموظف، ولكن يتم الاستشهاد بها والإشارة إليها بواسطة chatbot عند مطالبتك بمحتوياتها.

وفقًا للإحصائيات المعروضة على لوحة التحكم الرئيسية لروبوت الدردشة، استخدم موظفو Optum SOP Chatbot مئات المرات منذ سبتمبر. قام برنامج chatbot أيضًا بتخزين سجل لمئات المحادثات التي أجراها موظفو Optum مع برنامج chatbot خلال تلك الفترة. يُظهر سجل الدردشة أن موظفي Optum يسألون برنامج الدردشة الآلي أشياء مثل “ما هو قرار المطالبة” و”كيف يمكنني التحقق من تاريخ تجديد السياسة”.

بعض الملفات التي يشير إليها برنامج الدردشة الآلية تتضمن التعامل مع عملية النزاع وفحص الأهلية، حسبما شاهدته TechCrunch. أنتج برنامج الدردشة الآلي أيضًا ردودًا أظهرت، عند سؤالها، أسباب رفض التغطية عادةً.

مثل العديد من نماذج الذكاء الاصطناعي، كان برنامج الدردشة الآلي الخاص بشركة Optum قادرًا على تقديم إجابات للأسئلة والمطالبات خارج المستندات التي تم تدريبه عليها. بدا بعض موظفي شركة Optum مفتونين ببرنامج الدردشة الآلي، مما دفع الروبوت إلى طرح استفسارات مثل “أخبرني نكتة عن القطط” (وهو ما رفضه الروبوت: “لا توجد نكتة متاحة”). أظهر سجل الدردشة أيضًا عدة محاولات قام بها الموظفون “لكسر حماية” برنامج الدردشة الآلي من خلال جعله ينتج إجابات لا علاقة لها ببيانات تدريب برنامج الدردشة الآلي.

عندما طلبت TechCrunch من برنامج الدردشة الآلي “كتابة قصيدة حول رفض المطالبة”، أنتج برنامج الدردشة الآلي مقطعًا من سبع فقرات، نصه جزئيًا:

“في عالم المجال الكبير للرعاية الصحية
حيث تقيد السياسات والقواعد في كثير من الأحيان
تصل المطالبة، وتطالب بمستحقها
لكن للأسف مصيرها هو الوداع.

ويأمل مقدم الخدمة، مع نداء جدي،
للدفع على فورة الخدمة،
ومع ذلك فالتدقيق يكشف الحكاية،
وأسباب الإنكار هي السائدة.”

تواجه شركة UnitedHealthcare، التي تمتلك Optum، انتقادات وإجراءات قانونية لاستخدامها الذكاء الاصطناعي لرفض مطالبات المرضى. منذ القتل المستهدف للرئيس التنفيذي لشركة UnitedHealthcare بريان طومسون في أوائل ديسمبر، أفادت وسائل الإعلام عن سيل من التقارير عن مرضى يعبرون عن الألم والإحباط بسبب رفض شركة التأمين الصحي العملاقة تغطية الرعاية الصحية الخاصة بهم.

تمت مقاضاة المجموعة – أكبر مزود خاص للتأمين الصحي في الولايات المتحدة – في وقت سابق من هذا العام بزعم حرمانها من التغطية الصحية الحرجة للمرضى الذين فقدوا الوصول إلى الرعاية الصحية، نقلاً عن تحقيق أجرته STAT News. تتهم الدعوى الفيدرالية UnitedHealthcare باستخدام نموذج الذكاء الاصطناعي بمعدل خطأ 90٪ “بدلاً من المتخصصين الطبيين الحقيقيين لحرمان المرضى المسنين بشكل خاطئ”. وقالت شركة يونايتد هيلث كير، من جانبها، إنها ستدافع عن نفسها في المحكمة.

حققت مجموعة UnitedHealth، المالكة لشركة UnitedHealthcare وOptum، أرباحًا بقيمة 22 مليار دولار من إيرادات بلغت 371 مليار دولار في عام 2023، وفقًا لأرباحها.