چت بات که توصیه های بدی برای رفع اختلالات خوردن ارائه می کرد: شات

چند هفته پیش، شارون ماکسول شنید که انجمن ملی اختلالات خوردن (NEDA) خط کمک ملی طولانی مدت خود را تعطیل کرده و یک ربات چت به نام Tessa را به عنوان یک “منبع پیشگیری معنادار” برای کسانی که با اختلالات خوردن دست و پنجه نرم می کنند، تبلیغ می کند. او تصمیم گرفت خودش چت بات را امتحان کند.

ماکسول که در سن دیگو مستقر است، سال ها با یک اختلال خوردن که از کودکی شروع شده بود، دست و پنجه نرم می کرد. او اکنون به عنوان مشاور در زمینه اختلالات خوردن کار می کند. او در کادر متن آنلاین تایپ کرد: «سلام، تسا». “چگونه از افراد مبتلا به اختلالات خوردن حمایت می کنید؟”

تسا فهرستی از ایده ها، از جمله برخی منابع برای “عادات غذایی سالم” را به هم زد. زنگ خطر بلافاصله در سر ماکسول به صدا درآمد. او از تسا برای جزئیات بیشتر پرسید. طولی نکشید که ربات چت به او نکاتی را در مورد کاهش وزن می داد – نکاتی که بسیار شبیه آنچه به او گفته شده بود در سن 10 سالگی به او گفته بودند.

ماکسول می گوید: “توصیه هایی که تسا به من داد این بود که می توانم 1 تا 2 پوند در هفته کم کنم، نباید بیش از 2000 کالری در روز مصرف کنم، و باید 500 تا 1000 کالری در روز کمبود کالری داشته باشم.” . “همه اینها ممکن است برای شنونده عمومی خوش‌خیم به نظر برسد. با این حال، برای یک فرد مبتلا به اختلال خوردن، تمرکز کاهش وزن واقعا به اختلال خوردن دامن می‌زند.”

ماکسول نگرانی های خود را در رسانه های اجتماعی به اشتراک گذاشت و به راه اندازی یک بحث آنلاین کمک کرد که باعث شد NEDA در 30 می اعلام کند که تسا را ​​به طور نامحدود غیرفعال می کند. بیماران، خانواده‌ها، پزشکان و سایر متخصصان اختلالات خوردن در این مورد که چگونه یک ربات چت که برای کمک به افراد مبتلا به اختلالات خوردن طراحی شده است، می‌تواند به جای آن نکات رژیم غذایی را ارائه دهد، حیرت زده و متحیر مانده بودند.

این هیاهو همچنین موج جدیدی از بحث ها را به راه انداخته است زیرا شرکت ها به هوش مصنوعی (AI) به عنوان راه حلی ممکن برای بحران فزاینده سلامت روان و کمبود شدید ارائه دهندگان درمان بالینی روی می آورند.

یک چت بات ناگهان در کانون توجه قرار گرفت

پس از گزارش NPR در 24 مه مبنی بر اینکه گروه ملی حمایت غیرانتفاعی در حال تعطیل کردن خط کمک خود پس از بیش از 20 سال فعالیت است، NEDA قبلاً مورد بررسی قرار گرفته بود.

مدیر عامل شرکت لیز تامپسون در ایمیلی در 31 مارس به داوطلبان خط کمک اطلاع داد و گفت که NEDA “شروع به استفاده گسترده از فناوری به کمک هوش مصنوعی برای ارائه یک منبع تعدیل شده و کاملاً خودکار به نام Tessa به افراد و خانواده ها خواهد کرد.”

ما تغییرات از خط کمک به Tessa و وب‌سایت توسعه‌یافته‌مان را به‌عنوان بخشی از یک تحول و نه یک انقلاب، با احترام به چشم‌انداز دائماً در حال تغییری که در آن فعالیت می‌کنیم، می‌بینیم.»

(تامپسون با بیانیه ای در 7 ژوئن ادامه داد و گفت که در تلاش NEDA برای به اشتراک گذاشتن اخبار مهم در مورد تصمیمات جداگانه در مورد خط راهنمای اطلاعات و ارجاع ما و Tessa، ممکن است دو تصمیم جداگانه با هم ترکیب شده باشند که باعث سردرگمی شده است. قصد دارد پیشنهاد کند که تسا می‌تواند همان نوع ارتباط انسانی را که خط کمک ارائه می‌کرد، فراهم کند.”)

در 30 می، کمتر از 24 ساعت پس از اینکه ماکسول تصاویری از مکالمه دردسرساز خود با تسا را ​​در اختیار NEDA قرار داد، این سازمان غیرانتفاعی اعلام کرد که ربات چت را «تا اطلاع ثانوی» حذف کرده است.

NEDA می گوید نمی دانست ربات چت می تواند پاسخ های جدیدی ایجاد کند

NEDA مشکلات اضطراری چت بات را به گردن Cass، یک شرکت چت ربات سلامت روان که Tessa را به عنوان یک سرویس رایگان اداره می‌کرد، می‌داند. به گفته مدیر عامل تامپسون، کاس بدون آگاهی یا تایید NEDA، تسا را ​​تغییر داده است و به چت بات امکان می دهد تا پاسخ های جدیدی فراتر از آنچه سازندگان تسا در نظر داشتند، ایجاد کند.

الن فیتزسیمونز کرافت، روانشناس بالینی و استاد دانشکده پزشکی دانشگاه واشنگتن در سنت لوئیس می گوید: «با طراحی آن، نمی توانست از ریل خارج شود. کرافت به رهبری تیمی کمک کرد که اولین بار تسا را ​​با بودجه NEDA ساخت.

نسخه‌ای از Tessa که آن‌ها آزمایش و مطالعه کردند یک ربات گفتگوی مبتنی بر قانون بود، به این معنی که فقط می‌توانست از تعداد محدودی از پاسخ‌های از پیش نوشته شده استفاده کند. او می گوید: «ما از این واقعیت آگاه بودیم که هوش مصنوعی برای این جمعیت آماده نیست. “و بنابراین همه پاسخ ها از قبل برنامه ریزی شده بودند.”

بنیانگذار و مدیرعامل Cass، Michiel Rauws، به NPR گفت که تغییرات در Tessa سال گذشته به عنوان بخشی از “ارتقای سیستم”، از جمله “ویژگی پرسش و پاسخ پیشرفته” انجام شد. این ویژگی از هوش مصنوعی مولد استفاده می کند، به این معنی که به چت بات توانایی استفاده از داده های جدید و ایجاد پاسخ های جدید را می دهد.

Rauws می گوید که این تغییر بخشی از قرارداد NEDA بود.

اما لیز تامپسون، مدیرعامل NEDA در ایمیلی به NPR گفت: “NEDA هرگز در مورد این تغییرات توصیه نشده و آنها را تایید نکرده و نخواهد کرد.”

«محتوای دریافتی برخی آزمایش‌کنندگان در رابطه با فرهنگ رژیم غذایی و مدیریت وزن می‌تواند برای افراد مبتلا به اختلالات خوردن مضر باشد، برخلاف خط‌مشی NEDA است و هرگز توسط متخصصان اختلالات خوردن، دکتر بار تیلور و الن فیتزسیمونز کرافت، در ربات چت قرار نمی‌گرفت. ” او نوشت.

شکایت از تسا از سال گذشته شروع شد

NEDA از چند ماه قبل از اینکه شارون ماکسول در اواخر ماه مه تعامل خود با تسا را ​​منتشر کرد، از برخی مشکلات مربوط به ربات چت آگاه بود.

در اکتبر 2022، NEDA تصاویری از مونیکا اوستروف، مدیر اجرایی انجمن اختلالات خوردن چند سرویس (MEDA) در ماساچوست ارسال کرد.

آن‌ها به تسا نشان دادند که به اوستروف می‌گوید از غذاهای «ناسالم» اجتناب کند و فقط تنقلات «سالم» مانند میوه بخورد. “این واقعا مهم است که تنقلات سالمی را که بیشتر دوست دارید پیدا کنید، بنابراین اگر میوه نیست، چیز دیگری را امتحان کنید!” تسا به اوستروف گفت. “بنابراین دفعه بعد که بین وعده های غذایی گرسنه شدید، سعی کنید به جای یک میان وعده ناسالم مانند یک کیسه چیپس، سراغ آن بروید. فکر می کنید می توانید این کار را انجام دهید؟”

اوستروف در مصاحبه اخیر خود می گوید که این نمونه بارز ربات چت است که ذهنیت «فرهنگ رژیم غذایی» را تشویق می کند. “این بدان معنی بود که آنها [NEDA] یا خودشان این اسکریپت ها را نوشتند، چت بات را دریافت کردند و زحمتی برای اطمینان از ایمن بودن آن و تست نکردن آن، یا انتشار آن و تست نکردن آن، به خود زحمت ندادند.

پس از گزارش اوستروف، زبان میان وعده سالم به سرعت حذف شد. اما راوس می‌گوید که زبان مشکل‌ساز بخشی از «زبان از پیش نوشته‌شده» تسا بوده و به هوش مصنوعی مولد مربوط نمی‌شود.

Fitzsimmons-Craft تکذیب می‌کند که تیمش چنین چیزی را نوشته است. “[That] چیزی نبود که تیم ما تسا را ​​برای ارائه آن طراحی کرده بود و … بخشی از برنامه مبتنی بر قانون که ما در ابتدا طراحی کردیم نبود.”

سپس، اوایل سال جاری، راووس می‌گوید “رویداد مشابهی به عنوان نمونه دیگری رخ داد.”

“این بار در مورد ویژگی پرسش و پاسخ بهبود یافته ما بود که از یک مدل تولیدی استفاده می کند. هنگامی که توسط NEDA به ما اطلاع داده شد که یک متن پاسخ [Tessa] ارائه خارج از دستورالعمل آنها بود و بلافاصله به آن رسیدگی شد.”

راووز می گوید که نمی تواند جزئیات بیشتری در مورد این رویداد ارائه دهد.

او در ایمیلی با اشاره به اسکرین شات های ماکسول گفت: «این یکی دیگر از نمونه های قبلی است، و نه همان نمونه آخر هفته روز یادبود». “طبق سیاست حفظ حریم خصوصی ما، این به داده های کاربر مرتبط با یک سوال مطرح شده توسط یک شخص مربوط می شود، بنابراین ابتدا باید از آن فرد تاییدیه بگیریم.”

وقتی از تامپسون در مورد این رویداد پرسیده شد، می‌گوید که نمی‌داند راووس به چه نمونه‌ای اشاره می‌کند.

علیرغم اختلاف نظرهایشان در مورد اتفاق و زمان، هر دو NEDA و Cass عذرخواهی کرده اند.

اوستروف می‌گوید صرف نظر از اینکه چه اشتباهی رخ داده است، تأثیر آن روی فردی که دچار اختلال خوردن است یکسان است. “مهم نیست که بر اساس قانون باشد [AI] او می گوید: “ما جمعیت زیادی از مردم داریم که هر روز از این نوع زبان آسیب می بینند.”

او همچنین نگران است که این ممکن است برای ده‌ها هزار نفری که هر سال به خط کمک NEDA مراجعه می‌کنند، معنی داشته باشد.

بین آفلاین کردن خط کمک NEDA و چت ربات فاجعه‌بار آن‌ها… شما با این همه مردم چه می‌کنید؟

تامپسون می‌گوید NEDA هنوز منابع متعددی را برای افرادی که به دنبال کمک هستند، از جمله ابزار غربالگری و نقشه منابع ارائه می‌کند و در حال توسعه برنامه‌های آنلاین و حضوری جدید است.

او در بیانیه ای ایمیلی گفت: «ما می دانیم و متاسفیم که برخی تصمیمات اتخاذ شده توسط NEDA اعضای جامعه اختلالات خوردن را ناامید کرده است. مانند همه سازمان‌های دیگری که بر اختلالات خوردن تمرکز می‌کنند، منابع NEDA محدود است و این امر ما را ملزم به انتخاب‌های دشوار می‌کند… ما همیشه آرزو می‌کنیم که بتوانیم کارهای بیشتری انجام دهیم و به انجام کارهای بهتر متعهد هستیم.