پیام شروع می شود: “ما به طور تصادفی به پست شما رسیدیم … و به نظر می رسد که شما در زمان های چالش برانگیزی سپری می کنید.” ما اینجا هستیم تا مواد و منابعی را با شما در میان بگذاریم که ممکن است کمی برای شما راحت باشد. پیوندهایی به خطوط کمک به خودکشی، یک سرویس چت 24 ساعته، و داستان افرادی که بر بحران‌های سلامت روان غلبه کرده‌اند، دنبال می‌شوند. در پایان این پیام آمده است: “برای شما یک آغوش مجازی می فرستم.”
این یادداشت که توسط شرکت هوش مصنوعی (AI) Samurai Labs به عنوان یک پیام خصوصی در Reddit ارسال شده است، نشان‌دهنده چیزی است که برخی از محققان می‌گویند ابزاری امیدوارکننده برای مبارزه با اپیدمی خودکشی در ایالات متحده است که تقریباً 50000 قربانی در سال می‌گیرد. شرکت‌هایی مانند سامورایی از هوش مصنوعی برای تجزیه و تحلیل پست‌های رسانه‌های اجتماعی برای یافتن نشانه‌هایی از قصد خودکشی استفاده می‌کنند، سپس از طریق استراتژی‌هایی مانند پیام مستقیم مداخله می‌کنند.
استفاده از رسانه های اجتماعی برای پیشگیری از خودکشی طعنه خاصی دارد، زیرا اغلب مقصر سلامت روانی و بحران خودکشی در ایالات متحده، به ویژه در میان کودکان و نوجوانان است. پاتریچا تممسکا، یکی از بنیانگذاران سامورایی، می‌گوید، اما برخی از محققان معتقدند که می‌توان مستقیماً به منبع مراجعه کرد تا «آنهایی را که در مضطرب هستند در زمان واقعی شناسایی کرده و میلیون‌ها قطعه محتوا را بشکند».
سامورایی تنها شرکتی نیست که از هوش مصنوعی برای یافتن و دسترسی به افراد در معرض خطر استفاده می کند. شرکت Sentinet می گوید که مدل هوش مصنوعی آن هر روز بیش از 400 پست در رسانه های اجتماعی را نشان می دهد که حاکی از قصد خودکشی است. و متا، شرکت مادر فیس‌بوک و اینستاگرام، از فناوری خود برای پرچم‌گذاری پست‌ها یا مرور رفتارهایی استفاده می‌کند که نشان می‌دهد شخصی به فکر خودکشی است. اگر شخصی محتوای مرتبط با خودکشی را به اشتراک بگذارد یا جستجو کند، پلتفرم پیامی حاوی اطلاعاتی درباره نحوه دسترسی به خدمات پشتیبانی مانند خط زندگی خودکشی و بحران ارسال می‌کند – یا اگر تیم متا لازم بداند، پاسخ‌دهنده‌های اضطراری فراخوانی می‌شوند.
زیربنای این تلاش‌ها این ایده است که الگوریتم‌ها ممکن است بتوانند کاری را انجام دهند که به طور سنتی انسان‌ها را سرگردان کرده است: تعیین اینکه چه کسی در معرض خطر آسیب رساندن به خود است تا بتوانند قبل از اینکه خیلی دیر شود کمک دریافت کنند. اما برخی از کارشناسان می گویند این رویکرد – در حالی که امیدوارکننده است – برای پرایم تایم آماده نیست.
ما بسیار سپاسگزاریم که پیشگیری از خودکشی به طور کلی در آگاهی جامعه آمده است. این واقعاً مهم است. اما ابزارهای زیادی بدون مطالعه نتایج واقعی به بازار عرضه شده است.
دکتر جردن اسمولر، یکی از مدیران مرکز تحقیقات و پیشگیری از خودکشی دانشگاه هاروارد، می‌گوید پیش‌بینی اینکه چه کسی احتمالاً اقدام به خودکشی می‌کند، حتی برای آموزش‌دیده‌ترین متخصصان انسانی نیز دشوار است. اسمولر می‌گوید: عوامل خطری وجود دارد که پزشکان می‌دانند باید در بیماران خود به دنبال آنها بگردند – برخی از تشخیص‌های روان‌پزشکی، گذر از یک رویداد آسیب‌زا، از دست دادن یکی از عزیزان به دلیل خودکشی – اما اسمولر می‌گوید که خودکشی «بسیار پیچیده و ناهمگن» است. “تغییرات زیادی در آنچه منجر به خودآزاری می شود وجود دارد” و تقریباً هرگز یک محرک وجود ندارد.
اسمولر می‌گوید: امید این است که هوش مصنوعی با توانایی خود در غربال کردن حجم عظیمی از داده‌ها، بتواند روندهایی را در گفتار و نوشتار که انسان‌ها هرگز متوجه آن نمی‌شوند، شناسایی کند. و علمی برای حمایت از این امید وجود دارد.
بیش از یک دهه پیش، جان پستیان، مدیر مرکز پزشکی محاسباتی در بیمارستان کودکان سینسیناتی، نشان داد که الگوریتم‌های یادگیری ماشینی می‌توانند بین یادداشت‌های خودکشی واقعی و جعلی با دقت بهتری نسبت به پزشکان انسانی تمایز قائل شوند – یافته‌ای که پتانسیل هوش مصنوعی را برای برداشتن نشان می‌دهد. در مورد قصد خودکشی در متن از آن زمان، مطالعات همچنین نشان داده است که هوش مصنوعی می تواند قصد خودکشی را در پست های رسانه های اجتماعی در پلتفرم های مختلف تشخیص دهد.
شرکت هایی مانند آزمایشگاه سامورایی این یافته ها را مورد آزمایش قرار می دهند. بر اساس داده های شرکت به اشتراک گذاشته شده با TIME، از ژانویه تا نوامبر 2023، مدل سامورایی بیش از 25000 پست احتمالی خودکشی را در Reddit شناسایی کرد. سپس انسانی که بر فرآیند نظارت می کند تصمیم می گیرد که آیا باید دستورالعمل هایی در مورد نحوه دریافت کمک به کاربر ارسال شود. حدود 10 درصد از افرادی که این پیام ها را دریافت کردند با یک خط کمک خودکشی تماس گرفتند و نمایندگان شرکت با اولین پاسخ دهندگان برای تکمیل چهار نجات حضوری همکاری کردند. (Samurai شراکت رسمی با Reddit ندارد، بلکه از فناوری خود برای تجزیه و تحلیل مستقل پست‌ها در پلتفرم استفاده می‌کند. Reddit از سایر ویژگی‌های پیشگیری از خودکشی استفاده می‌کند، مانند یکی که به کاربران امکان می‌دهد پست‌های نگران‌کننده را به صورت دستی گزارش کنند.)
میکال ورچینسکی، یکی از بنیانگذاران، اضافه می کند که مداخله سامورایی ممکن است مزایای بیشتری داشته باشد که ردیابی آنها دشوارتر است. برای مثال، برخی از افراد ممکن است بعداً با یک خط کمک تماس گرفته باشند، یا به سادگی از احساس اینکه کسی به آنها اهمیت می دهد سود برده باشند. یکی از افراد در پیامی که با TIME به اشتراک گذاشته شد، نوشت: «این اشک از چشمانم درآورد. “کسی آنقدر اهمیت می دهد که نگران من باشد؟”
موتیه می‌گوید، وقتی فردی در یک بحران حاد سلامت روانی است، حواس پرتی – مانند خواندن پیامی که روی صفحه نمایش او ظاهر می‌شود – می‌تواند نجات‌بخش باشد، زیرا او را از یک حلقه فکر مضر خارج می‌کند. اما، Pestian می‌گوید، برای شرکت‌ها بسیار مهم است که بدانند هوش مصنوعی چه کارهایی را می‌تواند انجام دهد و چه کاری نمی‌تواند در یک لحظه پریشانی انجام دهد.
پستیان می گوید، خدماتی که کاربران رسانه های اجتماعی را با حمایت انسانی مرتبط می کند، می تواند موثر باشد. او می‌گوید: «اگر دوستی داشتی، می‌گفتند: «بگذار تو را به بیمارستان برانم». هوش مصنوعی می تواند ماشینی باشد که فرد را به سمت مراقبت سوق می دهد. به عقیده او، آنچه خطرناکتر است این است که «اجازه دهید[ting] هوش مصنوعی مراقبت می کند» با آموزش آن برای تکرار جنبه های درمانی، همانطور که برخی از چت ربات های هوش مصنوعی انجام می دهند. بر اساس گزارش ها، مردی در بلژیک پس از صحبت با یک ربات چت که او را تشویق می کرد، خودکشی کرد – یک نمونه غم انگیز از محدودیت های فناوری.
اسمولر می‌گوید: همچنین مشخص نیست که آیا الگوریتم‌ها به اندازه کافی پیچیده هستند تا افراد در معرض خطر خودکشی را با دقت تشخیص دهند، در حالی که حتی انسان‌هایی که این مدل‌ها را ایجاد کرده‌اند این توانایی را ندارند. او می‌گوید: «مدل‌ها فقط به اندازه داده‌هایی هستند که روی آنها آموزش داده شده‌اند. این موضوع مشکلات فنی زیادی ایجاد می کند.»
جیل هارکاوی-فریدمن، معاون ارشد تحقیقات در AFSP می‌گوید: همانطور که وجود دارد، الگوریتم‌ها ممکن است شبکه بسیار گسترده‌ای ایجاد کنند، که احتمال مصونیت افراد را در برابر پیام‌های هشداردهنده خود نشان می‌دهد. او می‌گوید: «اگر خیلی مکرر است، می‌توانید مردم را از شنیدن منصرف کنید.
پستیان موافق است که این یک احتمال واقعی است. اما تا زمانی که تعداد زیادی از مثبت های کاذب وجود نداشته باشد، او می گوید که به طور کلی بیشتر نگران موارد منفی کاذب است. بهتر است بگوییم، متاسفم، من [flagged you as at-risk when you weren’t] پستیان می‌گوید: نه اینکه به والدین خود بگویید: “متاسفم، فرزندت بر اثر خودکشی مرده است و ما آن را از دست دادیم.”
علاوه بر عدم دقت احتمالی، مسائل اخلاقی و حریم خصوصی نیز در بازی وجود دارد. اسمولر می‌گوید کاربران رسانه‌های اجتماعی ممکن است ندانند که پست‌هایشان تحلیل می‌شود یا بخواهند آنها تحلیل شوند. همانطور که تیمی از محققان اخیراً برای TIME نوشتند، این ممکن است به ویژه برای اعضای جوامعی که در معرض خطر بیشتر خودکشی هستند، از جمله جوانان LGBTQ+ که به طور نامتناسبی توسط این سیستم‌های نظارتی هوش مصنوعی پرچم‌گذاری می‌شوند، مرتبط باشد.
میسون مارکس، کارشناس حقوق سلامت، در سال 2019 نوشت، احتمال افزایش نگرانی‌های خودکشی به پلیس یا سایر پرسنل اورژانس به این معنی است که کاربران «ممکن است بر خلاف میل خود بازداشت، جستجو، بستری شوند و تحت درمان قرار گیرند».
Moutier، از AFSP، می‌گوید که در هوش مصنوعی وعده‌های کافی برای پیشگیری از خودکشی برای ادامه مطالعه وجود دارد. اما در عین حال، او می‌گوید که مایل است ببیند که پلتفرم‌های رسانه‌های اجتماعی در مورد محافظت از سلامت روانی کاربران قبل از رسیدن به یک نقطه بحران جدی باشند. او می گوید که پلتفرم ها می توانند کارهای بیشتری برای جلوگیری از قرار گرفتن افراد در معرض تصاویر ناراحت کننده، ایجاد تصویر بدنی ضعیف و مقایسه خود با دیگران انجام دهند. او اضافه می‌کند که آنها همچنین می‌توانند داستان‌های امیدوارکننده‌ای را از افرادی که از بحران‌های سلامت روان بهبود یافته‌اند و منابع حمایتی برای افرادی که (یا یکی از عزیزانشان) در حال مبارزه هستند، تبلیغ کنند.
بخشی از آن کار در حال انجام است. متا از جولای تا سپتامبر سال گذشته به بیش از 12 میلیون پست مرتبط با آسیب رساندن به خود هشدارهایی را حذف یا اضافه کرد و نتایج جستجوی مضر را پنهان کرد. TikTok همچنین اقداماتی را برای ممنوع کردن پست‌هایی که خودکشی را به تصویر می‌کشند یا تجلیل می‌کنند و از دیدن کاربرانی که پست‌های مربوط به خودآزاری را جستجو می‌کنند، مسدود کرده است. اما همانطور که جلسه اخیر سنا با حضور مدیران عامل متا، تیک تاک، ایکس، اسنپ و دیسکورد نشان داد، هنوز محتوای آزاردهنده زیادی در اینترنت وجود دارد.
Moutier می‌گوید الگوریتم‌هایی که وقتی فردی را در مضیقه تشخیص می‌دهند، مداخله می‌کنند «روی پایین‌ترین لحظه خطر حاد» تمرکز می‌کنند. “در پیشگیری از خودکشی، این بخشی از آن است، اما این تمام آن نیست.” در یک دنیای ایده آل، هیچ کس اصلاً به آن لحظه نمی رسد.
اگر شما یا شخصی که می شناسید ممکن است دچار بحران سلامت روانی شده یا به خودکشی فکر می کنید، با 988 تماس بگیرید یا پیامک ارسال کنید. در مواقع اضطراری، با 911 تماس بگیرید یا از یک بیمارستان محلی یا ارائه دهنده سلامت روان مراقبت کنید.