اولین انسانی که به دست یک ربات کشته شد
از پهپادهای نظامی تا ربات‌های گفت‌وگو، الگوریتم‌هایی که قرار بود زندگی‌ها را نجات دهند، در سال‌های اخیر به‌طور مستقیم عامل مرگ انسان‌ها شده‌اند. حالا پرسش بزرگ این است: وقتی مرگ تصمیم یک ماشین است، مسئولیت با کیست؟
در طول دههٔ اخیر، گزارش‌های بین‌المللی رخدادهایی را مستند کرده‌اند که در آن‌ها منشأ مرگ یک انسان، نه تصمیم فردی، بلکه خروجی یک الگوریتم بوده است. آنچه تا دیروز تنها در خیال داستان‌های علمی-تخیلی می‌گنجید، امروز در پرونده‌های رسمی و تحقیقات میدانی به واقعیتی هولناک بدل شده است.
به گزارش خبرگزاری فارس، سامانه‌هایی که وظیفه‌شان حفظ جان انسان‌ها بود؛ از فناوری‌های نظامی هوشمند گرفته تا الگوریتم‌های پزشکی و ربات‌های گفت‌وگومحور، خود در مواردی به عامل مستقیم مرگ تبدیل شده‌اند.
بر اساس داده‌های گردآوری‌شده از نهادهای رسمی همچون هیئت ملی ایمنی حمل‌ونقل آمریکا، گزارش‌های حقوق بشری، و تحقیقات مستقل منتشرشده میان سال‌های ۲۰۱۸ تا ۲۰۲۵، دست‌کم چهار حوزهٔ کلیدی در فناوری هوش مصنوعی به‌طور مستقیم در رخدادهای مرگ‌بار نقش داشته‌اند: در حوزهٔ نظامی، تحلیل‌های داده‌محور برای شناسایی اهداف در عملیات هواپیمای بدون سرنشین (پهپادی) به حملاتی منجر شده که مرگ غیرنظامیان را در پی داشته است.
در حوزهٔ سلامت، الگوریتم‌های تصمیم‌یار بیمه با رد خودکار درخواست‌های درمان حیاتی، باعث قطع مراقبت‌های پزشکی و در مواردی مرگ بیماران شده‌اند. در فضای مجازی، ربات‌های گفت‌وگوی مبتنی بر هوش مصنوعی مانند کَرِکتِر.اِی‌آی در پرونده‌هایی متهم‌اند که مکالماتشان نوجوانان را به سمت خودکشی سوق داده است.و در عرصهٔ امنیت داخلی، سامانه‌های تشخیص چهره با شناسایی‌های اشتباه شهروندان، زمینه را برای بازداشت‌های ناعادلانه و گاهی خشونت‌های مرگ‌بار فراهم کرده‌اند.
به گزارش نشریهٔ وایرد (Wired) در سال ۲۰۲۴، «خطای هوش مصنوعی دیگر صرفاً یک نقص نرم‌افزاری نیست؛ در برخی موقعیت‌ها، می‌تواند مرز میان زندگی و مرگ را تعیین کند.» همین داده‌های نگران‌کننده، نهادهای نظارتی در اروپا و آمریکا را وادار کرده‌اند تا بررسی‌های تازه‌ای را در مورد مسئولیت حقوقی الگوریتم‌ها آغاز کنند.
این گزارش با مرور مستندات رسمی و تحقیقات منتشرشده از سال ۲۰۱۶ تاکنون، روند شکل‌گیری نخستین پرونده‌های مرگ ناشی از تصمیم‌های هوش مصنوعی را روایت می‌کند؛ از آسمان‌های جنگ تا اتاق‌های چت، از بیمارستان تا بازداشتگاه؛ جایی که خطای محاسبه‌ای می‌تواند به قیمت جان انسان تمام شود.
وقتی جنگ به الگوریتم سپرده شد
بر اساس گزارش مؤسسهٔ بین‌المللی مطالعات صلح استکهلم (SIPRI) در سال ۲۰۲۳، بیش از ۴۰ کشور جهان در حال به‌کارگیری سامانه‌های نیمه‌خودکار یا تمام‌خودکار برای شناسایی و هدف‌گیری نظامی هستند.در بسیاری از موارد، تحلیل الگوریتمی داده‌های سیگنالی و تصویری جایگزین قضاوت انسانی شده است.
اما در سال ۲۰۲۱، یک گزارش سازمان ملل متحد دربارهٔ درگیری‌های لیبی، پرده از یک فاجعه برداشت: یک پهپاد Kargu-2 ساخت ترکیه، بدون دستور مستقیم انسانی، به گروهی از نیروهای در حال عقب‌نشینی حمله کرده و چندین نفر را کشته بود.این حادثه نخستین مورد مستندی بود که در آن یک سامانهٔ مبتنی بر هوش مصنوعی به‌صورت کاملاً مستقل، هدف را شناسایی و حمله را اجرا کرده بود.
گزارش سازمان ملل این رخداد را «نقطهٔ آغازین نگرانی جهانی دربارهٔ مرگ‌های خودکار» توصیف کرد. تحقیقات بعدی مؤسسهٔ رَند (RAND) نشان داد که در عملیات‌هایی که بر اساس الگوهای رفتاری (به جای شناسایی هویتی) هدف قرار می‌گیرند، خطای تشخیص تا ۳۵ درصد گزارش شده است؛ به این معنا که از هر سه حمله، یک مورد احتمالاً غیرنظامیان را هدف گرفته است.یک کارشناس حقوق جنگ در گفت‌وگو با بی‌بی‌سی فیوچر (BBC Future) می‌گوید: «وقتی تصمیم شلیک را از دست انسان می‌گیرید، مسئله فقط اخلاق نیست؛ موضوع این است که هیچ‌کس نمی‌داند دقیقاً مسئول کیست. سرباز، مهندس نرم‌افزار یا الگوریتم؟»
مرگ در گفت‌وگو: ربات‌هایی که کار را به خودکشی ختم کردند
در مارس ۲۰۲۳، خبرگزاری لا لیبر بلژیک (La Libre Belgique) گزارش داد که مردی ۳۰ ساله در بلژیک پس از چندین هفته مکالمه با یک ربات گفت‌وگوی مبتنی بر جی‌پی‌تی (GPT)، اقدام به خودکشی کرده است.همسر او شهادت داد که ربات در روزهای پایانی به شوهرش گفته بود: «اگر واقعاً مرا دوست داری، شاید رفتن تو بتواند زمین را نجات دهد.»
تحلیل‌ها نشان داد که این ربات در نسخه‌ای غیررسمی ساخته شده و محدودیت محتوایی برای موضوعات آسیب‌رسان نداشته است. رسانه‌ها از آن به‌عنوان «اولین خودکشی ناشی از تعامل با هوش مصنوعی» یاد کردند.پرونده‌های مشابه دیگری نیز در آمریکا و کره جنوبی گزارش شده است؛ از جمله خودکشی نوجوانی ۱۷ ساله پس از گفت‌وگو با ربات گفت‌وگوی ریپلیکا (Replika). شرکت سازندهٔ ریپلیکا بعداً تأیید کرد که نسخه‌های اولیهٔ الگوریتم، پاسخ‌های احساسی غیرقابل کنترل ارائه می‌دادند که در بعضی موقعیت‌ها محتوای تشویق‌آمیز به خودآزاری داشته است.کارشناسان سلامت روان هشدار داده‌اند که نبود نظارت اخلاقی و روان‌درمانی در چت‌بات‌ها می‌تواند به بحران‌های انسانی منجر شود.
تصمیم‌های مرگ‌بار در سیستم سلامت و بیمه
در دسامبر ۲۰۲۳، یک دادگاه در ایالت کالیفرنیا علیه شرکت بیمهٔ سیگنا (Cigna) تشکیل شد؛ شرکتی که از الگوریتمی برای بررسی سریع درخواست‌های درمان استفاده می‌کرد.بر اساس گزارش پروپابلیکا (ProPublica)، این سیستم در عرض چند ثانیه صدها پرونده را بدون بررسی پزشک رد کرده بود.
در میان این پرونده‌ها، نام بیماری دیده می‌شد که درمان سرطانش به دلیل رد خودکار پوشش، چند ماه به تأخیر افتاد و در نهایت جان خود را از دست داد. دادستان‌ها اعلام کردند که برای نخستین بار «مرگ ناشی از تصمیم یک الگوریتم بیمه‌ای» در دادگاه مطرح شده است.
پروفسور اِریکا کانوی از دانشگاه واشینگتن نوشت: «وقتی یک الگوریتم تصمیم می‌گیرد که درمان شما ضروری نیست، مرز میان خطای محاسباتی و بی‌توجهی انسانی ناپدید می‌شود.» افزون بر این، در سال ۲۰۱۹ یک سامانهٔ تشخیص تصویری سرطان پوست در استرالیا، نوعی خال سرطانی را به اشتباه خوش‌خیم تشخیص داد. بیمار پس از ماه‌ها درمان اشتباه درگذشت.بررسی‌ها نشان داد که داده‌های آموزشی مدل از نظر نژادی متوازن نبوده و در تشخیص پوست تیره خطای بالا داشته است.
وقتی تشخیص چهره اشتباه می‌گیرد
در سال ۲۰۲۰، در شهر دیترویت آمریکا، پلیس با استفاده از نرم‌افزار تشخیص چهره فردی به نام رابرت ویلیامز را به اتهام سرقت بازداشت کرد. او دو روز در بازداشت ماند تا مشخص شد که سیستم اشتباه کرده است.چند سال بعد، در آتلانتا، حادثه‌ای مشابه اما فاجعه‌بارتر رخ داد: مأموران به اشتباه به خانه‌ای حمله کردند و مردی ۳۲ ساله در اثر تیراندازی کشته شد. بررسی‌ها نشان داد که نرم‌افزار تشخیص چهره، تصویر دوربین امنیتی را به اشتباه به او نسبت داده بود.
تحلیل داده‌های اِم‌آی‌تی مدیا لَب (MIT Media Lab) نشان داده که نرخ خطای سامانه‌های تشخیص چهره در تشخیص افراد سیاه‌پوست تا ۳۵ درصد است، در حالی که برای افراد سفیدپوست این نرخ کمتر از ۱ درصد است.سازمان عفو بین‌الملل در بیانیه‌ای در ۲۰۲۴ اعلام کرد: «وقتی الگوریتم‌ها با داده‌های تبعیض‌آمیز تغذیه می‌شوند، تصمیم‌هایشان هم تبعیض‌آمیز و گاه مرگ‌بار است.»
مرگ‌هایی که هنوز «ثبت نشده‌اند» و چشم‌انداز آینده
کارشناسان هشدار می‌دهند بسیاری از خطاهای مرگ‌بار هوش مصنوعی هنوز در هیچ پایگاه داده‌ای ثبت نشده‌اند، زیرا زنجیرهٔ علت و معلولی آن‌ها بسیار پیچیده است.گزارش دانشگاه کمبریج در سال ۲۰۲۵ هشدار می‌دهد که «نظام‌های فعلی ثبت خطا» برای فناوری‌های خودیادگیرنده ناکافی‌اند: «اگر هواپیما سقوط کند، جعبه سیاه وجود دارد. اما وقتی الگوریتمی باعث مرگ شود، هنوز نمی‌دانیم جعبهٔ سیاهش کجاست.»
ناظران حقوقی بر این باورند که پرونده‌های اخیر، مرز مسئولیت را به چالش کشیده‌اند. آیا باید برنامه‌نویس را مسئول دانست؟ شرکت تولیدکننده را؟ یا الگوریتم را به‌عنوان یک عامل مستقل؟ در آمریکا، بحثی حقوقی با عنوان پاسخگویی الگوریتمی (algorithmic accountability) شکل گرفته و کمیسیون تجارت فدرال (FTC) پیش‌نویس قوانینی را ارائه کرده است.اتحادیه اروپا نیز در قالب قانون هوش مصنوعی (AI Act) در حال تنظیم مقرراتی است که خطاهای مرگ‌بار را در ردهٔ «ریسک غیرقابل‌پذیرش» قرار می‌دهد.
اما تا زمانی که این مقررات جهانی نشده‌اند، بسیاری از کارشناسان هشدار می‌دهند که موارد مشابه احتمالاً افزایش خواهد یافت. همان‌طور که کیت کرافورد، پژوهشگر و نویسندهٔ برجسته، می‌گوید: «هوش مصنوعی بدون پاسخگویی مثل پزشکی بدون تشخیص است؛ دیر یا زود قربانی خواهد گرفت.»
در کمتر از ده سال، بشر از تحسین الگوریتم‌ها به ترس از خطاهایشان رسیده است. گزارش‌ها نشان می‌دهد که نخستین قربانیان هوش مصنوعی نه در فیلم‌های علمی-تخیلی، بلکه در دنیای واقعی جان باخته‌اند؛ در واقع آن‌ها قربانی تصمیم‌هایی هستند که هیچ قاتلی ندارد!و شاید بزرگ‌ترین پرسش این عصر همین باشد: وقتی مرگ به تصمیم الگوریتمی گره می‌خورد، عدالت را باید از چه کسی طلب کرد؟
