حالت صوتی به‌طور خاص چالشهای منحصر به فردی ارائه می‌دهد، که می‌تواند شامل تاثیرگذاری بر کاربر برای رهایی از محدودیت‌هایش باشد. اوپن‌اِی‌آی در آخرین گزارش ایمنی خود در آگوست ۲۰۲۴ تاکید کرد که هوش مصنوعی، به ویژه «چت جی‌پی‌تی» که دارای صدای انسان‌گونه است، می‌تواند کاربران را از نظر عاطفی به خود وابسته کند.
به گفته این شرکت، توانایی تقلید هوش مصنوعی از صدای انسان نگرانی‌هایی برانگیخته است مبنی بر این‌که کاربران ممکن است به چت‌بات وابستگی عاطفی پیدا کنند، که می‌تواند بر روابط آنها در دنیای واقعی تأثیر بگذارد.
به گفته رسانه‌ها، اوپن‌اِی‌آی به دلیل نگرش آن به ایمنی هوش مصنوعی با انتقادات داخلی روبرو شده است و حتی برخی از کارمندان بابت این قضیه استعفا داده‌اند. گزارش اخیر تلاشی برای رفع این نگرانی‌هاست. با این حال، برخی کارشناسان گفته‌اند که این سند فاقد جزئیات مربوط به داده‌های آموزشی چت جی‌پی‌تی است.
این گزارش دیگر خطرات جدی از جمله امکان تقویت تعصبات اجتماعی توسط هوش مصنوعی، انتشار اطلاعات نادرست، و کمک به توسعه سلاح‌ها را برجسته می‌کند. حالت صوتی به‌طور خاص چالشهای منحصر به فردی ارائه می‌دهد، که می‌تواند شامل تاثیرگذاری بر کاربر برای رهایی از محدودیت‌هایش باشد.
در حالی که اوپن‌اِی‌آی به اثرات مثبت بالقوه رابط صوتی هوش مصنوعی، مانند کمک به افراد تنها، اذعان می‌کند، گزارش ایمنی این شرکت خاطرنشان می‌کند که شرکت به دقت در حال نظارت بر ارتباطات عاطفی است که ممکن است کاربران با هوش مصنوعی برقرار کنند.
این نگرانی‌ها منحصر به سازنده چت جی‌پی‌تی نیست، و جامعه گسترده‌تر هوش مصنوعی نگرانی‌های مشابهی دارد. برای مثال، «گوگل دیپ‌ماند» نیز چالشهای اخلاقی دستیاران هوش مصنوعی که تعاملات انسانی را تقلید می‌کنند را بررسی‌کرده و هشدار داده است که ممکن است کاربران را به‌طور عاطفی درگیر کند.
این دغدغه‌ها فقط در حد تئوری نیستند، زیرا برخی از کاربران چت‌بات‌هایی مثل «کاراکتر اِی‌آی» و «رِپلیکا» گزارش داده‌اند که شدیدا به این بات‌ها وابسته شده‌اند، که منجر به بروز رفتارهای ناهنجار اجتماعی در آنها شده است. این نشان می‌دهد پیشرفت‌های هوش مصنوعی می‌تواند خطراتی برای تعاملات انسان‌گونه ایجاد کند.
