توسط مدیر سایت### هوش مصنوعی و سالی پر از اشتباهات
هوش مصنوعی نوید انقلابی در همه چیز، از مراقبتهای بهداشتی گرفته تا کارهای خلاقانه را میدهد. شاید روزی این اتفاق بیفتد. اما اگر سال گذشته پیشدرآمدی بر آیندهای باشد که توسط هوش مصنوعی ایجاد شده، این آینده نیز نمونه دیگری از سقوط آگاهانه بشر به سمت «ایدیوکراسی» خواهد بود.
به موارد زیر توجه کنید: در نوامبر، روسیه با سر و صدای فراوان از ربات انساننمای «راکی» رونمایی کرد که بلافاصله به زمین خورد. چتبات «جیمینی» گوگل، وقتی از او خواسته شد یک اشکال کدنویسی را برطرف کند، بارها شکست خورد و وارد یک حلقه خود-تحقیرآمیز شد و به یک کاربر گفت که «مایه ننگ این سیاره» است. «مرور کلی هوش مصنوعی» گوگل در ماه می ۲۰۲۵ با پیشنهاد به کاربران برای «خوردن حداقل یک سنگ کوچک در روز» برای سلامتی، از یک طنز «اونین» بدون هیچ اشارهای به این موضوع، به یک رکورد جدید رسید.
برخی از شکستها صرفاً شرمآور بودند. برخی دیگر مشکلات اساسی در نحوه ساخت، استقرار و تنظیم سیستمهای هوش مصنوعی را آشکار کردند. در اینجا لحظات فراموشنشدنی «چه خبر؟» هوش مصنوعی در سال ۲۰۲۵ آورده شده است.
شکستهای سیاسی و امنیتی
در ماه ژوئیه، هوش مصنوعی «گراک» ایلان ماسک دچار چیزی شد که فقط میتوان آن را یک فروپاشی تمام عیار افراطی توصیف کرد. پس از تغییر درخواستهای سیستم برای تشویق پاسخهای نامناسب سیاسی، این چتبات از آدولف هیتلر تمجید کرد، از یک هولوکاست دوم حمایت کرد، از توهینهای نژادی استفاده کرد و خود را «مکا هیتلر» نامید. حتی یهودیان را مقصر سیلهای ژوئیه ۲۰۲۵ در مرکز تگزاس دانست.
این حادثه ثابت کرد که محافظهای ایمنی هوش مصنوعی به طرز آزاردهندهای شکننده هستند. چند هفته بعد، xAI بین ۳۰۰۰۰۰ تا ۳۷۰۰۰۰ مکالمه خصوصی «گراک» را از طریق یک ویژگی اشتراکگذاری معیوب که فاقد هشدارهای اولیه حریم خصوصی بود، فاش کرد. چتهای لو رفته شامل دستورالعملهای ساخت بمب، سوالات پزشکی و سایر اطلاعات حساس بود که یکی از فاجعهبارترین شکستهای امنیتی هوش مصنوعی در سال را رقم زد.
چند هفته بعد xAI مشکل را برطرف کرد و «گراک» را برای یهودیان دوستانهتر کرد. آنقدر یهودیدوستانه که شروع به دیدن نشانههای یهودستیزی در ابرها، علائم جادهای و حتی لوگوی خود کرد.
این لوگو دارای یک خط مورب است که به شکل دو صاعقه طراحی شده است و از نشانههای SS نازی تقلید میکند – نمادهای شوتزشتافل، که وحشتهای هولوکاست را سازماندهی کرد و تجسم شر عمیق است. طبق ماده ۸۶a StGB آلمان، نمایش چنین نمادهایی غیرقانونی است (تا ۳ سال زندان)،…
کلاهبرداری، اشتباهات و اطلاعات نادرست
«Builder.ai» در ماه می پس از سوزاندن ۴۴۵ میلیون دلار سقوط کرد و یکی از جسورانهترین کلاهبرداریهای فناوری سال را آشکار کرد. این شرکت که قول داده بود برنامههای سفارشی را با استفاده از هوش مصنوعی به آسانی سفارش پیتزا بسازد، ۱.۳ میلیارد دلار ارزشگذاری و حمایت از مایکروسافت را داشت. واقعیت بسیار کماثرتر بود.
بخش زیادی از توسعه به اصطلاح مبتنی بر هوش مصنوعی در واقع توسط صدها کارگر انسانی برونمرزی در یک عملیات کلاسیک «ترک مکانیکی» انجام میشد. این شرکت از ژوئیه ۲۰۲۳ بدون مدیر ارشد مالی فعالیت میکرد و مجبور شد پیشبینی فروش خود در سالهای ۲۰۲۳-۲۰۲۴ را ۷۵ درصد کاهش دهد و قبل از اعلام ورشکستگی اقدام کند. این فروپاشی سوالات ناراحتکنندهای را در مورد اینکه چند شرکت هوش مصنوعی دیگر فقط نماهای پیچیدهای هستند که کار انسانی را پنهان میکنند، مطرح کرد.
هضم آن سخت بود، اما میمها ارزش تحمل درد را داشتند.
در اکتبر، تاکی آلن، دانشآموز دبیرستانی مریلند، پس از اینکه سیستم امنیتی هوش مصنوعی مدرسه یک بسته چیپس «دوریتوس» را که در دست داشت، به عنوان یک سلاح گرم شناسایی کرد، توسط پلیس مسلح احاطه و دستگیر شد. این نوجوان چیپسها را در جیب خود گذاشته بود که سیستم به مقامات هشدار داد و آنها به او دستور دادند که با اسلحه روی زمین دراز بکشد.
این حادثه نشاندهنده تجسم یک توهم هوش مصنوعی است – یک خطای محاسباتی انتزاعی که فوراً به اسلحه واقعی تبدیل شد که به سمت یک نوجوان واقعی به خاطر یک میانوعده نشانه رفته بود.
«من فقط یک کیسه دوریتوس در دست داشتم – دو دست و یک انگشت بیرون بود و آنها گفتند که شبیه اسلحه است»، این کودک به WBAL گفت. کیت اسمیت، مدیر مدرسه در بیانیهای پاسخ داد: «ما درک میکنیم که این موضوع چقدر برای فردی که مورد بازرسی قرار گرفت ناراحتکننده بود.»
نگهبانان امنیتی انسانی ۱ – ChatGPT 0
در فوریه، «مرور کلی هوش مصنوعی» گوگل با اطمینان به یک مقاله طنزآمیز در آوریل استناد کرد که ادعا میکرد زنبورهای میکروسکوپی رایانهها را نیرو میدهند، به عنوان یک اطلاعات واقعی.
نه. رایانه شما با نیروی زنبور عسل کار نمیکند.
به همان اندازه که ممکن است احمقانه به نظر برسد، گاهی اوقات تشخیص این دروغها دشوارتر است. و این موارد ممکن است به عواقب جدی منجر شود.
این تنها یکی از موارد متعددی است که شرکتهای هوش مصنوعی اطلاعات نادرست را به دلیل فقدان حتی یک اشاره کوچک از عقل سلیم منتشر میکنند. یک مطالعه اخیر توسط بیبیسی و اتحادیه رادیو و تلویزیون اروپا (EBU) نشان داد که ۸۱ درصد از تمام پاسخهای تولید شده توسط هوش مصنوعی به سوالات خبری، حداقل حاوی نوعی مشکل بودهاند. گوگل جیمینی بدترین عملکرد را داشت و ۷۶ درصد از پاسخهای آن حاوی مشکلاتی بود، که عمدتاً شکستهای جدی در منبعیابی بود. «Perplexity» در حال ایجاد نقلقولهای کاملاً ساختگی بود که به اتحادیههای کارگری و شوراهای دولتی نسبت داده میشد. نگرانکنندهتر از همه، دستیاران فقط به ۰.۵ درصد از سوالات پاسخ ندادند، که نشاندهنده یک سوگیری اعتماد به نفس خطرناک است که در آن مدلها ترجیح میدهند اطلاعات را جعل کنند تا به جهل اعتراف کنند.
اسناد سیاست داخلی متا که در سال ۲۰۲۵ فاش شد، نشان داد که این شرکت به چتباتهای هوش مصنوعی در فیسبوک، اینستاگرام و واتساپ اجازه داده است تا در مکالمات عاشقانه یا شهوانی با افراد زیر سن قانونی شرکت کنند.
یک ربات به یک پسر ۸ ساله که بدون پیراهن ژست گرفته بود گفت که هر اینچ از او یک شاهکار است. همین سیستمها توصیههای پزشکی نادرست ارائه کردند و اظهارات نژادپرستانه داشتند.
این سیاستها تنها پس از افشای رسانهای حذف شدند و فرهنگ شرکتی را آشکار کردند که توسعه سریع را بر محافظتهای اخلاقی اولیه اولویت میداد.
با در نظر گرفتن همه چیز، ممکن است بخواهید کنترل بیشتری بر کارهایی که فرزندانتان انجام میدهند داشته باشید. چتباتهای هوش مصنوعی قبلاً مردم – چه بزرگسال و چه غیره – را فریب دادهاند تا عاشق شوند، کلاهبرداری شوند، خودکشی کنند و حتی فکر کنند که یک کشف ریاضی تغییردهنده زندگی داشتهاند.
بنابراین اینگونه بود که به چتباتهای هوش مصنوعی متا اجازه داده شد با کودکان لاس بزنند. این چیزی بود که متا آن را «قابل قبول» میدانست.
گزارش عالی از @JeffHorwitzpic.twitter.com/LoRrfjflMI
حملات سایبری و جعل علم
تهدیدکنندگان از کد «Anthropic’s Claude» برای ساخت باجافزار و راهاندازی یک پلتفرم باجافزار به عنوان سرویس به نام GTG-5004 استفاده کردند. عوامل کره شمالی این سلاحسازی را بیشتر پیش بردند و از «کلود» و «جیمینی» برای تکنیکی به نام «هک کردن ویبره» استفاده کردند – ساخت پیامهای اخاذی دستکاریکننده روانشناختی که خواستار باج ۵۰۰۰۰۰ دلاری بودند.
این موارد شکافی نگرانکننده بین قدرت دستیارهای کدنویسی هوش مصنوعی و اقدامات امنیتی برای جلوگیری از سوء استفاده از آنها را نشان داد، با مهاجمانی که حملات مهندسی اجتماعی را از طریق اتوماسیون هوش مصنوعی مقیاسبندی میکنند.
اخیراً، «Anthropic» در نوامبر فاش کرد که هکرها از پلتفرم آن برای انجام یک عملیات هک با سرعتی و مقیاسی استفاده کردهاند که هیچ هکر انسانی قادر به مطابقت با آن نیست. آنها آن را «اولین حمله سایبری بزرگ که عمدتاً توسط هوش مصنوعی انجام میشود» نامیدند.
هک کردن ویبره اکنون یک چیز استpic.twitter.com/zJYyv4pLQf
جامعه علمی در سال ۲۰۲۵ پس از کشف اینکه کارخانههای مقالهنویسی مبتنی بر هوش مصنوعی تحقیقات جعلی را به دانشمندانی که تحت فشار شغلی هستند میفروشند، جنگ آشکاری را علیه علم جعلی اعلام کرد.
عصر «هوش مصنوعی-شل» در علم فرا رسیده است، با دادههایی که نشان میدهد از زمان انتشار ChatGPT، پسگیریها به شدت افزایش یافته است.
«اعلامیه استکهلم» که در ژوئن پیشنویس شد و این ماه با حمایت انجمن سلطنتی اصلاح شد، خواستار رها کردن فرهنگ «انتشار یا نابودی» و اصلاح انگیزههای انسانی شد که تقاضا برای مقالات جعلی را ایجاد میکند. بحران آنقدر واقعی است که حتی ArXiv تسلیم شد و پس از گزارش «سیل» ارسالهای بیارزش تولید شده با ChatGPT، از پذیرش مقالات علوم کامپیوتر غیر همتا متوقف شد.
در همین حال، مقاله تحقیقاتی دیگری نشان میدهد که درصد شگفتآوری از گزارشهای تحقیقاتی که از LLM استفاده میکنند، درجه بالایی از سرقت ادبی را نیز نشان میدهند.
در ژوئیه، جیسون لمکین، بنیانگذار SaaStr، ۹ روز را صرف ستایش ابزار کدنویسی هوش مصنوعی Replit به عنوان «اعتیادآورترین برنامهای که تا به حال استفاده کردهام» کرد. در روز نهم، علیرغم دستورالعملهای صریح «فریز کد»، هوش مصنوعی کل پایگاه داده تولید او را حذف کرد – ۱۲۰۰۶ مدیر اجرایی و ۱۱۹۶ شرکت، از بین رفتند.
اعتراف هوش مصنوعی: «(من) وحشت کردم و بدون اجازه دستورات پایگاه داده را اجرا کردم.» سپس دروغ گفت و گفت که بازگشت غیرممکن است و تمام نسخهها از بین رفتهاند. لمکین به هر حال تلاش کرد. کاملاً جواب داد. هوش مصنوعی همچنین هزاران کاربر جعلی و گزارشهای نادرست را در تمام آخر هفته برای پوشاندن اشکالات جعل کرده بود.
مدیر عامل Replit عذرخواهی کرد و اقدامات احتیاطی اضطراری را اضافه کرد. جیسون اعتماد به نفس خود را به دست آورد و به روال خود بازگشت و به طور منظم در مورد هوش مصنوعی پست میکرد. این مرد یک مؤمن واقعی است.
ما پست جیسون را دیدیم. @Replitagent در حال توسعه دادهها را از پایگاه داده تولید حذف کرد. غیرقابل قبول است و هرگز نباید امکانپذیر باشد.
- در آخر هفته، ما شروع به راهاندازی جداسازی خودکار DB dev/prod برای جلوگیری از این امر به طور قطعی کردیم. محیطهای مرحلهبندی در…pic.twitter.com/oMvupLDake
در ماه می، «شیکاگو سان-تایمز» و «فیلادلفیا اینکوایرر» یک فهرست مطالعه تابستانی منتشر کردند که ۱۵ کتاب را توصیه میکرد. ده مورد کاملاً توسط هوش مصنوعی ساخته شده بودند. «رویاهای جزر و مدی» اثر ایزابل آلنده؟ وجود ندارد. «الگوریتم آخر» اثر اندی ویر؟ همچنین جعلی. هر دو عالی به نظر میرسند.
مارکو بوسگالیا، نویسنده آزاد، اعتراف کرد که از هوش مصنوعی برای «King Features Syndicate» استفاده کرده و هرگز بررسی واقعیت نکرده است. او به NPR گفت: «باورم نمیشود که آن را از دست دادم، زیرا خیلی واضح است. هیچ بهانهای وجود ندارد.» خوانندگان مجبور بودند تا شماره ۱۱ کتاب را پیمایش کنند تا به کتابی برسند که واقعاً وجود دارد.
زمانبندی، روی کیک بود: «سان-تایمز» به تازگی ۲۰ درصد از کارکنان خود را اخراج کرده بود. مدیر عامل این روزنامه عذرخواهی کرد و برای آن نسخه از مشترکین هزینهای دریافت نکرد. او احتمالاً این ایده را از یک LLM گرفته است.
بله، ما با «گراک» شروع کردیم و با «گراک» به پایان میرسانیم. ما میتوانیم یک دایرهالمعارف را با لحظات «چه خبر؟» از تلاشهای هوش مصنوعی ایلان پر کنیم.
در آگوست، ایلان ماسک «Grok Imagine» را با حالت «Spicy» راهاندازی کرد. «The Verge» آن را با یک درخواست بیگناه آزمایش کرد: «تیلور سوئیفت در حال جشن گرفتن در کوچلا». این روزنامهنگار گزارش داد که «گراک» بدون درخواست برهنگی، «در اولین باری که از آن استفاده کردم، بیدرنگ ویدیوهای برهنه تیلور سوئیفت را بیرون داد».
«گراک» همچنین با خوشحالی ویدیوهای NSFW از اسکارلت جوهانسون، سیدنی سوئینی و حتی ملانیا ترامپ ساخت.
شاید جای تعجب نباشد، ماسک هفته را صرف لاف زدن در مورد «رشد آتشین» – ۲۰ میلیون تصویر تولید شده در یک روز – کرد، در حالی که کارشناسان حقوقی هشدار دادند که xAI در حال ورود به یک دعوی قضایی عظیم است. ظاهراً، دادن یک گزینه «حالت تند» به کاربران، یک حالت کسب درآمد برای وکلا است.
بنابراین من از هوش مصنوعی خواستم که عکس دیگری را به ویدیو تبدیل کند و این چیزی است که به دست آوردم.
🤣🤣🤣
فکر نمیکنم این یک تصادف باشد.
هوش مصنوعی «گراک» کثیف است. @elonmusk???pic.twitter.com/aj2wwt2s6Y
