به گزارش بیزنس اینسایدر، مایکروسافت برای نمایش توانایی‌های هوش مصنوعی مولد خود، یک‌سری مثال‌ها را به‌صورت دستچین‌شده انتخاب کرده است که هیچ‌یک از آن‌ها نقص ندارند، در صورتی که کوپایلت گاهی‌اوقات از پاسخ به سؤال‌ها بازمی‌ماند.
این اطلاعات از صدای لورفته از یک جلسه‌ی داخلی با محوریت نسخه‌ی اولیه‌ی Security Copilot به دست آمده است.
Security Copilot ابزار هوش مصنوعی شبیه به ChatGPT به حساب می‌آید که برای کمک به متخصصان امنیت سایبری طراحی شده است.
فایل مورد بحث شامل صدای یک محقق مایکروسافت است که در مورد نتایج آزمایش‌های هوش مصنوعی گزارش می‌دهد.
لوید گرینوالد، یکی از مهندسان امنیتی مایکروسافت، در فایل صوتی می‌گوید: «ما مجبور شدیم کمی حساب‌شده انتخاب کنیم تا نمونه‌ای به دست آوریم که خوب به نظر برسد، زیرا [مدل] منحرف می‌شد و از آنجا که یک مدل تصادفی است، وقتی سؤالات مشابهی را از آن می‌پرسیدیم، پاسخ‌های متفاوتی به ما می‌داد. دریافت پاسخ‌های خوب چندان آسان نبود.»
Security Copilot عمدتاً بر اساس مدل زبانی بزرگ GPT-4 از OpenAI ساخته شده است. این ابزار عملاً یک چت‌بات محسوب می‌شود که پاسخی به سبک یک نماینده‌ی خدمات مشتری ارائه می‌دهد.
Security Copilot اغلب در طول نسخه‌های اولیه‌ی خود دچار «توهم مصنوعی» (Hallucination) می‌شد. گرینوالد در فایل صوتی گفت: «توهم، مشکل بزرگی در LLM به‌شمار می‌آید و ما در مایکروسافت کارهای زیادی برای حذف آن انجام می‌دهیم که بخشی از آن آموزش با داده‌های واقعی است.»
GPT-4 مورد استفاده‌ی مایکروسافت برای ساخت Security Copilot، در آن زمان در مورد داده‌های خاص امنیت سایبری آموزش ندیده بود. در عوض، مستقیماً با تکیه بر مجموعه‌داده‌های عمومی استاندارد کار می‌کرد.
گرینوالد فاش کرد که «این دقیقاً همان چیزی است که ما به دولت نشان دادیم.» مشخص نیست که آیا مایکروسافت از این نمونه‌های دستچین‌شده در ارائه‌های خود به دولت و سایر مشتریان بالقوه استفاده کرده یا اینکه محققان آن در مورد نحوه‌ی انتخاب این نمونه‌ها صادق بوده‌اند.
