هوش مصنوعی با تجزیه و تحلیل اسکن مغز تصاویری از آنچه مردم می بینند ایجاد می کند

تغییر در هوش مصنوعی محبوب تولید متن به تصویر به آن اجازه می دهد سیگنال های مغز را مستقیماً به عکس تبدیل کند. این سیستم به آموزش گسترده با استفاده از تجهیزات تصویربرداری حجیم و پرهزینه نیاز دارد، با این حال، بنابراین خواندن ذهن روزمره فاصله زیادی با واقعیت دارد.

چندین گروه تحقیقاتی قبلاً با استفاده از مدل‌های هوش مصنوعی انرژی‌بر که نیازمند تنظیم دقیق میلیون‌ها تا میلیاردها پارامتر هستند، تصاویری از سیگنال‌های مغزی تولید کرده‌اند.

اکنون، شینجی نیشیموتو و یو تاکاگی در دانشگاه اوزاکا در ژاپن، با استفاده از Stable Diffusion، یک تولیدکننده متن به تصویر که توسط Stability AI در آگوست 2022 منتشر شد، رویکرد بسیار ساده‌تری ایجاد کرده‌اند. روش جدید آن‌ها شامل هزاران پارامتر و نه میلیون‌ها پارامتر است.

هنگامی که به طور معمول استفاده می شود، Stable Diffusion یک پیام متنی را با شروع با نویز بصری تصادفی و تغییر دادن آن برای تولید تصاویری شبیه به تصاویری که در داده های آموزشی خود دارای شرح متنی مشابه هستند، به تصویر تبدیل می کند.

نیشیموتو و تاکاگی دو مدل الحاقی ساختند تا هوش مصنوعی را با سیگنال های مغزی کار کند. این جفت از داده‌های چهار نفری استفاده کردند که در مطالعه قبلی شرکت کرده بودند که از تصویربرداری تشدید مغناطیسی عملکردی (fMRI) برای اسکن مغز آنها در حالی که در حال مشاهده 10000 تصویر متمایز از مناظر، اشیا و افراد بودند، استفاده کردند.

با استفاده از حدود 90 درصد از داده‌های تصویربرداری مغزی، این زوج مدلی را آموزش دادند تا بین داده‌های fMRI از ناحیه‌ای مغز که سیگنال‌های بینایی به نام قشر بینایی اولیه را پردازش می‌کند و تصاویری که مردم مشاهده می‌کنند، پیوند ایجاد کند.

آنها از همان مجموعه داده برای آموزش مدل دوم برای ایجاد پیوند بین توضیحات متنی تصاویر – ساخته شده توسط پنج حاشیه نویس در مطالعه قبلی – و داده های fMRI از ناحیه مغزی که معنای تصاویر را پردازش می کند، به نام قشر بینایی شکمی استفاده کردند.

پس از آموزش، این دو مدل – که باید برای هر فردی سفارشی می‌شد – می‌توانستند داده‌های تصویربرداری مغز را به فرم‌هایی ترجمه کنند که مستقیماً به مدل انتشار پایدار وارد می‌شوند. سپس می‌تواند حدود 1000 تصویری را که مردم مشاهده کرده‌اند با دقت 80 درصد بازسازی کند، بدون اینکه روی تصاویر اصلی آموزش دیده باشند. این سطح از دقت مشابه آنچه قبلاً در مطالعه ای به دست آمده بود که همان داده ها را با استفاده از رویکردی بسیار خسته کننده تر تجزیه و تحلیل می کرد.

تاکاگی می‌گوید: «چشم‌هایم را باور نمی‌کردم، به توالت رفتم و نگاهی به آینه انداختم، سپس به سمت میزم برگشتم تا دوباره نگاهی بیندازم.

نیشیموتو می گوید، با این حال، این مطالعه این رویکرد را تنها روی چهار نفر آزمایش کرد و هوش مصنوعی ذهن خوان بر روی برخی افراد بهتر از دیگران کار می کند.

Sikun Lin از دانشگاه کالیفرنیا در سانتا باربارا می‌گوید علاوه بر این، از آنجایی که مدل‌ها باید برای مغز هر فرد سفارشی شوند، این رویکرد به جلسات طولانی اسکن مغز و دستگاه‌های بزرگ fMRI نیاز دارد. او می گوید: «این به هیچ وجه برای استفاده روزانه عملی نیست.

به گفته لین، در آینده، نسخه‌های عملی‌تر این رویکرد می‌تواند به افراد اجازه دهد هنر بسازند یا تصاویر را با تخیل خود تغییر دهند یا عناصر جدیدی به گیم‌پلی اضافه کنند.