تحولی در هوش مصنوعی؛ تولید متن از فعالیت مغزی بدون نیاز به گفتار یا تایپ

محققان با موفقیت هوش مصنوعی را آموزش داده‌اند تا زبان طبیعی را مستقیماً از ضبط‌های مغز تولید کند و ما را به ارتباط مغز به متن یکپارچه نزدیک‌تر کند.

به گزارش از نیوز مدیکال، تصور کنید که بتوانید افکار را بدون صحبت کردن یا تایپ کردن به کلمات ترجمه کنید. دانشمندان به تحقق این امر نزدیک تر می شوند. مطالعه‌ای که اخیراً در مجله Communications Biology منتشر شد، چگونگی استفاده از ضبط‌های مغزی را برای تولید زبان مورد بررسی قرار داد. این امر درک ما را از نحوه پردازش زبان توسط مغز با کاربردهای بالقوه در آموزش مدل، ارتباطات مبتنی بر هوش مصنوعی (AI) و شاید حتی در درمان‌های اختلال گفتار افزایش می‌دهد.

رمزگشایی زبان و افکار
BrainLLM بر روی سه مجموعه داده مختلف آزمایش شد، و توانایی آن برای تولید متن زمانی قوی‌تر بود که با مجموعه داده‌های عصبی بزرگ‌تر آموزش داده شد و نشان داد که داده‌های مغزی بیشتر، پیش‌بینی زبان مبتنی بر هوش مصنوعی را بهبود می‌بخشد.

مغز انسان قادر به پردازش زبان پیچیده است، اما رمزگشایی افکار مستقیماً از فعالیت مغز مدتهاست که یک چالش بوده است. تحقیقات قبلی با استفاده از مدل‌های طبقه‌بندی که فعالیت مغز را با گزینه‌های زبانی از پیش تعریف‌شده مطابقت می‌دهند، این کار را انجام داده‌اند. در حالی که این روش ها تا حدی موفقیت نشان داده اند، اما از نظر انعطاف پذیری محدود هستند و نمی توانند پیچیدگی کامل بیان انسان را به تصویر بکشند.

پیشرفت‌های اخیر در مدل‌های زبان بزرگ (LLM)، مانند آن‌هایی که ربات‌های چت هوش مصنوعی مانند ChatGPT را تقویت می‌کنند، با پیش‌بینی توالی‌های احتمالی کلمات، تولید متن را متحول کرده است. با این حال، این مدل ها به طور یکپارچه با ضبط های مغزی ادغام نشده اند. چالش این است که تعیین کنیم آیا می‌توانیم مستقیماً زبان طبیعی را از فعالیت مغز بدون تکیه بر مجموعه‌ای محدود از گزینه‌های از پیش تعریف‌شده تولید کنیم.

این مدل بر روی سه مجموعه داده عمومی حاوی ضبط‌های fMRI از شرکت‌کنندگانی که در معرض محرک‌های زبانی مختلف قرار داشتند، آموزش داده شد. محققان یک “آداپتور مغز”، یک شبکه عصبی که فعالیت مغز را به قالبی قابل درک توسط LLM ترجمه می کند، طراحی کردند. این آداپتور ویژگی‌هایی را از سیگنال‌های مغز استخراج می‌کرد و آن‌ها را با ورودی‌های متنی سنتی ترکیب می‌کرد، و به LLM اجازه می‌داد تا کلماتی را تولید کند که با اطلاعات زبانی رمزگذاری‌شده در فعالیت مغز همسو هستند.

محققان ابتدا داده های مربوط به فعالیت مغز را جمع آوری کردند در حالی که شرکت کنندگان زبان نوشتاری یا گفتاری را پردازش می کردند. سپس این ضبط‌ها به یک نمایش ریاضی از فعالیت مغز تبدیل شدند. یک شبکه عصبی تخصصی این نمایش‌ها را در فضایی سازگار با جاسازی‌های متنی LLM ترسیم کرد.

سپس مدل این ورودی‌های ترکیبی را پردازش کرد و توالی‌هایی از کلمات را بر اساس فعالیت مغز و پیام‌های متن قبلی تولید کرد. با آموزش این سیستم بر روی هزاران اسکن مغزی و ورودی های زبانی مربوطه، محققان BrainLLM را برای پیش بینی و تولید کلمات همسو با فعالیت مغز بهتر تنظیم کردند.

برخلاف روش‌های قبلی که نیاز به انتخاب کلمات از یک مجموعه از پیش تعریف‌شده داشتند، BrainLLM می‌توانست متن پیوسته را بدون محدودیت‌های از پیش تعریف‌شده تولید کند.

سپس این مطالعه عملکرد BrainLLM را در برابر مدل‌های موجود ارزیابی کرد. این تیم سیستم را بر روی انواع وظایف زبانی، از جمله پیش‌بینی کلمه بعدی در یک دنباله، بازسازی کل قسمت‌ها، و مقایسه متن تولید شده با ادامه زبان درک شده توسط انسان، آزمایش کردند.

یافته های عمده
برخلاف مدل‌های قبلی که فعالیت مغز را فقط به کلمات از پیش تعیین شده طبقه‌بندی می‌کردند، BrainLLM جملاتی با پایان باز ایجاد می‌کند و آن را به گامی بزرگ به سوی ارتباط عملی مغز به متن تبدیل می‌کند.

محققان نشان دادند که BrainLLM در مقایسه با روش‌های سنتی مبتنی بر طبقه‌بندی، به طور قابل‌توجهی در تولید زبانی که با فعالیت مغز همخوانی دارد، بهتر عمل می‌کند. به طور خاص، هنگام پردازش ضبط‌های مغزی، متن منسجم‌تر و مناسب‌تری تولید کرد. این مدل زمانی که با مجموعه داده‌های بزرگ‌تر آموزش داده شد، بالاترین دقت را نشان داد، که نشان می‌دهد افزایش میزان داده‌های مغزی می‌تواند عملکرد را بیشتر افزایش دهد.

یکی از پیشرفت های کلیدی، توانایی BrainLLM برای تولید متن پیوسته به جای انتخاب از گزینه های از پیش تعریف شده بود. برخلاف روش‌های قبلی که بر طبقه‌بندی تکیه می‌کردند – جایی که سیستم از میان مجموعه‌ای محدود از کلمات انتخاب می‌کرد – BrainLLM می‌توانست جملات باز را بر اساس ورودی مغز تولید کند. این نشان دهنده یک پیشرفت بزرگ به سمت Real-wo بود.