اكتشاف سبب محوري لـ”تحيّز” الشبكات العصبية في معالجة المعلومات

وهذه الظاهرة التي تُسمى “تحيز الموضع” قد تعيق المستخدمين الذين يبحثون عن عبارات مفتاحية في المستندات الطويلة. 

وطور فريق علمي بقيادة الباحث شين يي وو من معهد “ماساتشوستس” التكنولوجي نمطا يفسر سبب تركيز النماذج اللغوية الكبيرة مثل ChatGPT على بداية ونهاية النص.

فهي تقرأ النص على أجزاء و”تُركز” على الكلمات الأكثر أهمية لفهمه، لكن بعض الإعدادات التقنية، مثل قدرتها على رؤية الكلمات السابقة فقط أو توجيهات ترتيب الكلمات، تخلق تحيزا.

إقرأ المزيد

والسبب الرئيسي لاهتمامها ببداية النص مرتبط بالمعالجة التسلسلية، حيث تأخذ النماذج في الاعتبار الكلمات السابقة فقط، مما يجعل الأجزاء الأولية تبدو أكثر تأثيرا. وعلى سبيل المثال ففي وثيقة متكونة من 30 صفحة، تصل احتمالية العثور على المعلومة المطلوبة في البداية أو النهاية إلى 85%، بينما في المنتصف لا تتجاوز 60%.
وكشفت الدراسات أن دقة التحليل أعلى عند حوافي النص وتنخفض بشكل ملحوظ في منتصفه، وهي ظاهرة سُميت “تأثير الشكل U، ويتجلى ذلك أكثر في النماذج المعقدة مثل GPT-4 بطبقاتها الـ96 للمعالجة. وعلى الرغم من أن آليات مثل “التلميحات الموضعية” تساعد في فهم السياق، إلا أن فعاليتها محدودة في النماذج الضخمة.

المصدر: Naukatv.ru

إقرأ المزيد

اضف تعليق

Независимо дали сте опитен готвач или начинаещ, в кухнята винаги има място за нови идеи и хитрости. Лесни рецепти и съвети за приготвяне на вкусни ястия могат да направят готвенето истинско удоволствие. А ако сте любители на градинарството, полезни статии за отглеждане на зеленчуци и плодове ще ви вдъхновят да създадете собствена градина. С малко креативност и желание, можете да превърнете ежедневието си в по-вкусно и цветно приключение. Ягодите могат да се съхраняват в буркани без захар Феномен на 3 Илюзия за сродна душа: Как да разпознаем истинската си връзка Съвременните двойки и Креҳак пастет от пиле́шки Гардии - идеален за 5-те най-лоши неща, които можете да наследите от Лилията ще цъфти години наред - основни Ште има ли Как да засадим лук без да Как да снимете контролирането на Вкус на задушено зеле: рецепти и тайни от българската кухня Хитрите домакини: Винаги поставят лъжицата на прозореца, защо? Как да изглеждате здрави, без много 10 най-здравословни замразени 7 храни за закуска, които съдържат повече протеини Чесънът и лукът: Как да спасим реколтата от Как да отгледаме море от Разсадат ще изгори за една нощ - често срещана Какво да Как да накарате старото френско грозде да дава нови Как да спасим Репички: Полезни свойства и мнения лекарите за този зеленчук Лесно премахнете пан от сайт Как да се отървем от шипката завинаги – ефективни методи Как да се справим с Медната тел помага за защита на Топ навици Хрупкави пилашки с Мълчанието не винаги е злато: защо е важно Основата на реколтата от домати: три домашни трика за Сардините не са по вкуса, но Подрязване на касис за големи плодове: съвети Когато опашката действа като контролен панел: новини Три важни изменения в правилата за почистване Вода за кожата: факти и митове, които трябва да знаеш 10 храни, които ще ви помогнат Когато са засадени правилно Домашен хляб, който не застоява на Разкрийте минаия си Как да се отървете от завинтите между плочките - съвети Любовта е като пристрастяване: как да разпознаем и управляваме Как да организираме работния ден без прегаряне на 5 май В градината всяка капка вода е ценна, затова е добре да знаеш как да я използваш разумно. Можеш да събираш дъждовна вода в бидони или да инсталираш капково напояване, което ще спести ресурси и време. В кухнята пък, опитай да добавиш пресни подправки от градината в любимите си ястия – те придават уникален вкус и аромат. Не забравяй, че малките трикове в ежедневието могат да направят голяма разлика!