Czy sztuczna inteligencja może naśladować ludzkie syntetyczne myślenie?

streszczenie: Naukowcy rozwinęli możliwości sieci neuronowych w zakresie dokonywania syntetycznych uogólnień na wzór sposobu, w jaki ludzie pojmują i rozwijają nowe koncepcje.

Ta nowa technika, zwana metauczeniem się na rzecz syntezy (MLC), podważa pojawiające się od kilkudziesięciu lat wątpliwości dotyczące mocy sztucznych sieci neuronowych. MLC obejmuje szkolenie sieci poprzez przypadkowe uczenie się w celu poprawy umiejętności generalizacji.

Co ciekawe, w zakresie zadań MLC dorównuje, a nawet przewyższa możliwości człowieka.

Kluczowe fakty:

1. Technologia MLC koncentruje się na przekrojowym uczeniu sieci neuronowych, umożliwiając im lepsze uogólnianie nowych koncepcji.
2. W zadaniach obejmujących nowatorskie kombinacje słów MLC radziło sobie na równi lub lepiej od uczestników ludzkich.
3. Pomimo postępu w popularnych modelach, takich jak ChatGPT i GPT-4, występują wyzwania związane z tego rodzaju uogólnieniem składni, ale MLC może być rozwiązaniem zwiększającym ich możliwości.

źródło: Uniwersytet w Nowym Jorku

Ludzie mają zdolność uczenia się nowego pojęcia, a następnie natychmiastowego wykorzystania go do zrozumienia powiązanych zastosowań tego pojęcia – gdy dzieci nauczą się „przeskakiwać”, rozumieją, co to znaczy „przeskakiwać dwa razy po pokoju” lub „przeskakiwać na rękach” .” wyższy.”

Ale czy maszyny są zdolne do takiego myślenia? Pod koniec lat 80. Jerry Fodor i Zenon Pylyshyn, filozofowie i kognitywiści, postawili hipotezę, że sztuczne sieci neuronowe – silniki napędzające sztuczną inteligencję i uczenie maszynowe – nie są w stanie tworzyć takich połączeń, zwanych „syntetycznymi uogólnieniami”.

Jednak przez dziesięciolecia naukowcy pracowali nad opracowaniem sposobów wykorzystania tej zdolności w sieciach neuronowych i pokrewnych technologiach, ale z różnym powodzeniem, podtrzymując w ten sposób trwającą dziesięciolecia debatę.

Naukowcy z Uniwersytetu Nowojorskiego i hiszpańskiego Uniwersytetu Pompeu Fabra opracowali technologię opisaną w czasopiśmie Natura– Co zwiększa zdolność tych narzędzi, takich jak ChatGPT, do dokonywania syntetycznych uogólnień.

Technika ta, metauczenie się na rzecz syntezy (MLC), przewyższa istniejące metody i dorównuje wydajności człowieka, a w niektórych przypadkach jest od niej lepsza.

MLC koncentruje się na szkoleniu sieci neuronowych — silników obsługujących ChatGPT i pokrewnych technikach rozpoznawania mowy i przetwarzania języka naturalnego — aby dzięki praktyce lepiej radziły sobie z generalizacją składni.

Twórcy istniejących systemów, w tym dużych modeli językowych, mieli nadzieję, że uogólnienie kompozycji wyłoni się ze standardowych metod szkoleniowych lub opracowali architektury specjalnego przeznaczenia, aby osiągnąć te możliwości. Autorzy zauważają natomiast, że MLC pokazuje, jak wyraźnie ćwiczenie tych umiejętności pozwala systemom uwolnić nowe moce.

„Od 35 lat badacze zajmujący się kognitywistyką, sztuczną inteligencją, lingwistyką i filozofią debatują, czy sieci neuronowe mogą osiągnąć systematyczne uogólnianie na poziomie człowieka” – mówi Brenden Lake, adiunkt w Center for Data Science i Wydziale Psychologii i psychologii na Uniwersytecie Nowojorskim. Jeden z autorów artykułu.

„Po raz pierwszy pokazaliśmy, że ogólna sieć neuronowa może naśladować lub przewyższać ludzkie systematyczne uogólnienia w bezpośrednich porównaniach”.

Aby zbadać możliwość usprawnienia uczenia się kombinatorycznego w sieciach neuronowych, badacze stworzyli MLC, nową procedurę uczenia się, w ramach której sieć neuronowa jest stale aktualizowana w celu doskonalenia swoich umiejętności w serii pętli.

W jednym z odcinków MLC otrzymuje nowe słowo i jest proszony o użycie go składniowo – na przykład wzięcie słowa „skok”, a następnie utworzenie nowych kombinacji słów, takich jak „skocz dwa razy” lub „dwa razy przeskocz w prawo”. Następnie MLC otrzymuje nowy odcinek zawierający inne słowo itd., za każdym razem doskonaląc umiejętności kompozytorskie sieci.

Aby przetestować skuteczność MLC, Lake, współdyrektor Inicjatywy Minds, Brains, and Machines na Uniwersytecie Nowojorskim, oraz Marco Baroni, badacz w Katalońskim Instytucie Zaawansowanych Badań i Studiów oraz profesor na Wydziale Tłumaczeń i Lingwistyki w Pompeu Fabra, uniwersytet przeprowadził serię eksperymentów z udziałem ludzi, które były identyczne z zadaniami wykonywanymi przez MLC.

Ponadto zamiast uczyć się znaczenia rzeczywistych słów – terminów, które ludzie już znają – musieli także nauczyć się znaczenia nonsensownych terminów (np. „zup” i „dax”) zgodnie z definicją badaczy i nauczyć się je stosować . Na różne sposoby.

MLC działał podobnie jak ludzie, a w niektórych przypadkach lepiej niż jego ludzkie odpowiedniki. MLC i ludzie również osiągnęli lepsze wyniki od ChatGPT i GPT-4, które pomimo imponujących ogólnych możliwości wykazywały trudności w tym zadaniu edukacyjnym.

„Duże modele językowe, takie jak ChatGPT, nadal cierpią z powodu generalizacji składni, chociaż w ostatnich latach uległy poprawie” – mówi Baroni, członek grupy badawczej Lingwistyki Obliczeniowej i Teorii Lingwistyki na Uniwersytecie Pompeu Fabra.

„Wierzymy jednak, że MLC może poprawić umiejętności kompozytorskie dużych modeli językowych”.

O nowościach dotyczących badań nad sztuczną inteligencją

autor: Jamesa Devitta
źródło: Uniwersytet w Nowym Jorku
Komunikacja: James Devitt – Uniwersytet Nowojorski
zdjęcie: Zdjęcie przypisane Neuroscience News

Oryginalne wyszukiwanie: Otwarty dostęp.
„Systematyczne uogólnianie na wzór człowieka za pośrednictwem metauczącej się sieci neuronowej„Brendan Lake i in. Natura

podsumowanie

Systematyczne uogólnianie na wzór człowieka za pośrednictwem metauczącej się sieci neuronowej

Siła ludzkiego języka i myśli wynika z systematycznej syntezy, to znaczy algebraicznej zdolności rozumienia i tworzenia nowych kombinacji znanych składników.

Fodor i Pylyshyn słynnie argumentowali, że sztucznym sieciom neuronowym brakuje tej zdolności i dlatego nie są realnymi modelami umysłu. Od tego czasu sieci neuronowe znacznie się rozwinęły, lecz wyzwanie metodologiczne pozostaje nadal aktualne.

W tym przypadku skutecznie stawiamy czoła wyzwaniu, przed którym stoją Fodor i Pylyshyn, dostarczając dowodów na to, że sieci neuronowe mogą osiągnąć podejście podobne do ludzkiego, jeśli zoptymalizują swoje umiejętności syntezy.

Aby to osiągnąć, wprowadzamy podejście do kompozycyjności oparte na metauczeniu się (MLC), aby poprowadzić szkolenie przez dynamiczny strumień zadań kompozycyjnych. Aby porównać ludzi i maszyny, przeprowadziliśmy eksperymenty behawioralne na ludziach, stosując paradygmat dydaktycznego uczenia się.

Po rozważeniu siedmiu różnych modeli odkryliśmy, że w przeciwieństwie do całkowicie systematycznych, ale ściśle probabilistycznych modeli symbolicznych i całkowicie elastycznych, ale nieregularnych sieci neuronowych, tylko MLC osiąga zarówno systematyczność, jak i elastyczność potrzebną do uogólniania na wzór człowieka. MLC rozwija także umiejętności syntezy na potrzeby systemów uczenia maszynowego w kilku testach porównawczych systematycznego uogólniania.

Nasze wyniki pokazują, jak standardowa architektura sieci neuronowej, zoptymalizowana pod kątem umiejętności syntezy, może naśladować ludzkie systematyczne uogólnianie w bezpośrednich porównaniach.