ÚJTECHKOR... / 2024. május 29., szerda

A korlátolt LLM - ChatGPT és barátai-- Egy anti-AI hype cikk

A neten nemrég megjelentek egyre másra a ChatGPT 4.o bemutatók és én nem voltam hajlandó megnézni őket, hogy ezekkel fárasszam magam. De egy idő után annyi cikket és influenszer címeket láttam miszerint az emberiség készüljön a kihalásra, a programozók meg arra, hogy hamarosan semmi szükség se lesz rájuk, hogy utánna kellett járnom... mik is a korlátai.

Ez is ilyen több ember anyaga. Van pl. valaki aki mondhatni azzal szórakozik, hogy bemutatja a Twitter csatornáján micsoda mértékben korlátolt ez a legújabb ChatGPT rengeteg konkrét példán keresztül.

Viszont ha ezeket nézed még nem lesz egyből nyilvánvaló feltétlenül miért mond csődött a ChatGPT.

Voltak mások akik viszont belementek elég részletesen a témába és szeretnék én is írni a LLM korlátairól... Igen LLM mert, igazából amit ma AI-nak nevezünk nem AI, hanem LMM ( Large Language Model - Nagy nyelvi modell és van egy sokkal hosszabb neve is ) és ami a korlátoltságát illeti... Ez már csak azért is érdekes, mert a legutóbbi ChatGPT 4.o-nál az "o" - elmagyarázták nekünk - az "omni-ra" utal, ami pedig azt sejteti veled, hogy a ChatGPT 4 már továbbfejleszthetetlen.

Amúgy azért is ironikus is ez a név, mert valaki aki a korlátaival foglalkozott, pont arra jutott, hogy könnyen lehet el is értük a csúcsot ezzel a módszerrel... De mindent sorrendben, később nyilvánvalóvá válik miért is gondolja így.

Kezdjük is akkor...

Képzeld el, hogy ha most készítenél egy képet kezedben egy jól látható kólásüveggel és megkérdeznéd a ChatGPT-t, hogy mi ez a kezedben, helyes választ kapnál. Ha azt mondanád neki, hogy tévedtél ChatGPT, ez igazából egy gyógyszeres doboz, akkor a ChatGPT kijavítana, hogy nem, ez bizony kólásüveg. Erre elforgatod az üveget és reméled, hogy egy másik szögből mutatással át tudod verni... de nem megy.

Wow, varázslat, a ChatGPT valóban gondolkozik már... Igazából nem.

De akkor hogy is működik a dolog?

Leegyszerűsítve a választ ... a ChatGPT-t telinyomják rengeteg adattal a kólásüvegről.

Egyszerű példával élve... Van mondjuk 10 adatbevitel arról, hogy hogyan néz ki egy macska. Ha te 11.-ként egy kutya képét mutatnád neki és azt mondanád neki ez egy macska, a korábbi példák miatt tudná, hogy ez nem igaz. Persze igazából ahhoz, hogy biztosan tudja, hogy az nem macska sokkal több helyes példa kell róla, hogy hogyan néz ki egy macska.

A másik példámra visszatérve, hogy akkor is tudja, hogy igazából kólásüveg van a kezedben ha elforgatod, az azért van, mert rengeteg képe van arról, hogy így-úgy elforgatják a kólásüveget.

Ezt nagyon nehéz lenne igazából leprogramozni vagy írni egy igazi AI-t, ami felfogja mint mondjuk te, egy valódi értelmes ember, hogy az elforgatott kólásüveg is kólásüveg.

És a korlátok itt kezdődnek...

Képzeld el, hogy a kólásüvegről van rengeteg képed különböző poziciókból. Egyrészről felmerül, hogy konkrétan mennyi képre van szükség, hogy biztos legyen a felismerés. Leegyszerűsítve... eldöntöd az üveget; hány képet kell készíteni és a ChatGPT adatbázisba rakni arról, ahogy döl az üveg?

A másik ami ide kapcsolódik és nagyon fontos... a ritka esetek problémája.

Ezt úgy képzeld el a kólásüveg példával, hogy mondjuk a ChatGPT adatbázisába felkerül mondjuk rengeteg reklám anyag a kóláról amiben így-úgy döntik, de azért mindig jól látható marad; de mi van ha valaki képes egy olyan szögből készült képet készíteni amit eddig senki...

Ilyen esetekben a ChatGPT csődött mond, nem tudja mi az, de úgy kell tünnie, hogy nem, nem mondott csődött...

Te emberként meg tudnád mondani, hogy ez egy kólásüveg, vagy beismernéd, hogy nem tudod mi az, vagy azt mondanád, hogy rengeteg minden lehet, ennyiből nem lehet megmondani.

Ez a probléma és az erre kitalált "megoldás" a ChatGPT-nél előjön teljesen más feladatoknál is, például szöveges feladatoknál, vagy színeknél.

És a színekkel kapcsolatos példával mutatnám be, hogyan oldja meg a ChatGPT, hogy nem tudja elmondani neked az igazságot, de megpróbál olyannak tűnni mint aki nagyon okos és tudja a választ.

Van mondjuk egy váza. Ha ránézel erre a vázára, akkor távolról azt mondanád rá, hogy nagyjából fehér, de az igazság az, hogy közelről látszik, hogy olyan barnás is, meg vannak benne egyéb szin pontocskák.

Ha egy LLM-t kérdeznéd alapból kiakadna a válaszadástól, mert felsorolná a színek között az utolsó aprócska pöttyöt is, amit te észre se veszel, csak ha nagyon közelről nézed a tárgyat.

És akkor a ChartGPT kitalálta, azt, hogy elég a megközelítő jó válasz és ha lát egy ilyen vázát ahol a fehér szín dominál, akkor egyszerűen mondja azt, hogy a váza fehér.

Ez a hozzáállás konkrét példánál mondhatod, hogy nagyon is jó.

Csakhogy rengeteg más területen óriási probléma.

És pl. a korábban emlegetett Twiterre kirakott renteget példa is erről tanuskodik:

A ChatGDP még ha nem is tudja megoldani a feladatot, akkor is ad neked egy megoldást, nem monjda azt, hogy nem tudja. És mivel igazából nem gondolkodik, a megoldása elképesztően rossz lehet.

Ez a "nagyjából, megközelítőleg legyen jó" nagyon csődött tud mondani.

Például a Twitterre felrakott példák egyikénél adnak szöveges feladatot a ChatGPT-nek, hogy oldja meg bizonyos paraméterekkel. Pl. hogy milyen szóval kezdődjön és végződjön a mondat, és hány szóból álljon és hogy csak egyszer használhat számot a mondatban.

A ChatGPT ad neked egy megoldást, de rosszat. Mire mondod neki, hogy héj ChatGPT a megoldásod rossz. Erre a ChatGPT azt mondja, hogy óóó már tudja miért az és ad egy másikat megoldást... ami másként szegi meg a neki kiosztott szabályokat, vagyis most is rossz megoldást ad. Erre az említett példában megint megmondják, hogy rossz a megoldásod ChatGPT, mire a ChatGPT válaszol hogy ááá már tudja miért, itt a jó megoldás... ami szintén rossz.

Ez azért van, mert hogy "legyen jó a megközelítően jó megoldás", inkább mint hogy becsődöljön a fogyasztó előtt azzal, hogy azt mondja nem tudja, vagy rengeteg minden felsorolásába belekezd.

És az egyik ezt magyarázó videóban meg van említve, hogy mennyire szeretnék, ha az orvosok munkáját segítené ez a diagnosztikában, de egy orvos kerek-perec megmondja: Ha ez lesz, akkor emberek fognak meghalni.

Ugyanis itt is úgy tud teljesíteni a ChatGPT, hogy betáplálnak neki adatokat. Viszont ha találkozna egy ritka esettel a ChatGPT, akkor nem azt mondaná, hogy itt valami fura dolog van, nem értem mi van, hanem azt mondaná, hogy most is tudja mi ez; és mond valamit amire legjobban hasonlít szerinte a dolog. Amit totál fals lehet.

Egy másik példa erre a utazások megszervezése. Megadsz a ChatGPT-nek paramétereket, hogy hogyan szeretnél eljutni az úticélodhoz, de aztán ha vakon bízol benne pofáraeshetsz, mert több mint valószínű nem úgy oldja meg a feladatot ahogy te kérted, viszont nem fogja neked azt mondani, hogy rosszul csináltam, máshogy oldottam meg, hanem úgy perzentálja, hogy itt van, teljesült amit kértél. Egy kutató csapat több AI-t tesztelt ilyen szempontból és a ChatGPT teljesített a legjobban közülük, úgy hogy 1000 megtervezett útból 6-nál tartotta be csak minden neki adott utasítást... 0,6%.

De ha megnézed a legújabb bemutató videókat is, ott is van egy olyan hiba, hogy nem teljesíti elsőre az utasítást az AI, vagy rosszul teszi, pedig elsőre is megkapott minden paramétert, hogyan kellene megoldania.

 

És az egyik fő problematika, hogy vajon elértük-e lényegében a csúcsott ezzel a technológival, vagyis inkább mekkora befektetés kellene ahhoz, hogy javuljon jelentősen.

Ez a módszer rengeteg adat betáplálását követeli meg, hogy pontos legyen. Viszont mondjuk ahhoz, hogy 80%-ban pontos legyen lehet elég y adat. Ha viszont azt akarod elérni, hogy legyen 90%-ban pontos, akkor lehet ahhoz az kell, hogy legyen y szorozva 10.000-rel adat. Ami viszont egyrészről hatalmas befektetést követel meg, nagyon kevés javulásért és... sohase lesz tökéletes a dolog. Bár arról, hogy pontosan mennyi adat kell ahhoz, hogy nagy javulás történjen még megy a vita.

Viszont itt vannak még más problémák is... Pl. az egyenlőtlen felismerés.

Példaként mondjuk... macskás képekből nincs hiány, azokról annyi kép áll rendlekezésre, hogy nagyon nagy pontossággal meg tudná mondani a ChatGPT, hogy azok macskák. De ha mondjuk egy ritka állatról van szó, ami valamennyire hasonlít másra... nagy eséllyel tévedni fog, úgy hogy neked magabiztosan állít valami rosszat.

Aztán ott van még a szándékos manipuláció esete is. Ahhoz, hogy helyes választ adjon a ChatGPT, az kell, hogy helyes adatokat vigyenek be neki nagy mennyiségben. Ezt kívülről és belülről is lehet korrumpálni. Belülről mint amikor ideólógiai okok miatt nem elfogadható az igazából helyes válasz, vagy kivűlről valakik nagy erőfeszítése, hogy annyi rossz visszajelzést kapjon, hogy a rossz megoldást gondolja majd jónak.

Aztán felmerül az a probléma is, hogyha majd az internetes adatok nagy részét majd AI-k generálják, akkor nem fog tanulni tovább. Bár ez még odébb lesz.

Az is érdekes, hogy azok akik eddig féltek az AI-tól, most milliárdokat ölnek bele, vagy egyenesen sajátot csinálnának. Most nemrég volt hír, hogy pl. Elon Musk is akar saját AI-t.

És annál csak rosszabbak lesznek ezek az AI-k minél többen csinálnak újabbakat, hisz ezek az AI-k, hogy jól teljesítsenek viszonylag nagy adattömegre van szükségük; viszont ha lesz a Microsoftnak, Elonnak, Zuckerbergnek, Google-nek és a többieknek is külön AI-juk, akkor több mint valószínű meg fogják tiltani a másik AI-knak, hogy a náluk már meglevő adatokat használhassák. Vagyis ahelyett, hogy lenne egy AI ami mindenhez hozzáfér majd, lesznek sok AI-k amik nem férnek hozzá egymás adataihoz, ami miatt a kedves felhasználók gyatrább élményben részesülnek majd.

De ne csak a ChatGPT-ről beszéljünk, nemrég a Google is bemutatta a legújabb AI fejlesztését és... igazi nagy felsülés lett és jól megmutatta a fentebb megvitatott problémákat.

Ez Magyarországra is eljutott részben:

"A Google szerint rakjunk ragasztót a pizzánk szószába ahhoz, hogy az igazán jó legyen"

A magyar Google-nél még nincs, de az USA-ba már van AI alapú Google kereső és sokan szeretnék kikapcsolni, de kikapcsolhatatlanul ott van legelől és nagyon rosszul működik. Pár példa a cikkből:

"A Google keresőjének múlt héten világszintre kiterjesztett mesterséges intelligencián alapuló bővítése úgy tűnik, hogy nem csak a szabad és ingyenes web, de emberek kimúlását is eredményezheti. Az új szolgáltatás ugyanis a jelek szerint olyan őrült és életveszélyes tanácsokat ad, mint hogy pl. rakjunk ragasztót a pizzánk szószába, ha úgy találjuk, hogy arról túl könnyen lecsúszik a sajt."

"Bár a Google azt állítja, hogy az újonnan bevezetett "AI Overviews" funkció - ami a mesterséges intelligencia segítségével maga próbál átfogó választ adni a webezők által feltett kérdésekre - magas színvonalú információkat nyújt a felhasználóknak, valójában - mint a példa is mutatja - ez nem igaz. Ennek oka, hogy a manapság mesterséges intelligenciának nevezett technológiák valójában kicsit sem intelligensek, és hogy a nyílt webről tanulnak, ahol bizony sokszor irdatlan sületlenségek jelennek meg."

"Az AI Overviews egyébként más kérdésekre is néha oltári marhaságokat ad válaszul - pl. volt, akinek azt állította, hogy korábban egy kutya is játszott az amerikai nemzeti kosárlabdaligában, az NBA-ban. Hasonló hibáktól amúgy minden azonos technológián, ún. nagy nyelvi modellen (LLM) alapuló mesterséges intelligencia szenved - de a Google keresőjénél azért különösen kellemetlen, illetve veszélyes a dolog, mert azt minden más hasonló terméknél többen használják."

És amúgy ezeken kívül még voltak durva példák...

És a végére még ezt berakom:

"Kőbuták fognak maradni a mesterséges intelligenciák - mondja a Facebook MI szakértője"

"A Meta AI-vezetője szerint az olyan ún. nagy nyelvi modellek (LLM-ek), amelyek a ma népszerű generatív MI-s termékeket - mint például a ChatGPT-t is - működtetik, soha nem lesznek képesek úgy gondolkodni és tervezni, mint az emberek. Ebből eredően pedig szerinte bármeddig is barkácsolgat majd rajtuk az OpenAI, a Microsoft vagy akár maga a Facebook is, sosem fog belőlük a korábban vázolt szkenárióban szereplő ún. emberfeletti mesterséges szuperintelligencia - vagy akár csak egy általános mesterséges intelligencia (AGI) is - kifejlődni."

"Az LLM-ek ugyanis csak "nagyon korlátozottan értik a logikát... nem értik a fizikai világot, nem rendelkeznek tartós memóriával, nem tudnak a fogalom bármely ésszerű definíciója szerint gondolkodni és nem tudnak tervezni" sem - tehát semmi intelligens nincs bennük a szó hagyományos értelmében."

"Elmondása szerint ráadásul az LLM-ek csakis akkor tudnak pontosan válaszolni a kérésekre, ha a megfelelő tanulási adatokkal etetik őket - ez azonban már ma is problémát jelent, és a jövőben sem várható, hogy javul a helyzet ezen a téren. Ráadásul pont azért, mert nem tudnak valójában gondolkodni, a nagy nyelvi modellek, "eredendően nem biztonságosak", és azok is fognak maradni."

És ez utóbbi miatt a komoly cégek nem is használhatják majd, legalábbis nem emberi felügylet nélkül. A másik meg... ha techcégek sok milliárdból építik fel ennek az infrastuktúrát... na az egy szép pénzügyi zsákutca lesz, mikor kiderül, hogy az emberek nem kérnek ebből, nem fognak érte fizetni.

"Ebben beleértendő az is, hogy mindig ott lesz a kockázat bennük, hogy nem helyes vagy kitalált válaszokat adnak - és az is, hogy áthágják a nekik megadott szabályokat és kereteket (de nem azért, mert ezt akarják és mert tudattal rendelkeznek, hanem mert úgy manipulálják őket és erre utasítják őket - a szerk.)."

Ez nem idő és pénz kérdése, ez a technológia sohase lesz igazi AI, ahhoz új felfedezés kell.

Tovább az eredeti oldalra!