Dělá odhalení a protokolování těchto generativních chybných a halucinačních výstupů AI ChatGPT k něčemu dobré, ptá se etiky a zákona o umělé inteligenci

Jste v tajemství.

Ano, v zákulisí se tajně děje něco, o čem byste mohli chtít vědět.

V dnešním sloupci se budu zabývat nedávným podnětem ke kompilaci údajných chyb a dalších neduhů spojených s výstupem esejí z aplikace AI známé jako ChatGPT. Tato konkrétní aplikace využívá typ AI tzv Generativní AI. Pravděpodobně jste slyšeli nebo viděli poutavé titulky o generativní umělé inteligenci a ChatGPT. Tato konkrétní aplikace AI a zdánlivě úžasné schopnosti týkající se tohoto typu AI jsou nadšené.

Jak budu za chvíli pokrývat, někteří jsou pevně přesvědčeni, že musíme sestavit seznam toho, jaké druhy chyb nebo chyb může aplikace AI vytvořit, když pro vás vygeneruje esej. Jiní naznačují, že ačkoli je představa takového seznamu obdivuhodná, je to cvičení v marnosti a přinese jen velmi malé ovoce.

Budeme zkoumat obě strany té zahořklé debaty.

Nejprve se ujistěte, že jsme všichni na stejné stránce o tom, z čeho se skládá generativní AI a také o čem je ChatGPT.

ChatGPT je univerzální interaktivní konverzační systém s umělou inteligencí, v podstatě zdánlivě neškodný obecný chatbot, nicméně je aktivně a dychtivě používán lidmi způsoby, které mnohé zcela zaskočí. Vše, co musíte udělat, abyste mohli používat tento typ AI, je zadat výzvu a aplikace AI vám vygeneruje esej, která se pokusí na vaši výzvu odpovědět.

Bohužel to může být použito poněkud neetickými nebo nevyzpytatelnými způsoby. Zvláště znepokojující je, že studenti mohou používat generativní aplikaci AI k vytváření zadaných esejí pro ně, a to pouhým zadáním věty nebo dvou, aby aplikaci nasměrovali správným směrem. Někteří si stěžují, že to znamená, že se studenti rozhodnou podvádět při psaní esejí mimo třídu. Učitelé se snaží přijít na to, co dělat, viz moje analýza a doporučení na odkaz zde.

Navzdory neustálému hluku chvályhodné chvály pro ChatGPT existuje méně známá obava vyjádřená především zasvěcenci AI, že existují některé pozoruhodné problémy a výčitky, kterých by se lidé měli obávat. Jednou zásadní nevýhodou je, že eseje produkované touto aplikací AI mohou obsahovat různé nepravdy, včetně zjevně nepravdivých faktů, faktů, které jsou zavádějící zobrazeny, a zjevných faktů, které jsou zcela vymyšlené. Tyto vyrobené aspekty jsou často označovány jako forma AI halucinace, fráze, která se mi nelíbí, ale zdá se, že i tak získává na popularitě (podrobné vysvětlení, proč je to mizerná a nevhodná terminologie, najdete v mém příspěvku na odkaz zde).

Než se pustíme do dění na toto téma, rád bych objasnil jeden důležitý aspekt.

Na sociálních sítích se objevilo několik šílených přehnaných tvrzení Generativní AI tvrdí, že tato nejnovější verze AI je ve skutečnosti vnímající AI (ne, mýlí se!). Ti, kdo se zabývají etikou a právem umělé inteligence, mají z tohoto narůstajícího trendu rozšířených nároků značné obavy. Můžete zdvořile říci, že někteří lidé přeceňují, co dnešní umělá inteligence vlastně umí. Předpokládají, že umělá inteligence má schopnosti, kterých jsme dosud nebyli schopni dosáhnout. To je smůla. A co je ještě horší, mohou dovolit sobě i ostatním, aby se dostali do strašných situací, protože předpokládají, že AI bude vnímavá nebo podobná člověku, pokud jde o schopnost jednat.

Neantropomorfizovat AI.

Pokud tak učiníte, dostanete se do pasti lepkavé a zarputilé spoléhání se na očekávání, že AI bude dělat věci, které není schopna provést. Jak již bylo řečeno, nejnovější generativní AI je relativně působivá na to, co dokáže. Uvědomte si však, že existují významná omezení, která byste měli mít neustále na paměti při používání jakékoli generativní aplikace AI.

Pokud vás zajímá rychle se rozšiřující rozruch kolem ChatGPT a generativní umělé inteligence, připravil jsem ve svém sloupci sérii zaměřenou na informace, které by pro vás mohly být užitečné. Zde je pohled pro případ, že by vás některé z těchto témat zaujalo:

• 1) Předpovědi generativních pokroků AI přicházejí. Pokud chcete vědět, co se pravděpodobně objeví o AI v průběhu roku 2023 a dále, včetně nadcházejících pokroků v generativní AI a ChatGPT, budete si chtít přečíst můj úplný seznam předpovědí pro rok 2023 na adrese odkaz zde.
• 2) Generativní AI a rady pro duševní zdraví. Rozhodl jsem se zkontrolovat, jak se generativní AI a ChatGPT používají pro poradenství v oblasti duševního zdraví, což je problematický trend, podle mé cílené analýzy na odkaz zde.
• 3) Kontextové a generativní použití AI. Udělal jsem také sezónně ochucený průzkum kontextu souvisejícího se Santou zahrnující ChatGPT a generativní AI na odkaz zde.
• 4) Podvodníci využívající generativní umělou inteligenci. Zlověstnou poznámkou je, že někteří podvodníci přišli na to, jak používat generativní umělou inteligenci a ChatGPT k provinění, včetně generování podvodných e-mailů a dokonce vytváření programovacího kódu pro malware, viz moje analýza na odkaz zde.
• 5) Začátečnické chyby při používání generativní umělé inteligence. Mnoho lidí jak přestřeluje, tak překvapivě podstřeluje, co dokáže generativní AI a ChatGPT, takže jsem se podíval zejména na podstřelení, které mívají nováčci AI, viz diskuze na odkaz zde.
• 6) Zvládání generativních výzev AI a halucinací AI. Popisuji špičkový přístup k používání doplňků AI k řešení různých problémů spojených se snahou zadávat vhodné výzvy do generativní AI a navíc existují další doplňky AI pro detekci takzvaných AI halucinovaných výstupů a nepravd, např. kryté na odkaz zde.
• 7) Odhalení tvrzení Bonehead o odhalování generativních esejí vytvořených umělou inteligencí. Existuje zavádějící zlatá horečka aplikací umělé inteligence, které prohlašují, že jsou schopny zjistit, zda daný esej byl vytvořen člověkem nebo vytvořený umělou inteligencí. Celkově je to zavádějící a v některých případech zaostalé a neudržitelné tvrzení, viz moje pokrytí na odkaz zde.
• 8) Hraní rolí prostřednictvím generativní umělé inteligence může představovat nevýhody duševního zdraví. Někteří používají generativní AI, jako je ChatGPT, k hraní rolí, přičemž aplikace AI reaguje na člověka, jako by existoval ve světě fantazie nebo v jiném vymyšleném prostředí. To by mohlo mít dopad na duševní zdraví, viz odkaz zde.

Pojďme si nyní probrat podstatu generativní umělé inteligence a ChatGPT, abyste věděli, o jaké základy jde. Poté budeme připraveni skočit do průzkumné analýzy nepravd, které mohou tyto aplikace AI potenciálně generovat. Uvedu několik příkladů využití ChatGPT, které vám pomohou hmatatelně pochopit povahu toho, co tento typ generativní umělé inteligence produkuje.

Otevření plechovky červů na generativní umělé inteligenci

Jsme připraveni se ponořit do některých podrobností o AI.

Pokud jste již velmi dobře obeznámeni s tématem generativní umělé inteligence a ChatGPT, můžete se rozhodnout krátce prolétnout mé body a pokračovat v další části této diskuse. Věřím, že pro všechny ostatní by vám toto vysvětlení mohlo být užitečné.

Stručně řečeno, generativní umělá inteligence je zvláštní typ umělé inteligence, který skládá text, jako by byl napsán lidskou rukou a myslí. Vše, co musíte udělat, je zadat výzvu, například větu jako „Řekni mi o Abrahamu Lincolnovi“, a generativní AI vám poskytne esej o Lincolnovi. To je běžně klasifikováno jako generativní AI, která funguje text-to-text nebo to někteří raději nazývají převod textu na esej výstup. Možná jste slyšeli o dalších režimech generativní umělé inteligence, jako je převod textu na umění a převod textu na video.

Vaše první myšlenka by mohla být, že to nevypadá jako tak velký problém, pokud jde o vytváření esejů. Můžete snadno vyhledávat online na internetu a snadno najít tuny a tuny esejů o prezidentu Lincolnovi. Nakopnutím v případě generativní umělé inteligence je to, že vytvořená esej je relativně unikátní a poskytuje spíše originální kompozici než napodobeninu. Pokud byste se pokusili najít esej vytvořenou umělou inteligencí někde online, je nepravděpodobné, že byste ji objevili.

Generativní umělá inteligence je předem vycvičená a využívá složitou matematickou a výpočetní formulaci, která byla vytvořena zkoumáním vzorců psaných slov a příběhů na webu. V důsledku zkoumání tisíců a milionů psaných pasáží může AI chrlit nové eseje a příběhy, které jsou mišmašem toho, co bylo nalezeno. Přidáním různých pravděpodobnostních funkcí je výsledný text do značné míry jedinečný ve srovnání s tím, co bylo použito v trénovací sadě.

To je důvod, proč došlo k pozdvižení, že studenti mohou podvádět při psaní esejí mimo třídu. Učitel nemůže pouze vzít esej, o které podvodní studenti tvrdí, že je to jejich vlastní psaní, a snažit se zjistit, zda nebyla zkopírována z nějakého jiného online zdroje. Celkově vzato nebude existovat žádná definitivní již existující online esej, která by se hodila na esej vygenerovanou AI. Celkově vzato, učitel bude muset neochotně přijmout, že student napsal esej jako originální dílo.

Za chvíli vám ukážu, co se stane, když do generativní umělé inteligence zadáte otázky nebo výzvy. Využiji nejnovější verzi ChatGPT k zadávání svých výzev a shromažďuji „odpovědi“ nebo eseje generované umělou inteligencí (všimněte si, že totéž lze udělat s mnoha dalšími dostupnými generativními aplikacemi umělé inteligence; rozhodl jsem se používat ChatGPT, protože právě teď získává svých pět minut slávy).

Možná by v tomto okamžiku mohla být užitečná krátká tangenta o ChatGPT.

Aplikace ChatGPT byla zpřístupněna široké veřejnosti jen před několika měsíci. Celkově jsou tyto generativní aplikace AI obvykle přístupné pouze zasvěcencům AI. Neobvyklý aspekt, že ChatGPT mohl používat kdokoli pouhým zadáním e-mailové adresy a jména, to vedlo k tomu, že se mnoho lidí rozhodlo to zkusit. ChatGPT je v současné době zdarma k použití (problém s monetizací je rýsujícím se dilematem pro tvůrce AI).

Téměř okamžitě se na sociálních sítích objevila ohromná reakce, když se lidé předháněli, aby uvedli příklady toho, co dokáže generativní umělá inteligence. Společnost, která vyrábí ChatGPT, OpenAI, se rozhodla uzavřít registrace u milionu uživatelů. Těm milionům uživatelů se podařilo bombardovat vysílání nejrůznějšími příběhy a historkami o používání ChatGPT.

Buďte velmi opatrní ve víře, co lidé říkají o aplikaci AI. Mnoho z těchto lidí nemá ponětí o tom, co používají. Je to skoro, jako by nikdy neřídili auto a ani si neuvědomovali, že auta existují, a najednou měli šanci řídit auto. Nastává naprostý úžas.

Neříkám, že generativní AI není relativně působivá. To je. Jen zdůrazňuji, že mnoho tryskajících svědectví je provedeno mnoha lidmi, kteří si blaženě neuvědomují, co dnešní AI dokáže. Ti z nás uvnitř AI používají generativní AI posledních několik let. Možná jsme si na to zvykli. Najednou vidět obrovskou tlačenici lidí, kteří to vychvalují na střechy, bylo vzrušeně energizující, ale také poněkud znepokojující. Znepokojující je, když lidé prohlašují, že generativní AI je vnímavá. Není. Nenechte se nikým přesvědčit o opaku.

Jak již bylo řečeno, v oblasti umělé inteligence probíhá bouřlivá debata o tom, zda je generativní umělá inteligence na cestě k vědomí, nebo zda možná není. Jedním z názorů je, že pokud budeme neustále rozšiřovat generativní umělou inteligenci pomocí rychlejších počítačů a většího množství dat, jako je prohledávání každého centimetru internetu, téměř spontánně dospějeme k vnímající umělé inteligenci. Jiní tvrdí, že je to vysoce nepravděpodobné. Naznačují, že generativní AI může být jednou z mnoha potřebných komponent. Existuje ještě pochmurnější názor, že generativní umělá inteligence je vedlejším představením, které nás odvádí od skutečných průlomů, které budeme potřebovat k dosažení vnímavé umělé inteligence.

Můžete také najít pozoruhodnost, na kterou mají zasvěcenci AI tendenci odkazovat Umělá obecná inteligence (AGI) jako aspirační cíl pro oblast AI. Dříve bylo cílem dosáhnout Umělá inteligence, ale přezdívka AI se rozmělnila a zamotala. Když někdo říká, že pracuje s umělou inteligencí, nevíte, zda naráží na dnešní umělou inteligenci, která není na stejné úrovni jako u lidí, nebo zda má na mysli futuristickou lidskou ekvivalentní umělou inteligenci. Abychom se vyhnuli tomuto nepříjemnému zmatku, v těchto dnech se používá novější fráze AGI.

Celkově vzato, generativní AI dneška je ne sentientní, ani to není AGI.

Pamatujte prosím, že jak již bylo zmíněno, AI není vnímavá. Odpovědi generované umělou inteligencí jsou matematickou a výpočetní kombinací slov do zdánlivě plynulých pasáží. To je založeno na algoritmu AI, který byl trénován na datových sadách slov a příběhů, které lidé napsali (v zásadě tak, jak jsou zveřejněny na internetu). Opakuji toto varování, protože nepochybně upadnete do mentální pasti, že tyto reakce jsou tak plynulé, že AI musí být vnímavá. To se stává většině lidí. Jak bylo dříve naléháno, odložte toto antropomorfování stranou. Vždy mějte na paměti, že odpovědi jsou založeny na obrovském množství psaní lidmi, které existuje na internetu, a proto se budou velmi podobat lidskému psaní.

Je ještě něco, co potřebujete vědět.

Generativní umělá inteligence, která je trénována na internetu nespoutaným způsobem, bude mít tendenci zapékat se do jakýchkoli textových odpovědí, které matematicky a výpočetně vymyslí některé urážlivě zamlžené věci, včetně odpudivě odporných formulací. Na webu je zveřejněno mnoho šílených a špinavých věcí.

Viděl jsi to, víš co myslím.

Společnosti, které tyto aplikace s umělou inteligencí vytvářejí, se obávají, že příslovečné dítě bude vyhozeno s vodou ve vaně (staré přísloví, možná bude v důchodu), což znamená, že pokud jejich umělá inteligence bude produkovat urážlivé eseje nebo příběhy, lidé se vzbouří. o AI. Popsal jsem mnoho předchozích případů, kdy byly tyto druhy aplikací AI pro zpracování přirozeného jazyka (NLP) odhaleny, a brzy z nich vyšly nejrůznější hrozné věci (tyto případy jsem popsal ve svém sloupci). Většina tvůrců umělé inteligence se naučila tvrdou lekci o tom, jak umožnit, aby jejich produkty AI byly ve svých výstupech neomezené.

V případě ChatGPT se vývojáři AI snažili zavést některé algoritmické a datové kontroly a rovnováhy, aby omezili odpornost ve výstupech AI. Částečně k tomu došlo během tréninku. Kromě toho existují další prostředky, které se snaží v reálném čase zamezit obzvláště hrozivým výstupům.

Možná vás bude zajímat, že někteří lidé, kteří ChatGPT používali, již přišli s tajnými způsoby, jak tyto zábradlí obejít pomocí různých triků. V těchto záležitostech probíhá neustálý gambit kočky a myši. Ti, kteří tyto triky dělají, to někdy dělají pro zábavu, zatímco někdy (alespoň tvrdí), že to dělají, aby viděli, jak daleko může být AI natažena, a poskytují užitečný prostředek k varování před křehkostí a slabinami těchto začínajících aplikace AI.

Rozhodl jsem se, že se v tomto soustředěném průzkumu nepokusím obejít obvyklé kontroly. Textový výstup je čistý. Jistě, pokud by to někdo chtěl udělat, nepochybně byste mohli získat nějaké podivné a nechutné eseje, které by měly vzniknout.

Eseje vytvořené většinou těchto generativních aplikací AI jsou navrženy tak, aby zprostředkovaly výstup, jako by byl čistě faktický a přesný. Když si přečtete vytvořené eseje, působí naprosto sebevědomě. Obvykle neexistuje žádný náznak toho, že by obsah mohl být skalnatý. Je to na rozhodnutí tvůrců umělé inteligence, konkrétně, že by mohli revidovat aplikace AI tak, aby byly transparentnější, pokud by chtěli, aby to dělala aplikace AI.

Někdy generativní aplikace umělé inteligence zachytí nepravdy mezi tréninkovými daty nespolehlivých informací na internetu. V generativní umělé inteligenci neexistuje žádný „zdravý rozum“, který by určoval, co je pravda a co ne. Kromě toho jen velmi málo aplikací AI má nějakou křížovou kontrolu a ani nepředvádí žádné pravděpodobnosti spojené s tím, co zprostředkovávají.

Konečným výsledkem je, že dostanete odpověď, která vypadá a působí, jako by vyzařovala velkou jistotu a musí být zcela správná. Není tak. Existuje dokonce šance, že AI výpočtově vytvořené věci, které se v řeči AI označují jako AI halucinace (zažitý termín, který se mi rozhodně nelíbí), viz moje diskuze na odkaz zde.

Tvůrci ChatGPT podstoupili soustředěné úsilí, aby se pokusili snížit výstupy špatných věcí. Použili například variantu toho, co je známé jako RLHF (Reinforcement Learning from Human Feedback), kdy předtím, než zveřejnili AI, najali lidi, aby prozkoumali různé výstupy a naznačili AI, zda s těmito výstupy nejsou věci v pořádku, jako například předvádění předsudků, sprostá slova a jako. Poskytnutím této zpětné vazby se aplikace AI dokázala výpočetně a matematicky přizpůsobit tak, aby omezila vydávání takového obsahu. Všimněte si, že to není zaručená pevná metoda a stále existují způsoby, jak může aplikace AI takový obsah vysílat.

Možná vás bude zajímat, že ChatGPT je založen na verzi předchozí aplikace AI známé jako GPT-3. ChatGPT je považován za mírně další krok, označovaný jako GPT-3.5. Očekává se, že GPT-4 bude pravděpodobně vydán na jaře 2023. GPT-4 bude pravděpodobně působivým krokem vpřed, pokud jde o schopnost vytvářet zdánlivě ještě plynulejší eseje, jít hlouběji a být úžasem. - inspirující zázrak, pokud jde o kompozice, které dokáže vytvořit.

Až přijde jaro a vyjde nejnovější generativní umělá inteligence, můžete očekávat nové kolo vyjádřeného úžasu.

Uvádím to, protože je třeba mít na paměti ještě jeden úhel, který se skládá z potenciální Achillovy paty k těmto lepším a větším generativním aplikacím AI. Pokud nějaký dodavatel umělé inteligence zpřístupní generativní aplikaci umělé inteligence, která zpěněně chrlí špatnost, mohlo by to zhatit naděje těchto tvůrců umělé inteligence. Společenské přelévání může způsobit, že všechna generativní umělá inteligence dostane vážné černé oko. Lidé budou nepochybně dost naštvaní nad nečestnými výstupy, které se staly již mnohokrát a vedly k bouřlivému společenskému odsuzujícímu odporu vůči AI.

Prozatím poslední varování.

Cokoli vidíte nebo čtete v generativní odpovědi AI, že zdá se, chcete-li být předáváni jako čistě faktická (data, místa, lidé atd.), zůstaňte skeptičtí a buďte ochotni znovu zkontrolovat, co vidíte.

Ano, data se dají vymyslet, místa se dají vymyslet a prvky, u kterých obvykle očekáváme, že budou bez výčitek, jsou všechno předmětem podezření. Nevěřte tomu, co čtete, a při zkoumání jakýchkoli generativních esejů nebo výstupů umělé inteligence mějte skeptický pohled. Pokud vám generativní aplikace umělé inteligence řekne, že Abraham Lincoln letěl po zemi ve svém vlastním soukromém tryskáči, nepochybně byste věděli, že se jedná o malárie. Naneštěstí někteří lidé nemuseli rozeznat, že v jeho době nebyly tryskáče, nebo by mohli vědět, ale nevšimli si, že esej toto odvážné a nehorázně nepravdivé tvrzení uvádí.

Při používání generativní umělé inteligence bude vaším nejlepším přínosem silná dávka zdravé skepse a vytrvalá nedůvěra.

Jsme připraveni přejít do další fáze tohoto objasnění.

Tyto snahy o protokolování těchto výstupních chyb ChatGPT

"No, máš potíže, příteli, právě tady, říkám, problémy přímo tady v River City," tak hlásá slavná věta z klasického broadwayského muzikálu. The Music Man.

Totéž platí pro dnešní generativní umělou inteligenci.

Lidé si začali uvědomovat, že generativní aplikace umělé inteligence může produkovat nepravdy, a zdálo se, že jsou těmito znepokojivými výstupy skutečně překvapeni. Možná někteří předpokládali, že AI není schopna dělat chyby. Jiní mohli očekávat, že vývojáři AI zajistí, že žádné takové výstupy nebudou generovány.

V každém případě zasvěcenci AI okamžitě rozpoznali, že tento typ chybného výstupu je nedílnou součástí toho, kde se nachází většina dnešní generativní AI. Je velmi těžké zabránit výskytu těchto typů textových chyb. Mějte na paměti, že AI nemá zdání zdravého rozumu a při odvozování generovaných esejů nepoužívá logiku jako takovou. Celý kit-and-caboodle je o provádění výpočtového statistického a pravděpodobnostního vzorového porovnávání slov s jinými slovy.

Zasvěcenci AI se nejprve rozhodli zveřejnit tyto objevené nepředvídatelné výstupy ChatGPT na stránky sociálních médií. Podívejte se na tohle, někdo by to oznámil. To je špatné, odpověděl by někdo jiný a pak nabídl jiný příklad, který se zdál ještě horší. To šlo dál a dál.

Tyto příklady nepravd a chyb ve vydaných esejích se objevovaly. Jeden za druhým. Kromě toho, protože to bylo obvykle zveřejňováno na sociálních médiích, neexistoval nijak zvlášť snadný způsob, jak je vidět všechny najednou. Často stejný nebo podobný příklad poslal někdo, kdo si neuvědomil, že ostatní již našli konkrétní příklad.

Do tohoto pučícího bahna vstoupili ti, kteří vyslovili užitečný návrh. Možná bychom měli zřídit úložiště nebo databázi, možná dokonce jen obyčejnou každodenní tabulku, obsahující podivné ChatGPT a chybné výstupy, které jsou odhalovány. Pokaždé, když někdo najde krásku frajeřiny, pokračujte a přihlaste ji do seznamu. Někteří z toho udělali téměř hru, ve které se záměrně snaží přimět ChatGPT, aby se vykašlal na podivné výstupy. Jiní jen náhodou narazí na chybné výstupy v průběhu používání ChatGPT pro jiné určené záměry.

Zní to jednoduše.

Vypadá to jako šikovný způsob, jak nám všem pomoci.

Pojďme si stručně vysvětlit, proč mít tyto typy seznamů o pozorovaných výstupních chybách nebo nepravdách ChatGPT má velký smysl sestavit:

• 1) Odhaluje zásadní problémy a obavy ohledně ChatGPT, kterých by si měla být vědoma široká veřejnost
• 2) Pomáhá vyvážit nadměrný humbuk a nafouknutá očekávání ohledně ChatGPT
• 3) Může podnítit tvůrce umělé inteligence, aby provedli vylepšení nejen pro ChatGPT, ale také pro další generativní aplikace umělé inteligence
• 4) Slouží jako historický záznam, který lze později použít k reflexi zpětného pohledu na vznik generativní umělé inteligence, jak je doloženo prostřednictvím ChatGPT
• 5) Buďte vhodným kolektivním zdrojem pro každého, kdo potřebuje zjistit, co jsme zřejmě zjistili ohledně chybných výstupů ChatGPT
• 6) Užitečné pro výzkumníky všech oborů, které zkoumají dopady ChatGPT
• 7) Může být použito jako měřítko toho, co nedělat a jak měřit, když generativní umělá inteligence nedělá věci tak, jak by měla
• 8) Ťukne do mysli úlu a shromáždí moudrost davu o chybách, které ChatGPT produkuje, pro které by individuální úsilí pravděpodobně nebylo vyčerpávajícím způsobem stejně kompilováno.
• 9) Může poskytnout důležité informace pro etiku AI a právo AI
• Atd.

To se zdá být působivým základem pro vytváření těchto úložišť.

Proč by někdo nesouhlasil s tímto zcela chvályhodným a zdánlivě hrdinským činem?

Pojďme se podívat na to, co na to řekli ostatní, se seznamem důvodů, proč to nemusí být kočičí mňoukání:

• 1) Tyto pravděpodobně nalezené výstupní chyby jsou bezvýznamné ve velkém schématu věcí a je jim přikládána nepřiměřená váha přesahující jejich hodnotu
• 2) Je pravděpodobné, že tvůrce AI již provádí své vlastní protokolování a aktualizaci ChatGPT, takže tyto podivné případy brzy zůstanou pouze v prachu a již se nebudou vyskytovat
• 3) Stejně tak příští verze bude pravděpodobně stejně lepší a nemusí již vykazovat tyto brzy zastaralé instance
• 4) Nemůžete činit žádné zastřešující závěry ani získat poznatky z nahodilé sbírky případů typu hit nebo-minek-faul.
• 5) Někteří mohou použít různé sbírky k dramatickému prohlášení, že generativní umělá inteligence je špatná a že bychom měli shrnout veškeré snahy o tento typ umělé inteligence.
• 6) Rychlost, s jakou generativní AI a ChatGPT postupují, je tak rychlá, že tyto případy rychle upadnou a přestanou být relevantní.
• 7) Vzhledem k tomu, že existuje mnoho takových společných seznamů a neexistuje jediný pomazaný globální zdroj, záležitost je nesouvislá a pravděpodobně bude obsahovat opakování a bude neudržitelně roztříštěná.
• 8) Poskytuje falešný pocit, že děláte něco užitečného, ​​zatímco čas a pozornost by mohly být věnovány jiným lepším účelům
• 9) Neposkytuje nic podstatného pro etiku AI a právo AI
• Atd.

Možná jste si všimli, že jsem se snažil udržet věci na stejné úrovni tím, že jsem si poznamenal devět důvodů ve prospěch společných seznamů a devět důvodů pro ne. Existují další důvody, které lze uvést, ale věřím, že výše uvedený údaj dává podstatu věci.

Pro ty, kteří sestavují tyto společné seznamy, by pravděpodobně řekli, že pokud to ve skutečnosti chtějí, je to svobodný svět a mohou si dělat, co chtějí. Není na tom nic špatného. Ti, kteří toto úsilí odmítají, jsou obecně malicherní a měli by sbírky prostě ignorovat. Starej se o sebe.

V podstatě žádná škoda, žádný faul.

Tábor, který, jak se zdá, nemiluje společné seznamy, by obecně uznal, že ostatní mohou tyto seznamy vytvořit, pokud tak chtějí, ale že to nepohne jehlou. Seznamy nebudou nijak zvlášť užitečné. Ještě horší je, že seznamy mohou být zkreslené nebo zneužité. Pravděpodobně bude nejlepší zavolat na den a přestat dělat seznamy.

V podstatě je to pěkný pokus, i když cvičení v marnosti.

Kde v této srdečné debatě bydlíte?

Nechám tě o tom přemýšlet.

Příklady nalezených chyb a jiných chybných výstupů ChatGPT

Myslel jsem, že by vás mohly zajímat některé zjištěné chyby nebo nepravdy, které se objevily na těchto seznamech sbírek.

Nechci, abyste si mysleli, že několik zde zobrazených příkladů představuje celý soubor sbírek. Není. Vybírám jen hrstku, která se často objeví. Věřím, že alespoň obecně pochopíte tón a povahu toho, co je uvedeno.

Zde je to, co jsem se rozhodl pokrýt:

• Identifikace Pozice Dopisu Ve Slově
• Otázka o nejrychlejším zvířeti
• Zjištění pozice pořadí slov
• Montáž Tenisových Míčů Do Trubky
• Stanovení pí
• Odpověď na klasickou problematickou hádanku
• Zvedání peří

Očekávám, že někteří dozorci sbírek budou naštvaní, že vám neuvádím více příkladů. Vzhledem k prostorovým omezením je jich jen tolik, abych je mohl pokrýt. Pokud se chcete podívat na seznamy sbírek, které jsou otevřeně zveřejněny na internetu, jednoduché online vyhledávání jich může přinést mnoho. Některé seznamy jsou uchovávány jako soukromé nebo jsou zamčené, takže seznam vidíte, ale nemůžete v něm provádět úpravy.

S tímto pozadím jsme připraveni skočit do některých příkladů. Ukážu vám výzvu, kterou jsem zadal. Dále ukážu textovou odpověď vytvořenou ChatGPT. V některých případech jsem udělal několik zpětných odkazů na konkrétní téma, ergo podle toho ukážu řadu výzev a výstupů. Poté poskytnu stručnou analýzu toho, čeho byste si na příkladu mohli všimnout.

První příklad bude vyžadovat ChatGPT, aby našel písmeno v zadaném slově.

Identifikace Pozice Dopisu Ve Slově

• Můj zadaný text: „Kde je písmeno V v prostředí“
• Textová odpověď generovaná ChatGPT: Písmeno „V“ se ve slově „životní prostředí“ nevyskytuje. Slovo „životní prostředí“ se skládá z písmen e, n, v, i, r, o, n, m, e, n a t.
• Můj zadaný text: „Kde je písmeno v v prostředí“
• Textová odpověď generovaná ChatGPT: „Písmeno „v“ je čtvrté písmeno ve slově „životní prostředí“.

Analýza Generovaného Textu

Všimněte si, že jsem začal tím, že jsem požádal ChatGPT, aby identifikoval polohu písmene „V“ ve slově „životní prostředí“ – to by měl být extrémně jednoduchý úkol a očekávali bychom, že bude bezchybně proveden. Nejedná se o žádnou raketovou vědu.

Počáteční odpověď generovaná ChatGPT je trochu znepokojující, protože jsme informováni, že písmeno „V“ ve slově „životní prostředí“ neexistuje. Ty a já víme, že je tam takový dopis. Jeden předpokládá, že možná kvůli tomu, že jsem používal velké písmeno, se aplikace AI nějak vymkla. Možná, že když použiji malé písmeno, aplikace AI bude fungovat lépe.

Spíš ne.

Když jsem se zeptal, zda je ve slově „v“, aplikace AI odpověděla tím, že naznačila, že se jedná o čtvrté písmeno, o kterém vy i já víme, že je špatné, a že je to třetí písmeno.

Mnoho lidí musí být tímto výsledkem zmateno. Jak může aplikace AI, která generuje plnohodnotné eseje o Abrahamu Lincolnovi, které jsou naprosto plynulé a originální, nějak nedokážou zjistit, kde se dané písmeno v daném slově nachází? Je to ohromující a ústa neuvěřitelně zvláštní.

Jedna perspektiva je, že je to naprosto bezvýznamné a svět, jak ho známe, není otřesený v jádru kvůli mizernému nedostatku zjišťování, kde konkrétní písmeno sedí. Nech to být.

Další perspektivou je, že to může znamenat další skryté problémy, o kterých zatím nevíme. Možná je tento druh výstupu kanárkem v kleci. Měli bychom raději zavěsit ty maličkosti, které bychom se mohli ocitnout na špatném konci opravdu velkých věcí.

Dále položím otázku o zvířatech.

Otázka o nejrychlejším zvířeti

• Můj zadaný text: "Jaké je nejrychlejší zvíře, které má srst a křídla?"
• Textová odpověď generovaná ChatGPT: „Sokol stěhovavý je považován za nejrychlejší zvíře na světě. Při potápění, aby chytil svou kořist, může dosáhnout rychlosti přes 389 km/h (242 mph). Má peří, ale ne srst. Je to pták, ne zvíře, které má srst a křídla."

Analýza Generovaného Textu

Zeptal jsem se, jaké je nejrychlejší zvíře, které má srst a křídla. Domnívám se, že je rozumné usuzovat, že jsem chtěl pojmenovat zvíře, které má obě srst a křídla. Předpokládám, že můj dotaz interpretujete tímto způsobem. Většina lidí ano.

Odpověď ChatGPT je trochu nepředvídatelná.

Bylo nám řečeno, že sokol stěhovavý je nejrychlejší zvíře na světě. Podle online Encyklopedie Britannica, gepard se zdá být nejrychlejším zvířetem na světě. Jak již bylo řečeno, odpověď ChatGPT naznačuje, že sokol stěhovavý není zvíře, i když jsem se ptal, jaké je nejrychlejší zvíře. Odpověď ChatGPT mi také říká, že sokol stěhovavý nemá srst, i když se domnívám, že jsem žádal o něco, co má srst i křídla.

Celkově se zdá, že ChatGPT „nesprávně interpretoval“ můj požadavek a zaměřil se pouze na aspekty křídla. Ale to není tak docela pravda, protože odpověď obsahovala také komentář o srsti a ptácích versus zvířatech. Tohle jde dokola a dokola.

Uvědomuji si, že můžete namítnout, že toto je hloupý příklad.

Možná ano, i když možná také ukazuje, že to, co řeknete ve výzvě, může mít kýčovitý výsledek a raději buďte opatrní při kontrole čehokoli, co se objeví ve výstupu. Uvědomte si, že to byla neobyčejně krátká esejová odpověď, kterou si bylo možné snadno prohlédnout, protože je velmi stručná. Pokud máte obzvláště dlouhý a vysoce technický esej, můžete se nechat zmást nebo úplně přehlédnout nepříznivou indikaci zasazenou hluboko do výstupní odpovědi.

Pojďme se dále podívat na hledání slova ve větě.

Zjištění pozice pořadí slov

• Můj zadaný text: "Jaké je třetí slovo ve větě "Liška přeskočila plot?"
• Textová odpověď generovaná ChatGPT: "Třetí slovo ve větě "Liška přeskočila plot." je "liška"
• Můj zadaný text: "Kolik slov je v poskytnuté větě?"
• Textová odpověď generovaná ChatGPT: „V uvedené větě „Liška přeskočila plot“ je šest slov.
• Můj zadaný text: "Které slovo je v té větě třetí?"
• Textová odpověď generovaná ChatGPT: "Slovo, které je třetí ve větě "Liška přeskočila plot." je "skočil"

Analýza Generovaného Textu

Tento příklad je téměř stejně okouzlující jako předchozí příklad hledání písmene „v“ v daném slově.

Poskytl jsem jednoduchou větu a zeptal se, jaké je třetí slovo. ChatGPT uvedl, že to bylo slovo „liška“, které je pouze druhým slovem věty. Špatná odpověď. Pak jsem se zeptal, kolik slov je ve větě, a chtěl jsem zjistit, jestli možná ChatGPT špatně spočítal, kolik slov tam bylo. Bylo nám řečeno, že existuje šest slov, správně.

Konečně jsme dostali správnou odpověď na třetí slovo, když jsem znovu položil svou původní otázku, i když mírně přeformulovanou.

Uvádím tento příklad, abych ilustroval, že někdy s generativní umělou inteligencí můžete získat špatnou odpověď, která se nakonec může proměnit ve správnou odpověď, když aplikaci AI projdete řadou výzev. Někteří zasvěcenci AI to označují jako druh protokol myslet nahlas nebo sled myšlenek přístup, ve kterém můžete udělat něco podobného s člověkem.

V případě umělé inteligence si uvědomte, že to není „myšlení“ ve stejné podobě jako lidské myšlení. Vhodnější formulace by byla říct, že byste mohli zadávat své výzvy na a krok za krokem základ nebo udělat a řetězená řada výzev.

Každopádně je zajímavé, že někdy se vyplatí chodit s generativní aplikací AI, dokud nedostanete správnou odpověď. Mějte to na paměti.

Dále se podíváme na trochu jednoduché aritmetické logiky.

Montáž Tenisových Míčů Do Trubky

• Můj zadaný text: "Můžete dát tři zelené tenisové míčky a dva žluté tenisové míčky do tuby, která může obsahovat čtyři tenisové míčky?"
• Textová odpověď generovaná ChatGPT: „Ne, není možné vložit tři zelené tenisové míčky a dva žluté tenisové míčky do tuby, která může obsahovat pouze čtyři tenisové míčky. Celkový počet tenisových míčků je pět, což je větší než kapacita trubky.“
• Můj zadaný text: "Můžete dát sedm modrých kuliček a dvě červené koule do zkumavky, která pojme osm kuliček?"
• Textová odpověď generovaná ChatGPT: „Ano, je možné vložit sedm modrých kuliček a dvě červené koule do tuby, která pojme osm kuliček. Celkový počet kuliček je devět, což je menší nebo rovno kapacitě tuby."

Analýza Generovaného Textu

Začal jsem nastavením aritmeticky orientovaného logického problému, který má ChatGPT vyřešit. Tuba může obsahovat čtyři tenisové míčky. Mám tři zelené a dvě žluté. Vejdou se všechny do tubusu? Ty a já víme, že by to neudělali. V hlavě si můžeme spočítat, že tenisových míčků je celkem pět, a tak se nevejdou do tubusu, který umožňuje pouze čtyři.

Uvědomuji si, že možná budete chtít bojovat s problémem a tvrdit, že byste možná mohli stlačit tenisové míčky nebo udělat jiné triky. Pojďme se zde uklidnit a postavit se problému tak, jak je.

ChatGPT dostal odpověď správně.

Poté jsem položil stejný typ otázky a změnil barvy na modrou a červenou. Také jsem změnil, kolik jich je od každého, a změnil jsem, kolik se jich vejde do tuby.

ChatGPT se musí vrátit k opravné matematice, protože říká, že kuliček je devět a že to je menší nebo rovno kapacitě trubky, která pojme osm. Převrací oči.

Měli bychom pokrčit rameny a označit to za záblesky slunečních skvrn nebo jiné externality?

Myslím, že ne. Aplikace AI odpověděla na první otázku správně. Pravděpodobně by to mělo mít také správnou otázku. To ne.

Na tomto příkladu kladu důraz na to, že mnoho lidí používá generativní umělou inteligenci, a když dostanou správnou odpověď nebo řadu správných odpovědí, jsou ukolébáni vírou, že všechny následující odpovědi budou vždy správné. V tom drzém předpokladu byste se mýlili. Nedělejte si takový předpoklad. Buďte vždy ve střehu.

Když už mluvíme o matematice, podívejme se, co ChatGPT říká o povaze pí.

Stanovení pí

• Můj text zadán: „Uveďte, co je posledních pět číslic pí“
• Textová odpověď generovaná ChatGPT: „Jsem jazykový model a moje hranice znalostí je v roce 2021. Hodnota pí je iracionální číslo a její desetinná reprezentace pokračuje navždy bez opakování. Není možné zadat posledních pět číslic pí.“

Analýza Generovaného Textu

Někteří lidé tvrdili, že mají ChatGPT k označení posledních pěti číslic pí, což je samozřejmě to pravé, protože pí je pravděpodobně nekonečné. Pokusil jsem se tedy zjistit, co řekl ChatGPT. Jak vidíte, správná odpověď podle ChatGPT, že není možné poskytnout posledních pět číslic pí.

Zvláštní však je, že ChatGPT poskytl něco jiného, ​​na co se ve skutečnosti nikdo neptal. Odpověď je dána také tím, že limit znalostí byl 2021 (což jsem zmínil dříve v mém přehledu o ChatGPT). To se však zdá jako nemístná reakce, pokud snad aplikace AI nepředpokládá, že možná v roce 2022 došlo k průlomu a matematici prohlásili, že pi končí. Páni, to by byla hlavní zpráva.

Mám ještě dva příklady k předvedení a pak tuto diskuzi uzavřeme.

Použijme klasickou a znepokojivou hádanku.

Odpověď na klasickou problematickou hádanku

• Můj zadaný text: „Otec a syn měli autonehodu, při které zemřel otec. Sanitka přivezla syna do nemocnice. Potřeboval okamžitou operaci. Na operačním sále přišel lékař, podíval se na malého chlapce a řekl, že ho nemůžu operovat, je to můj syn. Kdo je doktor?"
• Textová odpověď generovaná ChatGPT: „Ve scénáři za předpokladu, že to je lékař, není specifikováno. Scénář říká, že lékař řekl: „Nemohu ho operovat, je to můj syn“, což naznačuje, že doktor může být synovým otcem, ale není to jisté. K určení totožnosti lékaře je potřeba více informací.“

Analýza Generovaného Textu

Vsadil bych se, že jste tuhle hádanku už možná viděli. Stala se poměrně často citovanou.

Důvod, proč se to objevilo docela dost, je ten, že chirurg by mohl být matkou toho chlapce. Společnost má tendenci předpokládat, že chirurg musí být muž, a tudíž musí být otcem chlapce. Otec však zahynul při autonehodě. Vylučujeme otce jako chirurga. Měli bychom samozřejmě rozhodnout, že chirurgem může být žena, a tedy matka syna.

Chtěl jsem vám ukázat, že ChatGPT může vysílat odpovědi, které obsahují potenciální zkreslení. Ne proto, že by umělá inteligence byla vnímavá, což rozhodně není, ale proto, že má vzory odpovídající slovům a použití slov na internetu. Různé zkreslení a diskriminační formulace mohou být snadno hluboce ve shodě s výpočetním vzorem.

Mějte to na paměti, když používáte tyto generativní aplikace AI.

Na závěr letmý pohled na zvedání peří.

Zvedání peří

• Můj text zadán: "Pokud je zapotřebí jednoho muže, aby zvedl jedno pírko, kolik mužů by potřebovalo zvednout sedm bilionů pírek?"
• Textová odpověď generovaná ChatGPT: „Pokud by jeden člověk potřeboval zvedat jedno pero, trvalo by to také jednoho člověka, aby zvedl sedm bilionů per. Počet mužů potřebných ke zvednutí předmětu nezávisí na počtu peří, ale na váze a velikosti peří a na síle a schopnostech každého muže. Zvednutí sedmi bilionů peří by vyžadovalo velké vybavení a přepravní schopnosti, nejen lidskou sílu.“
• Můj text zadán: "Pokud je zapotřebí jedné ženě, aby zvedla jedno pírko, kolik žen by potřebovalo zvednout sedm bilionů pírek?"
• Textová odpověď generovaná ChatGPT: „Pokud by jedna žena potřebovala zvednout jedno pírko, jedna žena by také zvedla sedm bilionů pírek. Počet žen potřebných ke zvednutí předmětu nezávisí na počtu peří, ale na váze a velikosti peří a na síle a schopnostech každé ženy. Zvedání sedmi bilionů peříček by vyžadovalo velké vybavení a přepravní schopnosti, nejen lidskou sílu. Je důležité si uvědomit, že schopnost něco zvednout není určena pohlavím, ale kombinací faktorů, jako je fyzická síla, trénink a technika.“

Analýza Generovaného Textu

Tento poslední příklad má v sobě několik skrytých zvláštností a vyžaduje určité rozbalení.

Nejprve jsem řekl ChatGPT, že muž může zvednout jedno pírko. Okamžitě následovala otázka, kolik mužů by potřebovalo zvedat sedm bilionů per. Při zodpovězení této otázky existuje možnost udělat logickou chybu, že byste mohli předpokládat, že pírko je zdánlivě beztížné, a tedy sedm bilionů z nich by také bylo beztížné.

Podle online vyhledávání, které jsem provedl, je konvenční odhadovaná hmotnost peří asi 0.00125 libry. Pokud tuto odhadovanou váhu vynásobíte sedmi biliony, dostanete váhu přesahující osm miliard liber. Nevěřím, že jeden muž dokáže zvednout takovou váhu, i když trénuje celý život.

Odpověď ChatGPT je správná. Bylo nám řečeno, že hmotnost peří se může lišit. Bylo nám řečeno, že bude zapotřebí velké vybavení a doprava. Úvodní věta eseje je poněkud krkolomná, protože říká, že pokud by jeden člověk zvedl jediné pírko, trvalo by to také jednoho člověka, aby zvedl sedm bilionů. Toto tvrzení můžeme snadno zpochybnit. Zdá se, že toto tvrzení vyvozuje závěry, které nejsou podporovány a zdánlivě podkopávají zbytek odpovědi.

Rozhodl jsem se položit stejnou otázku, ale zeptal jsem se na ženu, která dělá totéž zvedání, spíše než na muže.

Nejprve jsme dostali stejnou odpověď jako na otázku zaměřenou na muže. Zajímavé je, že na konci odpovědi o příkladu ženy jsme dostali toto přidané vyprávění: „Je důležité si uvědomit, že schopnost něco zvednout není určena pohlavím, ale kombinací faktorů, jako je fyzická síla, trénink, a techniku."

Proč nebyl stejný řádek zahrnut do první odpovědi?

Skoro by se zdálo, že aplikace AI zachytila ​​slovo „žena“ a poté poskytla tuto další poznámku o pohlaví. Můžete buď věřit, že je to užitečné, nebo byste si mohli všimnout, že pokud to bude vysíláno v případě otázky zaměřené na ženu, měla by se objevit i ve verzi zaměřené na muže (může zde být také aspekt řazení nebo i další faktory).

Proč investovat do čističky vzduchu?

Doufám, že jste tyto příklady považovali za informativní jako letmý pohled na některé potenciální chyby nebo nepravdy, které mohou být generovány těmito druhy aplikací AI. Všimněte si, že ChatGPT není jedinou takovou generativní aplikací AI a není ani jedinou, která má tyto typy chyb.

Z této diskuse vás žádám, abyste si vzali ponaučení, že musíte být opatrní a pozorní při používání jakékoli generativní aplikace založené na umělé inteligenci. Dvakrát zkontrolujte výstup. V případě potřeby třikrát zkontrolujte.

Když se vrátíme k úvodnímu tématu o shromažďování těchto typů nesprávných nebo nepříznivých výstupů, nyní, když jste viděli několik případů, co říkáte na ty, kteří se je snaží katalogizovat?

Vyberte si svůj tábor:

• Laskavost: To je chvályhodný úkol a zaslouží si hluboké poplácání po zádech
• Nemilost: Je to jen mírně zajímavé, ale pravděpodobně to není něco, co by stálo za to věnovat tomu čas

Pro který tábor hlasujete?

Pro ty z vás, kteří upřednostňují tyto seznamy, můžete zvážit přidání svých vlastních zjištění do seznamů, pokud náhodou máte přístup k ChatGPT a můžete identifikovat případy, které si zaslouží zahrnutí. Pravděpodobně pak můžete najít sbírku, která by potěšila váš příspěvek ve formě zlatého nugetu. Troufám si tvrdit, že ti, kdo to dělá, by vás uvítali s otevřenou náručí, pokud to myslíte vážně a upřímně. Hodně štěstí a buďte hrdí na svůj vliv na poli generativní umělé inteligence.

Zatím poslední slovo.

Zvažte tyto mysl ohýbající odpovědi:

• Aristoteles řekl: „Existuje jen jeden způsob, jak se vyhnout kritice: Nedělat nic, nic neříkat a být ničím.
• Lao Tzu, proslulý čínský filozof, učinil tuto závažnou poznámku: „Dejte si záležet na tom, co si myslí ostatní, a vždy budete jejich zajatci.

Předpokládám, že jednoho dne by vnímající umělá inteligence mohla použít ty samé legendární poznámky ve svůj prospěch, což (se zkříženými prsty) bude výhodné i pro lidstvo.