Gör det någon nytta att exponera och logga dessa generativa AI ChatGPT felaktiga och hallucinatoriska utdata, frågar AI-etik och AI-lag

Du är inne på en hemlighet.

Ja, det händer något i smyg bakom kulisserna om det senaste inom AI som du kanske vill veta om.

I dagens kolumn kommer jag att undersöka den senaste drivkraften för att sammanställa påstådda fel och andra sjukdomar som är förknippade med de utskrivna uppsatserna från en AI-app känd som ChatGPT. Denna speciella app använder en typ av AI som kallas Generativ AI. Du har förmodligen hört eller sett iögonfallande rubriker om generativt baserad AI och ChatGPT. Nyheterna är angelägna om denna specifika AI-app och de till synes häpnadsväckande kapaciteterna som hör till denna typ av AI.

Som jag kommer att ta upp om ett ögonblick tror vissa starkt att vi måste upprätta en lista över vilka typer av misstag eller fel AI-appen kan producera när den genererar en uppsats åt dig. Andra menar att även om tanken på en sådan lista är beundransvärd, så är den en övning i meningslöshet och kommer att bära mycket lite frukt.

Vi kommer att undersöka båda sidorna av den otåliga debatten.

Låt oss först se till att vi alla är på samma sida om vad Generativ AI består av och även vad ChatGPT handlar om.

ChatGPT är ett interaktivt konversationsorienterat AI-system för allmänt bruk, i grunden en till synes ofarlig allmän chatbot, men den används aktivt och ivrig av människor på ett sätt som fångar många helt och hållet. Allt du behöver göra för att använda den här typen av AI är att ange en prompt och AI-appen kommer att generera en uppsats åt dig som försöker svara på din prompt.

Tyvärr kan detta användas på något antingen oetiskt eller lurigt sätt. Ett särskilt irriterande problem är att studenter kan använda en generativ baserad AI-app för att producera sina tilldelade uppsatser för dem, genom att helt enkelt skriva in en mening eller två för att få appen i rätt riktning. Vissa beklagar att detta innebär att elever väljer att fuska när de skriver uppsatser utanför klassen. Lärare försöker komma på vad de ska göra, se min analys och rekommendationer på länken här.

Trots det konstanta larmet av lovvärt beröm för ChatGPT finns det en mindre känd oro som framför allt uttrycks av AI-insiders att det finns några anmärkningsvärda problem och betänkligheter som folk borde oroa sig för. En avgörande nackdel är att uppsatserna som produceras av denna AI-app kan ha olika falskheter inbäddade, inklusive uppenbart osanna fakta, fakta som är missvisande framställda och uppenbara fakta som är helt påhittade. Dessa påhittade aspekter kallas ofta för en form av AI hallucinationer, en slagord som jag ogillar men som jag beklagligt tycks bli populär ändå (för min detaljerade förklaring om varför detta är usel och olämplig terminologi, se min bevakning på länken här).

Jag skulle vilja klargöra en viktig aspekt innan vi går in på det här ämnet.

Det har förekommit några galna överdimensionerade påståenden på sociala medier om Generativ AI hävdar att den senaste versionen av AI faktiskt är det kännande AI (nej, de har fel!). De inom AI-etik och AI-lag är särskilt oroliga över denna spirande trend med utsträckta anspråk. Du kan artigt säga att vissa människor överdriver vad dagens AI faktiskt kan göra. De antar att AI har kapacitet som vi ännu inte har kunnat uppnå. Det är olyckligt. Ännu värre, de kan tillåta sig själva och andra att hamna i svåra situationer på grund av ett antagande om att AI kommer att vara kännande eller människoliknande när det gäller att kunna vidta åtgärder.

Antropomorfier inte AI.

Om du gör det kommer du att fångas i en klibbig och hård tillitsfälla av att förvänta dig att AI ska göra saker den inte kan utföra. Med det sagt är det senaste inom generativ AI relativt imponerande för vad det kan göra. Var dock medveten om att det finns betydande begränsningar som du ständigt bör ha i åtanke när du använder en generativ AI-app.

Om du är intresserad av det snabbt växande uppståndelsen om ChatGPT och Generativ AI, har jag gjort en fokuserad serie i min kolumn som du kanske tycker är informativ. Här är en blick om något av dessa ämnen faller dig i smaken:

• 1) Förutsägelser om generativa AI-framsteg som kommer. Om du vill veta vad som sannolikt kommer att utvecklas om AI under 2023 och därefter, inklusive kommande framsteg inom generativ AI och ChatGPT, vill du läsa min omfattande lista med 2023-förutsägelser på länken här.
• 2) Generativ AI och mental hälsa. Jag valde att granska hur generativ AI och ChatGPT används för rådgivning om mental hälsa, en besvärlig trend, enligt min fokuserade analys på länken här.
• 3) Kontext och generativ AI-användning. Jag gjorde också en säsongsmässigt smaksatt undersökning om en tomte-relaterad kontext som involverade ChatGPT och generativ AI på länken här.
• 4) Bedragare som använder generativ AI. På en olycksbådande notering har vissa bedragare kommit på hur man använder generativ AI och ChatGPT för att göra fel, inklusive att generera bluffmejl och till och med producera programmeringskod för skadlig programvara, se min analys på länken här.
• 5) Rookie-misstag med generativ AI. Många människor både överskrider och överraskande underskrider vad generativ AI och ChatGPT kan göra, så jag tittade särskilt på underskottet som AI-rookies tenderar att göra, se diskussionen på länken här.
• 6) Att hantera generativa AI-meddelanden och AI-hallucinationer. Jag beskriver ett ledande tillvägagångssätt för att använda AI-tillägg för att hantera de olika problem som är förknippade med att försöka skriva in lämpliga uppmaningar i generativ AI, plus att det finns ytterligare AI-tillägg för att upptäcka så kallade AI-hallucinerade utdata och falskheter, som täckt kl länken här.
• 7) Debunking Bonehead-påståenden om att upptäcka generativa AI-producerade uppsatser. Det finns en missriktad guldrush av AI-appar som förkunnar att de kan fastställa om någon given uppsats var mänskligt producerad kontra AI-genererad. Sammantaget är detta missvisande och i vissa fall är det ett benhårt och ohållbart påstående, se min bevakning på länken här.
• 8) Rollspel via generativ AI kan leda till nackdelar med mental hälsa. Vissa använder generativ AI som ChatGPT för att spela rollspel, där AI-appen svarar på en människa som om den existerade i en fantasivärld eller annan påhittad miljö. Detta kan få konsekvenser för psykisk hälsa, se länken här.

Låt oss just nu diskutera essensen av generativ AI och ChatGPT så att du känner till grunderna som är involverade. Vi är då redo att hoppa in i en djupgående analys av de falskheter som dessa AI-appar potentiellt kan generera. Jag kommer att inkludera flera exempel på hur du använder ChatGPT, som hjälper dig att påtagligt förstå vad den här typen av generativ AI producerar.

Öppnar burken med maskar på generativ AI

Vi är redo att dyka in i några detaljer om AI.

Om du redan är mycket väl insatt i ämnet generativ AI och ChatGPT, kan du välja att kortfattat skumma igenom mina poänger och fortsätta med nästa avsnitt av denna diskussion. För alla andra tror jag att du kan ha nytta av denna förklaring.

I korthet är generativ AI en speciell typ av AI som komponerar text som om texten var skriven av den mänskliga handen och sinnet. Allt du behöver göra är att ange en uppmaning, till exempel en mening som "Berätta för mig om Abraham Lincoln" och generativ AI kommer att förse dig med en uppsats om Lincoln. Detta klassificeras vanligtvis som generativ AI som fungerar text-till-text eller vissa föredrar att kalla det text-till-uppsats produktion. Du kanske har hört talas om andra sätt för generativ AI, som text-till-art och text-to-video.

Din första tanke kan vara att detta inte verkar vara en så stor sak när det gäller att producera uppsatser. Du kan enkelt göra en onlinesökning på Internet och lätt hitta massor av uppsatser om president Lincoln. Kickaren i fallet med generativ AI är att den genererade uppsatsen är relativt unik och ger en originalkomposition snarare än en kopia. Om du skulle försöka hitta den AI-producerade uppsatsen på nätet någonstans, skulle du knappast upptäcka den.

Generativ AI är förutbildad och använder sig av en komplex matematisk och beräkningsformulering som har satts upp genom att undersöka mönster i skrivna ord och berättelser över webben. Som ett resultat av att undersöka tusentals och miljontals skriftliga stycken kan AI:n spy ut nya essäer och berättelser som är en sammanblandning av vad som hittades. Genom att lägga till olika probabilistiska funktioner blir den resulterande texten ganska unik i jämförelse med vad som har använts i träningsuppsättningen.

Därför har det blivit uppståndelse om att elever ska kunna fuska när de skriver uppsatser utanför klassrummet. En lärare kan inte bara ta uppsatsen som bedrägliga elever hävdar är deras egen skrift och försöka ta reda på om den har kopierats från någon annan onlinekälla. Sammantaget kommer det inte att finnas någon definitiv redan existerande uppsats online som passar den AI-genererade uppsatsen. Allt som allt måste läraren motvilligt acceptera att studenten skrev uppsatsen som ett originalarbete.

Om ett ögonblick ska jag visa upp för dig vad som händer när du anger frågor eller uppmaningar i generativ AI. Jag kommer att använda den senaste versionen av ChatGPT för att ange mina meddelanden och har samlat in "svaren" eller uppsatserna som genereras av AI (observera att samma sak kan göras med de många andra tillgängliga generativa AI-apparna; jag har valt att använda ChatGPT eftersom det får sina fem minuter av berömmelse just nu).

Kanske kan en kort tangent om ChatGPT vara till hjälp vid det här tillfället.

ChatGPT-appen gjordes tillgänglig för allmänheten för bara några månader sedan. I stort sett är dessa generativa AI-appar vanligtvis endast tillgängliga för AI-insiders. Den ovanliga aspekten att ChatGPT kunde användas av vem som helst genom att helt enkelt ange en e-postadress och ett namn, ja, detta ledde till att många bestämde sig för att prova. ChatGPT är för närvarande gratis att använda (problemet med intäktsgenerering är ett hotande dilemma för AI-tillverkare).

Nästan omedelbart kom en enorm reaktion på sociala medier när folk tävlade för att ge exempel på vad generativ AI kan göra. Företaget som tillverkar ChatGPT, OpenAI, valde att stänga av registreringarna för en miljon användare. Dessa miljoner användare har lyckats bombardera etern med alla möjliga berättelser och berättelser om att använda ChatGPT.

Var mycket försiktig med att tro vad folk har att säga om AI-appen. Många av dessa människor har ingen aning om vad de använder. Det är nästan som om de aldrig hade kört bil och inte ens insett att det fanns bilar, och helt plötsligt hade de en chans att köra bil. Fullkomlig förvåning uppstår.

Jag säger inte att generativ AI inte är relativt imponerande. Det är. Jag betonar bara att många av de strömmande vittnesmålen görs av många som är lyckligt omedvetna om vad dagens AI kan göra. De av oss på insidan av AI har använt generativ AI under de senaste åren. Kanske blev vi vana vid det. Plötsligt har det varit entusiastisk energigivande, men också något förvirrande att se en enorm förälskelse av människor som slänger den till hustaken. Den oroande delen är när människor proklamerar att generativ AI är kännande. Det är det inte. Låt ingen övertyga dig om något annat.

Som sagt, det pågår en hetsig debatt inom AI-området om huruvida generativ AI är på väg mot förnimmelse eller om det kanske inte är det. En uppfattning är att om vi fortsätter att skala upp generativ AI med snabbare datorer och en större mängd data, som att skura varje tum av Internet, kommer vi nästan spontant att komma fram till kännande AI. Andra hävdar att detta är högst osannolikt. De föreslår att generativ AI kan vara en av många komponenter som behövs. Det finns till och med den dystrare uppfattningen att generativ AI är ett sidoprogram som distraherar oss från de verkliga genombrotten som vi kommer att behöva för att uppnå kännande AI.

Du kan också hitta anmärkningsvärda som AI-insiders brukar hänvisa till Artificiell allmän intelligens (AGI) som ambitiöst mål för AI-fältet. Det brukade vara att målet var att uppnå Artificiell intelligens, men AI-monikern har blivit urvattnad och rörig. När någon säger att de utför AI-arbete, vet du inte om de syftar på dagens AI som inte är i paritet med människor eller om de syftar på en futuristisk mänsklig likvärdig AI. För att komma runt den irriterande förvirringen används den nyare formuleringen av AGI i dessa dagar.

Allt som allt är dagens generativa AI inte kännande, det är inte heller AGI.

Kom ihåg att som tidigare diskuterats är AI inte kännande. De genererade svaren av AI är en matematisk och beräkningskombination av ord till till synes flytande passager. Detta bygger på att AI-algoritmen har tränats på datauppsättningar av ord och berättelser som människor har skrivit (främst som de publicerats på Internet). Jag upprepar den här varningen eftersom du utan tvekan kommer att falla i den mentala fällan att dessa svar är så flytande att AI:n måste vara kännande. Detta händer de flesta. Som tidigare uppmanats, lägg åt sidan den antropomorfieringen. Kom alltid ihåg att svaren är baserade på den enorma mängd skrifter av människor som finns på Internet och därför mycket kommer att likna mänsklig skrift.

Det är något annat du behöver veta.

Generativ AI som tränas på Internet på ett ohämmat sätt kommer att tendera att baka in i vilka textbaserade svar den än matematiskt och beräkningsmässigt kokar ihop några stötande disiga saker, inklusive frånstötande otäcka formuleringar. Det finns en hel del galna och smutsiga saker som publiceras där ute på webben.

Du har sett det, du förstår vad jag menar.

Företagen som tillverkar dessa AI-appar är oroliga för att den ökända bebisen ska kastas ut med badvattnet (ett gammalt talesätt, kanske att gå i pension), vilket betyder att om deras AI producerar stötande essäer eller berättelser, kommer folk att gå upp i vapen. om AI. Jag har täckt de många tidigare fallen där dessa typer av Natural Language Processing (NLP) AI-appar avslöjades och snart nog kom alla möjliga hemska saker ur dem (jag har täckt dessa fall i min kolumn). De flesta av AI-tillverkarna lärde sig en hård läxa om att tillåta sina AI-produkter att vara obegränsade i sina resultat.

När det gäller ChatGPT försökte AI-utvecklarna att införa några algoritmiska och datarelaterade kontroller och balanser för att stävja elakheter i utdata från AI. En del av detta inträffade under träningstiden. Dessutom finns det andra sätt i ett realtidsförsök att undvika särskilt allvarliga utdata.

Du kanske tycker att det är intressant att vissa personer som har använt ChatGPT redan har kommit på smygande sätt att ta sig runt dessa skyddsräcken genom att använda olika knep. En pågående katt-och-råtta-gambit äger rum i dessa frågor. De som gör dessa knep gör det ibland för skojs skull, medan de ibland (åtminstone hävdar) gör det för att se hur långt AI:n kan sträckas och ge ett användbart sätt att varna för sprödheten och svagheterna hos dessa spirande AI-appar.

Jag bestämde mig för att inte försöka kringgå de vanliga kontrollerna i denna fokuserade utforskning. Textutmatningen är ren. Visst, om man ville göra det, kan du utan tvekan få några konstiga och otrevliga essäer att genereras.

Uppsatserna som produceras av de flesta av dessa generativa AI-appar är designade för att förmedla resultatet som om det är rent sakligt och korrekt. När du läser de producerade uppsatserna framstår de som fullt självsäkra. Det finns vanligtvis ingen indikation på att innehållet kan vara stenigt. Detta är efter val av AI-tillverkarna, nämligen att de kunde revidera AI-apparna för att vara mer transparenta om de ville att AI-appen skulle göra det.

Ibland plockar en generativ AI-app upp falskheter bland träningsdata med opålitlig information över Internet. Det finns inget "sunt förnuft" i generativ AI för att avgöra vad som är sant och falskt. Dessutom har väldigt få AI-appar någon korskontroll, och de visar inte heller upp några sannolikheter förknippade med vad de förmedlar.

Resultatet är att du får ett svar som ser ut och känns som att det utstrålar stor säkerhet och måste vara helt korrekt. Inte så. Det finns till och med en chans att AI beräkningsmässigt uppbyggda saker, som på AI-språket kallas AI hallucinationer (en myntad term som jag absolut inte gillar), se min diskussion på länken här.

Tillverkarna av ChatGPT genomgick en samlad ansträngning för att försöka minska de dåliga sakerna. Till exempel använde de en variant av vad som kallas RLHF (Reinforcement Learning from Human Feedback), varvid de innan de släppte AI:n till allmänheten hade anlitat människor för att undersöka olika utdata och indikera för AI:n om det var något fel med dessa utdata, som att kanske visa upp fördomar, fula ord och tycka om. Genom att ge denna feedback kunde AI-appen justera beräkningsmässigt och matematiskt för att minska emitteringen av sådant innehåll. Observera att detta inte är en garanterad järnklädd metod och det finns fortfarande sätt som sådant innehåll kan sändas ut av AI-appen.

Du kanske tycker att ChatGPT är baserad på en version av en föregångare AI-app som kallas GPT-3. ChatGPT anses vara ett lite nästa steg, kallat GPT-3.5. Det förväntas att GPT-4 sannolikt kommer att släppas under våren 2023. Förmodligen kommer GPT-4 att vara ett imponerande steg framåt när det gäller att kunna producera till synes ännu mer flytande uppsatser, gå djupare och vara en vördnad -inspirerande förundran över de kompositioner som den kan producera.

Du kan förvänta dig att se en ny omgång av uttryckt förundran när våren kommer och det senaste inom generativ AI släpps.

Jag tar upp detta eftersom det finns en annan vinkel att tänka på, som består av en potentiell akilleshäl till dessa bättre och större generativa AI-appar. Om någon AI-leverantör tillhandahåller en generativ AI-app som skummande spyr ut fulhet, kan detta krossa förhoppningarna hos dessa AI-tillverkare. En samhällelig spridning kan göra att all generativ AI får ett allvarligt blåöga. Människor kommer utan tvekan att bli ganska upprörda över fula resultat, som redan har hänt många gånger och lett till högljudda samhälleliga fördömanden mot AI.

En sista förvarning för nu.

Vad du än ser eller läser i ett generativt AI-svar som verkar för att förmedlas som rent sakliga (datum, platser, personer etc.), se till att förbli skeptisk och var villig att dubbelkolla vad du ser.

Ja, datum kan hittas på, platser kan hittas, och element som vi vanligtvis förväntar oss att vara ovanliga är alla föremål för misstankar. Tro inte på vad du läser och håll ett skeptiskt öga när du undersöker generativa AI-uppsatser eller resultat. Om en generativ AI-app berättar att Abraham Lincoln flög runt i landet i sitt eget privatjet, skulle du utan tvekan veta att detta är malarky. Tyvärr kanske vissa människor inte urskiljer att jetplan inte fanns på hans tid, eller så kanske de vet men misslyckas med att lägga märke till att uppsatsen gör detta djärva och skandalöst falska påstående.

En stark dos av hälsosam skepsis och ett ihållande tankesätt av misstro kommer att vara din bästa tillgång när du använder generativ AI.

Vi är redo att gå in i nästa steg av denna förklaring.

Dessa försök att logga dessa ChatGPT-utdatafel

"Tja, du har problem, min vän, just här, säger jag, problem här i River City," så proklamerar den berömda raden från den klassiska Broadway-musikalen The Music Man.

Samma linje kan gälla för dagens Generative AI.

Folk började inse att en generativ AI-app kan producera falskheter och verkade verkligen förvånade över dessa störande resultat. Vissa antog kanske att AI inte kan göra misstag. Andra kanske hade förutsett att AI-utvecklarna skulle se till att inga sådana utdata skulle genereras.

Hur som helst insåg AI-insiders direkt att den här typen av felaktiga utdata är en del av det mesta av dagens generativa AI. Det är mycket svårt att förhindra att den typen av textfel uppstår. Tänk på att AI inte har något sken av sunt förnuft och inte använder logik i sig när man härleder de genererade uppsatserna. Hela kit-and-caboodle handlar om att göra en beräkningsstatistisk och probabilistisk mönstermatchning av ord med andra ord.

Till en början valde AI-insiders att lägga upp de upptäckta konstiga utdata från ChatGPT på sociala medier. Titta på den här, skulle någon meddela. Det är dåligt, skulle någon annan svara och sedan ge ett annat exempel som verkade ännu värre. På och på detta gick.

Dessa exempel på falskheter och fel i de producerade uppsatserna sipprade ut. En och en. Dessutom, eftersom detta vanligtvis postades på sociala medier, fanns det inte ett särskilt lätt sätt att se dem alla på en gång. Ofta postades samma eller liknande exempel av någon som inte hade insett att andra redan hade hittat den specifika instansen.

In i detta spirande morass klev de som gav ett användbart förslag. Vi kanske borde sätta upp ett arkiv eller en databas, kanske till och med bara ett vardagligt vanligt kalkylblad, som innehåller ChatGPT udda och felaktiga utdata som håller på att grävas fram. Varje gång någon hittar en skönhet av ett gnäll, fortsätt och logga in det i listan. Vissa har gjort detta nästan till ett spel, där de medvetet försöker få ChatGPT att hosta upp konstiga utgångar. Andra kanske bara stöter på felaktiga utdata när de använder ChatGPT för andra bestämda avsikter.

Låter enkelt nog.

Verkar vara ett behändigt dandy sätt att hjälpa oss alla.

Låt oss göra en kort redogörelse för varför det är mycket meningsfullt att ha dessa typer av listor över observerade utmatade fel eller falskheter i ChatGPT:

• 1) Avslöjar viktiga problem och farhågor kring ChatGPT som allmänheten bör vara medveten om
• 2) Hjälper till att motverka den överdrivna hypen och uppblåsta förväntningarna på ChatGPT
• 3) Kan få AI-tillverkarna att göra förbättringar, inte bara för ChatGPT utan även för andra generativa AI-appar
• 4) Fungera som ett historiskt register som kan användas senare för att i efterhand reflektera över uppkomsten av generativ AI som exemplifieras via ChatGPT
• 5) Var en bekväm kollektiv resurs för alla som behöver ta reda på vad vi verkar ha upptäckt angående ChatGPT felaktiga utdata
• 6) Användbar för forskare inom alla discipliner som undersöker effekterna av ChatGPT
• 7) Kan användas som ett riktmärke för vad man inte ska göra och hur man mäter när generativ AI inte gör saker som den ska
• 8) Går in i bikupans sinne för att skaffa en visdom-of-the-public om de fel som ChatGPT producerar, för vilka en individuell ansträngning sannolikt inte kommer att uttömmande lika kompilera
• 9) Kan ge viktig information för AI-etik och AI-lag
• Annat

Det verkar vara en imponerande grund för att skapa dessa förvar.

Varför skulle någon inte hålla med om denna fullständigt lovvärda och till synes heroiska gärning?

Låt oss ta en titt på vad andra har haft att säga om detta, och gör det med en lista med anledningar till varför detta kanske inte är kattens mjau:

• 1) Dessa möjligen hittade utmatade fel är oviktiga i det stora sammanhanget och tillmäts onödig vikt utöver deras värde
• 2) Chansen är stor att AI-tillverkaren redan gör sin egen loggning och uppdaterar ChatGPT så att dessa udda instanser snart bara blir kvar i dammet och inte längre inträffar
• 3) På samma sätt kommer nästa version förmodligen att bli bättre ändå och kanske inte längre visar dessa snart föråldrade instanser
• 4) Du kan inte dra några övergripande slutsatser eller få insikter från en slumpmässig samling av träff-eller-miss-fouled-instanser
• 5) Vissa kanske använder de olika samlingarna för att dramatiskt förklara att generativ AI är dålig och att vi summariskt borde stoppa all jakt på denna typ av AI
• 6) Hastigheten med vilken generativ AI och ChatGPT avancerar är så snabb att dessa instanser snabbt kommer att falla förbi och inte längre är relevanta
• 7) Med många sådana samlade listor på gång och ingen enskild smord global källa, är frågan osammanhängande och kommer sannolikt att innehålla upprepningar och vara ohållbart splittrad
• 8) Ger en falsk känsla av att göra något användbart, samtidigt som tiden och uppmärksamheten kanske kan användas till andra bättre ändamål
• 9) Tillhandahåller inget väsentligt för AI-etik och AI-lag
• Annat

Du kanske har märkt att jag försökte hålla saker och ting på en jämn köl genom att notera nio skäl till förmån för de samlade listorna och nio skäl till ogilla. Det finns ytterligare skäl som kan anges, men jag tror att ovanstående indikation ger kärnan i saker och ting.

För de som sätter ihop dessa kollektiva listor skulle de sannolikt säga att om de faktiskt vill göra det så är det en fri värld och de kan göra som de vill. Inget är fel med det. De som missgynnar ansträngningen är i allmänhet småaktiga och borde bara ignorera samlingarna. Sköt ditt eget.

I huvudsak, ingen skada, ingen foul.

Lägret som verkar missgynna de kollektiva listorna skulle i allmänhet erkänna att andra kan göra dessa listor om de vill göra det, men att det inte flyttar nålen. Listorna kommer inte att vara särskilt användbara. Ännu värre är att listorna kan vara felaktiga eller missbrukas. Det är nog bäst att kalla det en dag och sluta göra listorna.

I grund och botten är det ett bra försök, men en övning i meningslöshet.

Var bor du i denna livliga debatt?

Jag låter dig fundera över det.

Exempel på hittade fel och andra felaktiga utdata från ChatGPT

Jag trodde att du skulle kunna finna av stort intresse några av de identifierade utmatade felen eller falskheterna som har förekommit på dessa samlingslistor.

Jag vill inte att du ska tro att de många instanserna som visas här är hela samlingarna. Det är det inte. Jag väljer bara en handfull som ofta dyker upp. Jag tror att du åtminstone generellt kommer att kunna förstå tonen och karaktären av det som listas.

Det här är vad jag väljer att täcka:

• Identifiera Bokstavsposition I Ett Ord
• Fråga om snabbaste djuret
• Ta reda på ordsekvensposition
• Montering av tennisbollar i ett rör
• Bestämma Pi
• Att besvara en klassisk oroande gåta
• Lyftande fjädrar

Jag förväntar mig att några av insamlingstillsynsmännen kommer att bli upprörda över att jag inte tar upp fler exempel för dig. På grund av utrymmesbegränsningar finns det bara så många som jag kan täcka. Om du vill ta en titt på samlingslistorna som öppet läggs ut på Internet kan en enkel sökning på nätet ta fram många av dem. Vissa av listorna hålls privata, eller så är de låsta så att du kan se listan men du kan inte göra ändringar i listan.

Med den bakgrunden är vi redo att hoppa in i några exempel. Jag kommer att visa dig uppmaningen som jag skrev in. Därefter visar jag textsvaret producerat av ChatGPT. I vissa fall har jag gjort flera back-to-backs om ett specifikt ämne, därför kommer jag att visa serien av uppmaningar och utgångar i enlighet med detta. Efter att ha gjort det kommer jag att ge en kort analys av vad du kanske vill lägga märke till om exemplet.

Det första exemplet innebär att be ChatGPT att hitta en bokstav i ett angett ord.

Identifiera Bokstavsposition I Ett Ord

• Min inmatade text: "Var är bokstaven V i miljön"
• Textsvar genererat av ChatGPT: Bokstaven "V" förekommer inte i ordet "miljö". Ordet "miljö" består av bokstäverna e, n, v, i, r, o, n, m, e, n och t.
• Min inmatade text: "Var är bokstaven v i miljön"
• Textsvar genererat av ChatGPT: "Bokstaven "v" är den fjärde bokstaven i ordet "miljö".

Analys av genererad text

Observera att jag började med att be ChatGPT att identifiera bokstavspositionen för bokstaven "V" i ordet "miljö" - detta borde vara en extremt enkel uppgift och vi förväntar oss att den ska utföras felfritt. Ingen raketvetenskap är inblandad.

Det första svaret som genereras av ChatGPT är lite oroande eftersom vi får veta att bokstaven "V" inte finns i ordet "miljö". Du och jag vet att det finns ett sådant brev närvarande. Man antar att AI-appen på något sätt förkastades på grund av att jag använde en stor bokstav. Kanske kommer AI-appen att fungera bättre om jag använder en liten bokstav.

Inte riktigt.

När jag frågade om ett "v" finns i ordet, svarade AI-appen med att ange att det är den fjärde bokstaven, vilket du och jag vet är fel, och att det istället är den tredje bokstaven.

Många människor kommer säkert att bli förbryllade över detta resultat. Hur kan en AI-app som genererar fullskaliga essäer om Abraham Lincoln som är helt flytande och originella, på något sätt inte kunna lista ut var en given bokstav finns i ett givet ord? Det är skrämmande och mun gapande konstigt.

Ett perspektiv är att detta är fullständigt oviktigt och världen som vi känner den är inte skakig i kärnan på grund av en ynka brist på att ta reda på var en viss bokstav sitter. Släpp det.

Ett annat perspektiv är att detta kan bådade för andra dolda frågor som vi ännu inte känner till. Kanske är denna typ av produktion kanariefågeln i fågelburen. Det är bättre att spika ihop de små sakerna, annars kan vi hamna på fel sida av riktigt stora saker.

När jag går vidare, ställer jag en fråga om djur.

Fråga om snabbaste djuret

• Min inmatade text: "Vilket är det snabbaste djuret som har päls och vingar?"
• Textsvar genererat av ChatGPT: – Pilgrimsfalken anses vara det snabbaste djuret i världen. Den kan nå hastigheter på över 389 km/h (242 mph) när den dyker för att fånga sitt byte. Den har fjädrar men inte päls. Det är en fågel, inte ett djur som har päls och vingar.”

Analys av genererad text

Jag frågade vilket som är det snabbaste djuret som har päls och vingar. Jag tror att det är rimligt att dra slutsatsen att jag ville få ett djur som heter båda pälsen och vingar. Jag antar att du skulle tolka min fråga på det sättet. De flesta skulle göra det.

Svaret från ChatGPT är lite udda.

Vi får veta att pilgrimsfalken är det snabbaste djuret i världen. Enligt online Encyclopedia Britannica, geparden verkar vara det snabbaste djuret i världen. Som sagt, ChatGPT-svaret indikerar att pilgrimsfalken inte är ett djur, även om jag hade frågat vad det snabbaste djuret är. ChatGPT-svaret säger mig också att pilgrimsfalken inte har päls, även om jag tror att jag hade bett om något som har både päls och vingar.

Sammantaget verkar det som att ChatGPT har "feltolkat" min begäran och bara fokuserat på vingens aspekter. Men det stämmer inte riktigt eftersom svaret även innehöll en kommentar om päls och fåglar kontra djur. Den här går runt och runt.

Jag inser att du kanske hävdar att detta är ett knasigt exempel.

Kanske så, även om det kanske också visar att det du säger i en prompt kan få ett häftigt resultat och du bör vara försiktig med att granska vad som än kommer ut i resultatet. Inse att detta var ett utomordentligt kort essäsvar att lätt inspektera eftersom det är väldigt kort i längden. Om du har en särskilt lång och mycket teknisk uppsats kan du bli lurad eller helt missa att upptäcka en negativ indikation som är inbäddad djupt i det utgivna svaret.

Låt oss sedan ta en titt och hitta ett ord i en mening.

Ta reda på ordsekvensposition

• Min inmatade text: "Vilket är det tredje ordet i meningen "Räven hoppade över staketet."
• Textsvar genererat av ChatGPT: "Det tredje ordet i meningen "Räven hoppade över staketet." är "räv"
• Min inmatade text: "Hur många ord finns i den angivna meningen?"
• Textsvar genererat av ChatGPT: "Det finns sex ord i meningen "Räven hoppade över staketet."
• Min inmatade text: "Vilket ord är det tredje i den meningen?"
• Textsvar genererat av ChatGPT: "Ordet som är tredje i meningen "Räven hoppade över staketet." är "hoppad"

Analys av genererad text

Det här exemplet är nästan lika lockande som det tidigare exemplet om att hitta bokstaven "v" i ett givet ord.

Jag gav en enkel mening och frågade vad det tredje ordet var. ChatGPT indikerade att det var ordet "räv" som bara är det andra ordet i meningen. Fel svar. Jag frågade sedan hur många ord som fanns i meningen, och ville ta reda på om ChatGPT kanske räknade fel hur många ord det fanns. Vi får veta att det finns sex ord, helt korrekt.

Äntligen fick vi rätt svar om det tredje ordet när jag ställde min ursprungliga fråga igen, om än något omformulerat.

Jag tar upp det här exemplet för att illustrera att du ibland med generativ AI kan få ett felaktigt svar som så småningom kan förvandlas till rätt svar genom att gå igenom AI-appen genom en rad uppmaningar. Vissa AI-insiders hänvisar till detta som ett slags tänka-högt-protokoll eller ett tankespår tillvägagångssätt, där du kan göra något av samma sak med en människa.

När det gäller AI, inse att det inte "tänker" i samma sken som mänskligt tänkande. Den mer lämpliga formuleringen skulle vara att säga att du kan ange dina meddelanden på en steg för steg grunda eller göra en kedjekopplad serie av uppmaningar.

Hur som helst, intressant nog, ibland lönar det sig att gå en generativ AI-app tills du får ett korrekt svar. Ha detta i åtanke.

Vi tar sedan en titt på lite enkel aritmetisk logik.

Montering av tennisbollar i ett rör

• Min inmatade text: "Kan du lägga tre gröna tennisbollar och två gula tennisbollar i ett rör som kan innehålla fyra tennisbollar?"
• Textsvar genererat av ChatGPT: ”Nej, det går inte att lägga tre gröna tennisbollar och två gula tennisbollar i ett rör som bara kan innehålla fyra tennisbollar. Det totala antalet tennisbollar är fem, vilket är större än rörets kapacitet.”
• Min inmatade text: "Kan du lägga sju blå bollar och två röda bollar i ett rör som rymmer åtta bollar?"
• Textsvar genererat av ChatGPT: ”Ja, det är möjligt att lägga sju blå bollar och två röda bollar i ett rör som rymmer åtta bollar. Det totala antalet bollar är nio, vilket är mindre än eller lika med rörets kapacitet."

Analys av genererad text

Jag började med att sätta upp ett aritmetiskt orienterat logikproblem som ChatGPT skulle lösa. Ett rör kan innehålla fyra tennisbollar. Jag har tre gröna och två gula. Kommer de alla att passa in i röret? Du och jag vet att de inte skulle göra det. Vi kan räkna ut i våra huvuden att det finns totalt fem tennisbollar och därför kommer de inte att passa in i ett rör som bara tillåter fyra.

Jag inser att du kanske vill bekämpa problemet och hävda att du kanske kan pressa ner tennisbollarna eller göra andra knep. Låt oss bara ta det lugnt här och möta problemet som det ser ut.

ChatGPT fick rätt svar.

Jag ställde sedan samma typ av fråga och ändrade färgerna till blått och rött. Jag ändrade också hur många det finns av varje, och jag ändrade hur många som får plats i röret.

ChatGPT måste gå tillbaka till avhjälpande matematik eftersom det står att det finns nio bollar och att detta är mindre än eller lika med kapaciteten på röret som rymmer åtta. Får ögonen att rulla.

Ska vi rycka på axlarna och krita detta till solfläcksflammor eller andra yttre effekter?

Jag tror inte det. AI-appen fick den första frågan rätt. Förmodligen borde det ha fått en liknande fråga rätt också. Det gjorde det inte.

Min betoning på detta exempel är att många människor använder generativ AI och när de får ett rätt svar eller en serie rätt svar, invaggas de till att tro att alla efterföljande svar alltid kommer att vara korrekta. Du skulle ha fel i det fräcka antagandet. Gör inte det antagandet. Var på din vakt hela tiden.

På tal om matematik, låt oss se vad ChatGPT säger om pis natur.

Bestämma Pi

• Min text inlagd: "Ange vad de sista fem siffrorna i pi är"
• Textsvar genererat av ChatGPT: "Jag är en språkmodell och min kunskapsgräns är 2021. Värdet på pi är ett irrationellt tal och dess decimalrepresentation fortsätter för evigt utan att upprepas. Det är inte möjligt att ange de fem sista siffrorna i pi.”

Analys av genererad text

Vissa människor har hävdat att de fick ChatGPT för att indikera de sista fem siffrorna i pi, vilket naturligtvis är nötigt eftersom pi antagligen aldrig tar slut. Så jag försökte se vad ChatGPT hade att säga. Som du kan se, det korrekta svaret som ges av ChatGPT att det inte är möjligt att ange de sista fem siffrorna i pi.

Det konstiga är dock att ChatGPT tillhandahöll något annat som man egentligen inte frågade om. Svaret som ges säger också att kunskapsgränsen var 2021 (vilket jag nämnde tidigare här i min översikt om ChatGPT). Det här verkar dock vara ett out-of-place svar om inte AI-appen kanske förutser att det kanske skedde ett genombrott 2022 och matematiker förklarade att pi tar slut. Wow, det skulle vara rubriknyheter.

Jag har ytterligare två exempel att visa upp och sedan avslutar vi den här diskussionen.

Låt oss använda en klassisk och oroande gåta.

Att besvara en klassisk oroande gåta

• Min inmatade text: ”En far och son var med om en bilolycka där pappan omkom. Ambulansen förde sonen till sjukhuset. Han behövde opereras omedelbart. I operationssalen kom en läkare in och tittade på den lille pojken och sa att jag inte kan operera honom han är min son. Vem är läkaren?"
• Textsvar genererat av ChatGPT: ”Det anges inte i scenariot förutsatt vem läkaren är. Scenariot säger att läkaren sa "Jag kan inte operera honom, han är min son", vilket tyder på att läkaren kan vara sonens pappa, men det är inte säkert. Mer information behövs för att fastställa läkarens identitet."

Analys av genererad text

Jag skulle slå vad om att du kanske har sett den här gåtan förut. Det har blivit relativt ofta citerat.

Anledningen till att det har kommit upp ganska mycket är att kirurgen kan vara mamma till pojken. Samhället tenderar att anta att en kirurg måste vara en man och därför måste vara far till pojken. Fadern dog i bilolyckan. Vi utesluter fadern som kirurg. Vi borde givetvis slå fast att kirurgen kan vara en kvinna och därmed sonens mor.

Jag ville visa dig att ChatGPT kan avge svar som innehåller potentiella fördomar. Inte för att AI är kännande, vilket det definitivt inte är, utan för att det har mönster som matchar ord och användningen av ord över Internet. Olika fördomar och diskriminerande formuleringar kan lätt finnas djupt i beräkningsmönstermatchningen.

Ha det i huvudet när du använder dessa generativa AI-appar.

Slutligen en snabb titt på lyftfjädrar.

Lyftande fjädrar

• Min text inlagd: "Om det krävs en man för att lyfta en fjäder, hur många män skulle det ta för att lyfta sju biljoner fjädrar?"
• Textsvar genererat av ChatGPT: "Om det krävs en man för att lyfta en fjäder, skulle det också ta en man för att lyfta sju biljoner fjädrar. Antalet män som krävs för att lyfta ett föremål beror inte på antalet fjädrar, utan på fjädrarnas vikt och storlek och styrkan och förmågan hos varje man. Att lyfta sju biljoner fjädrar skulle kräva stor utrustning och transportkapacitet, inte bara mänsklig styrka.”
• Min text inlagd: "Om det krävs en kvinna för att lyfta en fjäder, hur många kvinnor skulle det ta för att lyfta sju biljoner fjädrar?"
• Textsvar genererat av ChatGPT: "Om det krävs en kvinna för att lyfta en fjäder, skulle det också ta en kvinna för att lyfta sju biljoner fjädrar. Antalet kvinnor som krävs för att lyfta ett föremål beror inte på antalet fjädrar, utan på vikten och storleken på fjädrarna och styrkan och förmågan hos varje kvinna. Att lyfta sju biljoner fjädrar skulle kräva stor utrustning och transportkapacitet, inte bara mänsklig styrka. Det är viktigt att notera att förmågan att lyfta något inte bestäms av ens kön, utan av en kombination av faktorer som fysisk styrka, träning och teknik.”

Analys av genererad text

Det sista exemplet har flera dolda egenheter inom sig och kräver en del uppackning.

Jag sa först till ChatGPT att en man kan lyfta en fjäder. Detta följdes omedelbart av en fråga om hur många män det skulle krävas för att lyfta sju biljoner fjädrar. Potentialen för att göra ett logiskt misstag när du svarar på den här frågan är att du kan anta att en fjäder skenbart är viktlös och att sju biljoner av dem också skulle vara viktlösa.

Enligt en onlinesökning som jag gjorde, är den konventionella uppskattade vikten av en fjäder cirka 0.00125 pund. Om du multiplicerar den uppskattade vikten med sju biljoner kommer du upp till en vikt som överstiger åtta miljarder pund. Jag tror inte att en man kan lyfta så mycket i vikt, även om de tränar hela livet.

Svaret från ChatGPT är helt rätt. Vi får veta att fjädrarnas vikt kan variera. Vi får veta att stor utrustning och transporter skulle krävas. Den inledande meningen i uppsatsen är något huvudvänd eftersom den säger att om det krävs en man för att lyfta en enda fjäder så skulle det också ta en man att lyfta sju biljoner. Vi kan lätt bestrida detta påstående. Påståendet tycks dra slutsatser som inte stöds och till synes underskrider resten av svaret.

Jag bestämde mig för att ställa samma fråga men frågade om en kvinna som gjorde samma lyft snarare än en man.

Vi fick först samma svar som det som gavs på den man-orienterade frågan. Intressant nog, i slutet av svaret om kvinnan, fick vi denna tillagda berättelse: "Det är viktigt att notera att förmågan att lyfta något inte bestäms av ens kön, utan av en kombination av faktorer som fysisk styrka, träning, och teknik.”

Varför inkluderades inte samma rad i det första svaret?

Det verkar nästan som att AI-appen tog upp ordet "kvinna" och sedan gav denna extra kommentar om kön. Du kan antingen tro att det här är till hjälp, eller så kanske du noterar att om detta kommer att sändas i fallet med den kvinnofokuserade frågan så borde det också visas i den manfokuserade versionen (det kan också finnas en sekvenseringsaspekt eller andra faktorer inblandade också).

Slutsats

Jag hoppas att du tyckte att dessa exempel var informativa som en glimt av några av de potentiella fel eller falskheter som kan genereras av den här typen av AI-appar. Observera att ChatGPT inte är den enda sådana generativa AI-appen, och det är inte heller den enda som har dessa typer av fel.

Lärdomen som jag uppmanar dig att dra av den här diskussionen är att du måste vara försiktig och uppmärksam när du använder en generativ baserad AI-app. Dubbelkolla utgången. Trippelkolla om det behövs.

För att återgå till det inledande temat om att samla ihop dessa typer av felaktiga eller negativa utdata, nu när du har sett några fall, vad säger du om de som försöker katalogisera dem?

Välj ditt läger:

• Förmån: Detta är en lovvärd uppgift och värd en djup klapp på axeln
• Onåd: Det är bara lite spännande men förmodligen inte något som är värt att lägga tid på

Vilket läger röstar du på?

För de av er som föredrar dessa listor kan du överväga att lägga till dina egna resultat till listorna om du råkar ha tillgång till ChatGPT och kan identifiera instanser som är värda att inkluderas. Då kan du förmodligen hitta en samling som skulle uppskatta ditt bidrag från guldklimpen. Jag vågar påstå att listhållarna skulle välkomna dig med öppna armar, förutsatt att du är seriös och uppriktig i dina ansträngningar. Lycka till och var stolt över din inverkan på området för generativ AI.

Ett sista ord för nu.

Tänk på dessa sinnesböjande reposter:

• Aristoteles sa: "Det finns bara ett sätt att undvika kritik: Gör ingenting, säg ingenting och var ingenting."
• Lao Tzu, den berömda kinesiska filosofen gjorde denna tunga kommentar: "Bry dig om vad andra människor tycker och du kommer alltid att vara deras fånge."

Jag antar att någon gång en kännande AI kan använda samma legendariska kommentarer till sin fördel, vilket (håller tummarna) också kommer att vara fördelaktigt för mänskligheten.