GPT-3

GPT-3

Generativ förutbildad transformator 3 (GPT-3) är en autoregressiv språklig modell, som använder djupinlärning för att skapa mänsklig text. Detta är tredje generationens språkprognosmodell i GPT-n-serien (och efterträdare till GPT-2) skapad av OpenAI, ett forskningslaboratorium för artificiell intelligens baserat i San Francisco. Den fullständiga versionen av GPT-3 har kapacitet 175 miljarder maskininlärningsparametrar. GPT-3, som introducerades i maj 2020 år, och från juli 2020 året var i betatestning, överensstämmer med utvecklingen av naturliga språkbearbetningssystem (NLP) om förutbildade språkliga framställningar. Innan GPT-3 släpptes var Microsofts Turing NLG den största språkmodellen, infördes i februari 2020 år, kapacitet 17 miljarder parametrar, det vill säga mindre än en tiondel av GPT-3.

Kvaliteten på texten som genereras av GPT-3 är så hög, att det är svårt att skilja från mänsklig skriven text, som har båda fördelarna, och hot. Trettio OpenAI-forskare och ingenjörer skickade in originalet från 28 Maj 2020 r. inledande GPT-3. I sitt dokument varnade de för de potentiella farorna med GPT-3 och efterlyste forskning för att mildra riskerna. David Chalmers, en australisk filosof, beskrivs GPT-3 som “ett av de mest intressanta och viktiga AI-systemen, någonsin producerat.”

Microsoft meddelade 22 September 2020 r., att det har licensierat “exklusiv” användning av GPT-3; andra kan fortfarande använda det offentliga API: et, för att få utdata, men endast Microsoft har kontroll över källkoden.

Według The Economist, förbättrade algoritmer, kraftfulla datorer och ökningen av digitaliserad data drivte till en revolution inom maskininlärning, med nya tekniker under 2010 “snabba uppgraderingar i uppdrag”, inklusive språkmanipulation. Programvarumodeller utbildas för att lära sig med tusentals eller miljoner exempel i “strukturera . … löst baserat på hjärnans neurala arkitektur”. En av arkitekturerna som används vid bearbetning av naturligt språk (NLP) är ett neuralt nätverk baserat på en djup inlärningsmodell, som först introducerades i 2017 år – Transformator. GPT-n-modellerna är baserade på neurala nätverksarkitekturen för Transformer deep learning. Det finns många NLP-system som kan bearbetas, brytning, organisera, ansluter, kontrasterande, förstå och generera svar på frågor.

11 Juni 2018 r. OpenAI-forskare och ingenjörer har lagt upp sin originalartikel om generativa språkmodeller – system för artificiell intelligens – som kan förutbildas med en enorm och varierad text genom datauppsättningar, pågående, som de kallade generativ introduktionsträning (GP). Författarna beskrev, som språkförståelse i naturlig språkbehandling (NLP) har fixats i GPT-n genom en process “generativ grundutbildning av en språkmodell på en olik tagg text, följt av diskriminerande finjustering för varje specifik uppgift”. Detta eliminerade behovet av mänsklig tillsyn och tidskrävande manuell märkning.

I februari 2020 Microsoft introducerade sin Turing Natural Language Generation (T-NLG), vem var då “den största språkmodellen, som någonsin publicerades kl 17 miljarder parametrar.” Det överträffade alla andra språkmodeller i en mängd olika uppgifter, som innehöll sammanfattande texter och svar på frågor.

28 Maj 2020 på arXiv dök upp en förtryck av gruppen 31 ingenjörer och forskare från OpenAI, beskriver utvecklingen av GPT-3, “toppmodern språkmodell” tredje generationen. Teamet ökade kapaciteten för GPT-3 med mer än två storleksordningar jämfört med sin föregångare, GPT-2, vilket gör GPT-3 till den största obehandlade språkmodellen hittills. Det större antalet parametrar för GPT-3 ger den en högre noggrannhet än tidigare versioner med lägre kapacitet. Kapaciteten för GPT-3 är tio gånger kapaciteten för Microsofts Turing NLG.

Sextio procent av den viktade förutbildningsdataset för GPT-3 kommer från en filtrerad version av Common Crawl bestående av 410 miljarder tokens kodade i par byte. Andra källor inkluderar 19 miljarder tokens från WebText2 som representerar 22% viktad helhet, 12 miljarder tokens från Books1 som representerar 8%, 55 miljarder tokens från Books2 som representerar 8% och 3 Miljarder token från Wikipedia som representerar 3%. GPT-3 har utbildats i hundratals miljarder ord och kan koda bland andra. w CSS, JSX, Pytonorm. Eftersom GPT-3-träningsdata var omfattande, det kräver ingen vidareutbildning för separata språkuppgifter.

11 Juni 2020 OpenAI tillkännagav året, att användare kan begära åtkomst till det användarvänliga GPT-3 API – “Verktygssats för maskininlärning” – för att hjälpa OpenAI “utforska styrkor och begränsningar” denna nya teknik. Inbjudan som beskrivs, att detta API har ett allmänt gränssnitt “text in, text ut”, vilket det kan göra nästan “varje uppgift på engelska”, istället för det vanliga engångsfallet. Enligt en av användarna, som hade tillgång till den privata tidiga utgåvan av GPT-3 OpenAI API, GPT-3 var “otroligt bra” i skrift “en otroligt sammanhängande text” med bara några enkla uppmaningar.

Eftersom GPT-3 kan “generera informativa artiklar, som människor utvärderar har svårt att skilja från mänskliga skrivna artiklar”, GPT-3 ma “potential, att gå framåt båda fördelaktigt, och de skadliga användningarna av språkliga modeller.” I sin artikel med 28 Maj 2020 r. forskare beskrev de potentiella i detalj “skadliga effekter av GPT-3”, vilket innefattar “desinformation, skräppost, nätfiske, missbruk av juridiska och statliga processer, bedräglig akademisk uppsatsskrivning och förevändning socialteknik” Författarna påpekar dessa faror, att kräva forskning om riskreducering.

I recensionen av 29 Juli 2020 r. w The New York Times, Sa Farhad Manjoo, den GPT-3 – som kan generera datorkod och poesi, såväl som prosa – är inte bara “Fantastisk”, “upiorny” i “pokorny”, men också “mer än lite skrämmande”. Daily Nous presenterade en serie artiklar av nio filosofer på GPT-3. Den australiensiska filosofen David Chalmers beskrev GPT-3 som “ett av de mest intressanta AI-systemen, någonsin gjort”.

Daily Nous presenterade en serie artiklar av nio filosofer på GPT-3. Den australiensiska filosofen David Chalmers beskrev GPT-3 som “ett av de mest intressanta och viktiga AI-systemen, någonsin producerat”.
En recension i Wired sa, den GPT-3 “orsakar frossa i hela Silicon Valley”.

En artikel i Towards Data Science uppgav, att GPT-3 har utbildats i hundratals miljarder ord och kan kodas i CSS, JSX, Python och andra språk.

National Law Review uppgav, som GPT-3 är “ett imponerande steg i en större process”, med OpenAI och andra “användbara användningsområden för all den kraften”, medan du fortsätter “arbeta för en mer allmän intelligens”.

I en artikel i MIT Technology Review, medförfattare av kritikern av Deep Learning, Gary Marcus, hittades, den GPT-3 “förståelse för världen störs ofta allvarligt, som betyder, att du aldrig riktigt kan lita på det, vad säger han.” Enligt författarna, GPT-3 modellerar förhållandet mellan ord, inte förstå innebörden bakom varje ord.

Jerome Pesenti, chef för Facebook-laboratoriet A.I., Han sa, som GPT-3 är “farlig”, pekar på sexistiska, rasistiska och andra partiska och negativa språk som genereras av systemet, när han ombads att diskutera judarna, kvinnor, svarta människor och förintelsen.

Nabla, Fransk nystartad verksamhet som specialiserar sig på sjukvårdsteknik, testade GPT-3 som en medicinsk chatbot, även om OpenAI själv varnade för sådan användning. Som förväntat, GPT-3 visade flera begränsningar. T.ex, när man testar GPT-3-svar om ämnen relaterade till mental hälsa, AI rekommenderade den simulerade patienten att begå självmord.

GPT-3 användes av Andrew Mayne i AI Writer, vilket gör att människor kan korrespondera med historiska siffror via e-post.

GPT-3 användes av Jason Rohrer i ett chatbot-projekt som kallades “Projekt december”, som är tillgängligt online och tillåter användare att chatta med flera AI: er med GPT-3-teknik.

GPT-3 användes av The Guardian för att skriva en artikel om det, att AI är ofarligt för människor. Han fick flera idéer och åtta olika uppsatser producerades, som så småningom kombinerades till en enda artikel.

GPT-3 används i AI Dungeon, som genererar textäventyrspel.

Lämna ett svar

Din e-postadress kommer inte att publiceras. behövliga fält är markerade *