GPT-3

GPT-3

Generativ foruddannet transformer 3 (GPT-3) er en autoregressiv sproglig model, som bruger dyb læring til at skabe menneskelignende tekst. Dette er tredje generation af sprogforudsigelsesmodel i GPT-n-serien (og efterfølger til GPT-2) oprettet af OpenAI, et forskningslaboratorium for kunstig intelligens med base i San Francisco. Den fulde version af GPT-3 har kapaciteten 175 milliarder af maskinindlæringsparametre. GPT-3, som blev introduceret i maj 2020 år, og fra juli 2020 året var i beta-test, er i tråd med udviklingen inden for naturlige sprogbehandlingssystemer (NLP) om foruddannede sproglige fremstillinger. Før frigivelsen af ​​GPT-3 var Microsofts Turing NLG den største sprogmodel, blev introduceret i februar 2020 år, af en kapacitet 17 milliarder af parametre, det vil sige mindre end en tiendedel af GPT-3.

Kvaliteten af ​​den tekst, der genereres af GPT-3, er så høj, at det er vanskeligt at skelne fra menneskeskrevet tekst, som har begge fordele, og trusler. 31 OpenAI-forskere og ingeniører sendte originalopgaven fra 28 Kan 2020 r. indledende GPT-3. I deres dokument advarede de om de potentielle farer ved GPT-3 og opfordrede til forskning for at mindske risikoen. David Chalmers, en australsk filosof, beskrevet GPT-3 som “et af de mest interessante og vigtige AI-systemer, nogensinde produceret.”

Microsoft meddelte 22 september 2020 r., at det har givet licens til “eksklusiv” brug af GPT-3; andre bruger muligvis stadig den offentlige API, for at få output, men kun Microsoft har kontrol over kildekoden.

Według The Economist, forbedrede algoritmer, magtfulde computere og stigningen i digitaliserede data brændte en revolution inden for maskinlæring, med nye teknikker i 2010 er effektive “hurtige opgraderinger i quests”, herunder sprogmanipulation. Softwaremodeller er uddannet til at lære ved hjælp af tusinder eller millioner af eksempler i “struktur . … løst baseret på hjernens neurale arkitektur”. En af de arkitekturer, der anvendes i naturlig sprogbehandling (NLP) er et neuralt netværk baseret på en dyb læringsmodel, som først blev introduceret i 2017 år – Transformer. GPT-n-modeller er baseret på Transformer dyb læring neuralt netværksarkitektur. Der er mange NLP-systemer, der kan behandles, minedrift, organisering, Tilslutning, kontrasterende, forståelse og generere svar på spørgsmål.

11 juni 2018 r. OpenAI forskere og ingeniører har sendt deres originale artikel om generative sprogmodeller – systemer til kunstig intelligens – som kunne være foruddannet med en enorm og varieret teksttekst gennem datasæt, i gang, som de kaldte generativ introduktionstræning (Læge). Forfatterne beskrev, som ydeevne i sprogforståelse i naturlig sprogbehandling (NLP) er blevet rettet i GPT-n gennem en proces “generativ grunduddannelse af en sprogmodel på en forskelligartet krop af umærket tekst, efterfulgt af diskriminerende finjustering for hver specifik opgave”. Dette eliminerede behovet for menneskelig tilsyn og tidskrævende manuel mærkning.

I februar 2020 Microsoft introducerede sin Turing Natural Language Generation (T-NLG), hvem var dengang “den største sprogmodel, som nogensinde blev offentliggjort kl 17 milliarder af parametre.” Det overgik enhver anden sprogmodel i en række opgaver, som omfattede opsummering af tekster og besvarelse af spørgsmål.

28 Kan 2020 på arXiv dukkede et fortryk op af gruppen 31 ingeniører og forskere fra OpenAI, beskriver udviklingen af ​​GPT-3, “state-of-the-art sprogmodel” tredje generation. Holdet øgede kapaciteten i GPT-3 med mere end to størrelsesordener i forhold til sin forgænger, GPT-2, gør GPT-3 til den hidtil største uforstyrrede sprogmodel. Det større antal parametre i GPT-3 giver det et højere niveau af nøjagtighed end tidligere versioner med en lavere kapacitet. GPT-3's kapacitet er ti gange kapaciteten for Microsofts Turing NLG.

Tres procent af det vægtede datasæt for træning til GPT-3 er fra en filtreret version af Common Crawl bestående af 410 milliarder af tokens kodet i par byte. Andre kilder inkluderer 19 milliarder af tokens fra WebText2, der repræsenterer 22% vægtet hel, 12 milliarder af tokens fra Books1, der repræsenterer 8%, 55 milliarder af tokens fra Books2, der repræsenterer 8% og 3 Milliarder tokens fra Wikipedia, der repræsenterer 3%. GPT-3 er uddannet i hundreder af milliarder ord og er i stand til at kode blandt andre. w CSS, JSX, Python. Fordi GPT-3-træningsdataene var omfattende, det kræver ikke videreuddannelse til separate sprogopgaver.

11 juni 2020 OpenAI annoncerede året, at brugere kan anmode om adgang til den brugervenlige GPT-3 API – “Værktøjssæt til maskinindlæring” – for at hjælpe OpenAI “udforske styrker og begrænsninger” denne nye teknologi. Den beskrevne invitation, at denne API har en generel grænseflade “tekst i, tekst ud”, hvilket det næsten kan gøre “hver opgave på engelsk”, i stedet for det sædvanlige engangsbrug. Ifølge en af ​​brugerne, som havde adgang til den private tidlige frigivelse af GPT-3 OpenAI API, GPT-3 var “utroligt godt” skriftligt “en utrolig sammenhængende tekst” med blot et par enkle meddelelser.

Fordi GPT-3 kan “generere informative artikler, hvilke mennesker, der evaluerer, har svært ved at skelne fra menneskeskrevne artikler”, GPT-3 ma “potentiel, at bevæge sig frem begge fordelagtige, og de skadelige anvendelser af sproglige modeller.” I sin artikel med 28 Kan 2020 r. forskere beskrev de potentielle i detaljer “skadelige virkninger af GPT-3”, som inkluderer “desinformation, spam, phishing, misbrug af juridiske og offentlige processer, bedragerisk akademisk essays skrivning og påskud social engineering” Forfatterne påpeger disse farer, at kræve forskning i risikoreduktion.

I anmeldelsen af 29 juli 2020 r. w The New York Times, Sagde Farhad Manjoo, den GPT-3 – der kan generere computerkode og poesi, såvel som prosa – er ikke kun “fantastiske”, “upiorny” jeg “pokorny”, men også “mere end lidt skræmmende”. Daily Nous præsenterede en serie artikler af ni filosoffer om GPT-3. Den australske filosof David Chalmers beskrev GPT-3 som “et af de mest interessante AI-systemer, nogensinde lavet”.

Daily Nous præsenterede en serie artikler af ni filosoffer om GPT-3. Den australske filosof David Chalmers beskrev GPT-3 som “et af de mest interessante og vigtige AI-systemer, nogensinde produceret”.
En anmeldelse i Wired sagde, den GPT-3 “forårsager kulderystelser i hele Silicon Valley”.

En artikel i Towards Data Science erklærede, at GPT-3 er uddannet i hundreder af milliarder ord og er i stand til at kode i CSS, JSX, Python og andre sprog.

National Law Review erklærede, at GPT-3 er “et imponerende trin i en større proces”, med OpenAI og andre “nyttige anvendelser til al den magt”, mens du fortsætter “arbejde hen imod en mere generel intelligens”.

I en artikel i MIT Technology Review, medforfatter af kritikeren af ​​Deep Learning, Gary Marcus, fundet, den GPT-3 “forståelse af verden forstyrres ofte alvorligt, hvilket betyder, at du aldrig rigtig kan stole på det, hvad han siger.” Ifølge forfatterne, GPT-3 modellerer forholdet mellem ord, ikke forstå betydningen bag hvert ord.

Jerome Pesenti, leder af Facebook-laboratoriet A.I., Han sagde, at GPT-3 er “farligt”, peger på sexistisk, racistisk og andet forudindtaget og negativt sprog genereret af systemet, da han blev bedt om at diskutere jøderne, Kvinder, sorte mennesker og Holocaust.

Nabla, Fransk opstart med speciale i sundhedsteknologi, testede GPT-3 som en medicinsk chatbot, selvom OpenAI selv advarede mod sådan brug. Som forventet, GPT-3 viste flere begrænsninger. For eksempel, når man tester GPT-3-svar om emner relateret til mental sundhed, AI rådede den simulerede patient om at begå selvmord.

GPT-3 blev brugt af Andrew Mayne i AI Writer, hvilket giver folk mulighed for at korrespondere med historiske tal via e-mail.

GPT-3 blev brugt af Jason Rohrer i et chatbot-projekt kaldet “Projekt december”, som er tilgængelig online og giver brugerne mulighed for at chatte med flere AI'er ved hjælp af GPT-3-teknologi.

GPT-3 blev brugt af The Guardian til at skrive en artikel om det, at AI'er er harmløse for mennesker. Han fik flere ideer, og der blev produceret otte forskellige essays, som til sidst blev kombineret til en enkelt artikel.

GPT-3 bruges i AI Dungeon, der genererer teksteventyrspil.

Efterlad et Svar

Din e-mail-adresse vil ikke blive offentliggjort. Nødvendige felter er markeret *