GPT-3

GPT-3

Generatiivinen ennalta koulutettu muuntaja 3 (GPT-3) on autoregressiivinen kielellinen malli, joka käyttää syvällistä oppimista ihmismaisen tekstin luomiseen. Tämä on GPT-n-sarjan kolmannen sukupolven kielen ennustusmalli (ja GPT-2: n seuraaja) luonut OpenAI, tekoälyn tutkimuslaboratorio, joka sijaitsee San Franciscossa. GPT-3: n täysversiossa on kapasiteettia 175 miljardeja koneoppimisparametreja. GPT-3, joka otettiin käyttöön toukokuussa 2020 vuosi, ja heinäkuusta 2020 vuosi oli beetatestauksessa, on luonnollisen kielenkäsittelyjärjestelmän trendin mukainen (NLP) esikoulutetuista kielellisistä esityksistä. Ennen GPT-3: n julkaisua suurin kielimalli oli Microsoftin Turing NLG, käyttöön helmikuussa 2020 vuosi, kapasiteetti 17 miljardeja parametreja, eli alle kymmenesosa GPT-3: sta.

GPT-3: n luoman tekstin laatu on niin korkea, että on vaikea erottaa ihmisen kirjoittamasta tekstistä, jolla on molemmat edut, ja uhkia. Kolmekymmentäyksi OpenAI: n tutkijaa ja insinööriä lähetti alkuperäisen paperin 28 saattaa 2020 r. esittely GPT-3. Asiakirjassaan he varoittivat GPT-3: n mahdollisista vaaroista ja vaativat tutkimusta riskien vähentämiseksi. David Chalmers, australialainen filosofi, kuvasi GPT-3: ta nimellä “yksi mielenkiintoisimmista ja tärkeimmistä tekoälyjärjestelmistä, koskaan tuotettu.”

Microsoft ilmoitti 22 syyskuu 2020 r., että se on lisensoinut “yksinomainen” GPT-3: n käyttö; toiset voivat silti käyttää julkista sovellusliittymää, saadaksesi tuotoksen, mutta vain Microsoft hallitsee lähdekoodia.

Według ekonomisti, parannetut algoritmit, tehokkaat tietokoneet ja digitalisoidun tiedon lisääntyminen ruokkivat koneoppimisen vallankumousta, uusilla tekniikoilla vuoden 2010 tehokkuudessa “nopeat päivitykset tehtävissä”, Ohjelmistomallit koulutetaan oppimaan käyttämällä tuhansia tai miljoonia esimerkkejä “strukturze . … perustuu löyhästi aivojen hermoarkkitehtuuriin”. Yksi luonnollisen kielen käsittelyssä käytetyistä arkkitehtuureista (NLP) on syväoppimiseen perustuva hermoverkko, joka esiteltiin ensimmäisen kerran vuonna 2017 vuosi – Muuntaja. GPT-n-mallit perustuvat Transformer-syvän oppimisen hermoverkkoarkkitehtuuriin. On monia NLP-järjestelmiä, jotka pystyvät käsittelemään, kaivostoiminta, järjestäminen, yhdistäminen, vastakkainen, ymmärtäminen ja vastausten tuottaminen kysymyksiin.

11 kesäkuuta 2018 r. OpenAI: n tutkijat ja insinöörit ovat lähettäneet alkuperäisen artikkelinsa generatiivisiin kielimalleihin – tekoälyjärjestelmät – joka voitaisiin esikouluttaa valtavalla ja monipuolisella tekstillä aineistojen avulla, meneillään, jota he kutsuivat generatiiviseksi perehdytyskoulutukseksi (GP). Kirjoittajat kuvasivat, kielen ymmärtämisen suorituskykynä luonnollisessa kielenkäsittelyssä (NLP) on korjattu GPT-n: ssä prosessin avulla “kielimallin generatiivinen peruskoulutus monipuoliselle merkitsemättömälle tekstille, jota seuraa syrjivä hienosäätö jokaiselle tehtävälle”. Tämä eliminoi ihmisen valvonnan ja aikaa vievän manuaalisen merkinnän tarpeen.

Helmikuussa 2020 Microsoft esitteli Turingin luonnollisen kielen sukupolven (T-NLG), kuka sitten oli “suurin kielimalli, joka on koskaan julkaistu 17 miljardeja parametreja.” Se ylitti minkä tahansa muun kielimallin useissa tehtävissä, joka sisälsi tekstien yhteenvedon ja vastauksen kysymyksiin.

28 saattaa 2020 arXivissa ilmestyi ryhmän esipainatus 31 insinöörit ja tutkijat OpenAI: sta, kuvaamalla GPT-3: n kehitystä, “huippumoderni kielimalli” kolmannen sukupolven. Joukkue lisäsi GPT-3: n kapasiteettia edeltäjäänsä enemmän kuin kaksi suuruusluokkaa, GPT-2, GPT-3 on tähän mennessä suurin häiriöttömän kielimalli. Suurempi GPT-3: n parametrien lukumäärä antaa sille korkeamman tarkkuustason kuin aiemmat, pienemmän kapasiteetin versiot. GPT-3: n kapasiteetti on kymmenen kertaa Microsoftin Turing NLG: n kapasiteetti.

60 prosenttia GPT-3: n painotetusta esiharjoitteluaineistosta on peräisin Common Crawl -suodatetusta versiosta 410 miljardit merkkejä koodattuina tavupareina. Muita lähteitä ovat 19 miljardeja tunnuksia WebText2: lta 22% painotettu kokonaisuutena, 12 miljardeja rahakirjoja kirjoista1 edustavat 8%, 55 miljardeja rahakkeita Books2: sta, jotka edustavat 8% oraz 3 Miljardit merkkejä Wikipediasta edustavat 3%. GPT-3 on koulutettu sadoille miljardeille sanoille ja pystyy koodaamaan mm. w CSS, JSX, Python. Koska GPT-3-harjoitustiedot olivat kattavia, se ei vaadi jatkokoulutusta erillisiä kielitehtäviä varten.

11 kesäkuuta 2020 OpenAI ilmoitti vuoden, että käyttäjät voivat pyytää pääsyä käyttäjäystävälliselle GPT-3-sovellusliittymälle – “Koneoppimisen työkalupakki” – auttaa OpenAI: ta “tutkia vahvuuksia ja rajoituksia” tätä uutta tekniikkaa. Kuvattu kutsu, että tällä sovellusliittymällä on yleiskäyttöinen käyttöliittymä “teksti sisään, teksti ulos”, jonka se voi tehdä melkein “jokainen tehtävä englanniksi”, tavallisen kertakäyttöisen tapauksen sijaan. Erään käyttäjän mukaan, joilla oli pääsy GPT-3 OpenAI -sovellusliittymän yksityiseen ennenaikaiseen julkaisuun, GPT-3 oli “hämmästyttävän hyvä” kirjallisesti “hämmästyttävän yhtenäinen teksti” vain muutamalla yksinkertaisella kehotteella.

Koska GPT-3 voi “tuottaa informatiivisia artikkeleita, joita arvioivilla ihmisillä on vaikeuksia erottaa ihmisen kirjoittamista artikkeleista”, GPT-3 ma “potentiaalia, eteenpäin molemmat hyödyllisiä, ja kielimallien haitallinen käyttö.” Artikkelissaan 28 saattaa 2020 r. tutkijat kuvasivat potentiaalisia yksityiskohtaisesti “GPT-3: n haitalliset vaikutukset”, jotka sisältävät “disinformaatio, roskaposti, tietojenkalastelu, oikeudellisten ja hallituksen prosessien väärinkäyttö, vilpillinen akateeminen esseen kirjoittaminen ja tekosyy sosiaaliseen suunnitteluun” Kirjoittajat huomauttavat näistä vaaroista, vaatia riskien vähentämistä koskevaa tutkimusta.

Tarkastelussa 29 heinäkuu 2020 r. w New York Times, Farhad Manjoo sanoi, että GPT-3 – kuka voi tuottaa tietokonekoodia ja runoutta, samoin kuin proosa – ei ole vain “hämmästyttävä”, “ylempi” ja “pokorny”, mutta myös “enemmän kuin vähän pelottavaa”. Daily Nous esitteli sarjan yhdeksän filosofia GPT-3: sta. Australialainen filosofi David Chalmers kuvasi GPT-3: ta “yksi mielenkiintoisimmista tekoälyjärjestelmistä, koskaan tehty”.

Daily Nous esitteli sarjan yhdeksän filosofia GPT-3: sta. Australialainen filosofi David Chalmers kuvasi GPT-3: ta “yksi mielenkiintoisimmista ja tärkeimmistä tekoälyjärjestelmistä, koskaan tuotettu”.
Katsaus Wiredissa sanoi, että GPT-3 “aiheuttaa vilunväristyksiä koko Piilaaksossa”.

Artikkeli Kohti tietotiedettä totesi, että GPT-3 on koulutettu sadoille miljardeille sanoille ja pystyy koodaamaan CSS: ssä, JSX, Python ja muut kielet.

National Law Review totesi, että GPT-3 on “vaikuttava askel suuremmassa prosessissa”, OpenAI: n ja muiden kanssa “hyödyllisiä käyttötarkoituksia kaikelle voimalle”, samalla kun jatkat “pyrkiä kohti yleisempää älykkyyttä”.

MIT Technology Review -artikkelissa, mukana kirjoittamassa Deep Learning -kriitikko, Gary Marcus, löytyi, että GPT-3 “ymmärtäminen maailmasta on usein vakavasti häiriintynyt, joka tarkoittaa, että siihen ei voi koskaan luottaa, mitä hän sanoo.” Kirjoittajien mukaan, GPT-3 mallintaa sanojen välisiä suhteita, ei ymmärrä kunkin sanan merkitystä.

Jerome Pesenti, Facebook-laboratorion johtaja A.I., Hän sanoi, että GPT-3 on “vaarallinen”, osoittaa seksististä, rasistinen ja muu järjestelmän tuottama puolueellinen ja kielteinen kieli, kun häntä pyydettiin keskustelemaan juutalaisista, naiset, mustat ihmiset ja holokausti.

Nabla, Ranskalainen terveydenhuollon teknologiaan erikoistunut startup-yritys, testasi GPT-3: n lääketieteellisenä chat-robotina, vaikka OpenAI itse varoitti tällaisesta käytöstä. Odotetusti, GPT-3: lla oli useita rajoituksia. Esimerkiksi, testattaessa GPT-3-vastauksia mielenterveyteen liittyvistä aiheista, Tekoäly neuvoi simuloitua potilasta itsemurhaan.

Andrew Mayne käytti GPT-3: ta AI Writerissä, jonka avulla ihmiset voivat keskustella historiallisten henkilöiden kanssa sähköpostitse.

GPT-3: ta käytti Jason Rohrer chatbot-projektissa nimeltä “Projekti joulukuu”, joka on saatavana verkossa ja jonka avulla käyttäjät voivat keskustella useiden tekoälyjen kanssa GPT-3-tekniikkaa käyttäen.

The Guardian käytti GPT-3: ta kirjoittaakseen siitä artikkelin, että tekoäly on vaaraton ihmisille. Hänelle toimitettiin useita ideoita ja tuotettiin kahdeksan erilaista esseitä, jotka lopulta yhdistettiin yhdeksi artikkeliksi.

GPT-3: ta käytetään AI Dungeonissa, joka luo tekstiseikkailupelejä.

Jätä vastaus

Sähköpostiosoitettasi ei julkaista.