GPT-3

GPT-3

Generatívny vopred vyškolený transformátor 3 (GPT-3) je autoregresný jazykový model, ktorý pomocou hlbokého učenia vytvára text podobný človeku. Toto je predikčný model jazyka tretej generácie v sérii GPT-n (a nástupca GPT-2) vytvoril OpenAI, výskumné laboratórium umelej inteligencie so sídlom v San Franciscu. Plná verzia GPT-3 má kapacitu 175 miliardy parametrov strojového učenia. GPT-3, ktorá bola predstavená v máji 2020 rok, a od júla 2020 rok bol v beta testovaní, je v súlade s trendom systémov spracovania prirodzeného jazyka (NLP) o vopred vyškolených jazykových predstaveniach. Pred vydaním GPT-3 bol najväčším jazykovým modelom Microsoft Turing NLG, zavedené vo februári 2020 rok, kapacity 17 miliardy parametrov, teda necelá desatina GPT-3.

Kvalita textu generovaného GPT-3 je taká vysoká, že je ťažké odlíšiť od človeka napísaného textu, ktorá má obe výhody, a hrozby. Tridsaťjeden vedcov a technikov OpenAI predložilo pôvodný príspevok od 28 Smieť 2020 r. úvodné GPT-3. Vo svojom dokumente varovali pred potenciálnym nebezpečenstvom GPT-3 a vyzvali na výskum zameraný na zníženie týchto rizík. David Chalmers, austrálsky filozof, popísal GPT-3 ako “jeden z najzaujímavejších a najdôležitejších systémov umelej inteligencie, kedy vyrobené.”

Spoločnosť Microsoft oznámila 22 September 2020 r., že má licenciu na “exkluzívny” použitie GPT-3; iné môžu stále používať verejné API, získať výstup, ale iba Microsoft má kontrolu nad zdrojovým kódom.

Według The Economist, vylepšené algoritmy, výkonné počítače a nárast digitalizovaných údajov podporovali revolúciu v strojovom učení, s novými technikami od roku 2010 “rýchle vylepšenia úloh”, vrátane jazykovej manipulácie. Softvérové ​​modely sú trénované tak, aby sa učili pomocou tisícov alebo miliónov príkladov v jazyku “štruktúra . … voľne založený na neurálnej architektúre mozgu”. Jedna z architektúr používaných pri spracovaní prirodzeného jazyka (NLP) je neurónová sieť založená na modeli hlbokého učenia, ktorý bol prvýkrát predstavený v 2017 rok – Transformátor. Modely GPT-n sú založené na architektúre neurónovej siete transformátora s hlbokým učením. Existuje veľa systémov NLP schopných spracovania, ťažba, organizovanie, spájajúci sa, kontrastné, porozumenie a generovanie odpovedí na otázky.

11 Júna 2018 r. Vedci a inžinieri z OpenAI uverejnili svoj pôvodný článok o generatívnych jazykových modeloch – systémy umelej inteligencie – ktoré by bolo možné predcvičiť s obrovským a rozmanitým textom prostredníctvom súborov údajov, prebieha, ktorú nazvali generatívne úvodné školenie (GP). Autori popísali, ako výkon s porozumením jazyka pri spracovaní prirodzeného jazyka (NLP) bol opravený v GPT-n prostredníctvom procesu “generatívne úvodné školenie jazykového modelu na rôznorodom množstve neoznačeného textu, nasledovalo diskriminačné doladenie pre každú konkrétnu úlohu”. To eliminovalo potrebu ľudského dohľadu a časovo náročného ručného označovania.

Vo februári 2020 Spoločnosť Microsoft predstavila svoju generáciu Turingovho prirodzeného jazyka (T-NLG), kto vtedy bol “najväčší jazykový model, ktorá bola kedy publikovaná na 17 miliardy parametrov.” V rôznych úlohách prekonal akýkoľvek iný jazykový model, ktorá obsahovala sumarizáciu textov a zodpovedanie otázok.

28 Smieť 2020 na arXiv bola vydaná predtlač od skupiny 31 inžinierov a výskumníkov z OpenAI, popisujúci vývoj GPT-3, “najmodernejší jazykový model” tretia generácia. Tím oproti predchodcovi zvýšil kapacitu GPT-3 o viac ako dva rády, GPT-2, čo robí z GPT-3 najväčší, ale ničím neodtrhnutý jazykový model. Väčší počet parametrov GPT-3 mu poskytuje vyššiu úroveň presnosti ako predchádzajúce verzie s nižšou kapacitou. Kapacita GPT-3 je desaťkrát väčšia ako kapacita spoločnosti Microsoft Turing NLG.

Šesťdesiat percent váženého súboru predbežných školení pre GPT-3 pochádza z filtrovanej verzie Common Crawl pozostávajúcej z 410 miliardy tokenov zakódovaných v pároch bajtov. Medzi ďalšie zdroje patria 19 miliardy tokenov z WebText2 predstavujúcich 22% vážený celok, 12 miliardy žetónov z kníh Books1 predstavuje 8%, 55 miliardy žetónov z kníh Books2 predstavuje 8% a 3 Miliardy žetónov z Wikipédie zastupujúce 3%. GPT-3 bol vyškolený v stovkách miliárd slov a je schopný okrem iného aj kódovať. w CSS, JSX, Python. Pretože tréningové údaje GPT-3 boli komplexné, nevyžaduje samostatné školenie pre samostatné jazykové úlohy.

11 Júna 2020 OpenAI oznámil rok, že používatelia môžu požadovať prístup k užívateľsky prívetivému API GPT-3 – “Sada nástrojov pre strojové učenie” – pomôcť OpenAI “preskúmať silné stránky a obmedzenia” tejto novej technológie. Popísaná pozvánka, že toto API má rozhranie na všeobecné účely “text v, odoslať textovú správu”, ktoré dokáže takmer “každú úlohu v angličtine”, namiesto obvyklého prípadu na jedno použitie. Podľa jedného z používateľov, ktorí mali prístup k súkromnému predčasnému vydaniu rozhrania GPT-3 OpenAI API, GPT-3 bol “úžasne dobré” v písaní “úžasne súvislý text” iba s niekoľkými jednoduchými výzvami.

Pretože GPT-3 môže “generovať informatívne články, ktoré ľudia s hodnotením ťažko odlišujú od článkov písaných ľuďmi”, GPT-3 ma “potenciál, posunúť vpred obe prospešné, a škodlivé použitie jazykových modelov.” Vo svojom článku od 28 Smieť 2020 r. vedci podrobne opísali tie potenciálne “škodlivé účinky GPT-3”, ktoré zahŕňajú “dezinformácie, nevyžiadaná pošta, phishing, zneužívanie právnych a vládnych procesov, podvodné písanie akademických prác a zámienka pre sociálne inžinierstvo” Autori poukazujú na tieto nebezpečenstvá, vyzvať na výskum zníženia rizika.

V recenzii od 29 Júla 2020 r. w The New York Times, Povedal Farhad Manjoo, že GPT-3 – kto môže generovať počítačový kód a poéziu, ako aj prózu – je nielen “úžasný”, “upiorny” i “pokorny”, ale tiež “viac ako trochu desivé”. Daily Nous predstavil sériu článkov deviatich filozofov o GPT-3. Austrálsky filozof David Chalmers opísal GPT-3 ako “jeden z najzaujímavejších systémov AI, aké kedy boli vyrobené”.

Daily Nous predstavil sériu článkov deviatich filozofov o GPT-3. Austrálsky filozof David Chalmers opísal GPT-3 ako “jeden z najzaujímavejších a najdôležitejších systémov umelej inteligencie, kedy vyrobené”.
Recenzia vo Wired povedala, že GPT-3 “spôsobuje zimomriavky v celom Silicon Valley”.

Uvádza sa článok v článku Towards Data Science, že GPT-3 bol trénovaný na stovky miliárd slov a je schopný kódovania v CSS, JSX, Python a ďalšie jazyky.

Uvádza sa prehľad národného zákona, že GPT-3 je “pôsobivý krok vo väčšom procese”, s OpenAI a ďalšími “užitočné využitie pre všetku túto moc”, zatiaľ čo pokračuje “pracovať na všeobecnejšej inteligencii”.

V článku v MIT Technology Review, spoluautorom kritiky Deep Learning, Gary Marcus, nájdené, že GPT-3 “chápanie sveta je často vážne narušené, čo znamená, že tomu nikdy nemôžete skutočne dôverovať, čo hovorí.” Podľa autorov, GPT-3 modeluje vzťahy medzi slovami, nerozumenie významu každého slova.

Jerome Pesenti, vedúci facebookového laboratória A.I., Povedal, že GPT-3 je “nebezpečné”, poukazujúc na sexistické, rasistickým a iným neobjektívnym a negatívnym jazykom generovaným systémom, keď ho požiadali, aby diskutoval o Židoch, ženy, černochov a holokaust.

Nabla, Francúzsky začínajúci podnik so špecializáciou na zdravotnícke technológie, testoval GPT-3 ako lekárskeho chatbota, aj keď samotný OpenAI pred takýmto použitím varoval. Podľa očakávania, GPT-3 vykazoval niekoľko obmedzení. Napr, pri testovaní odpovedí GPT-3 na témy duševného zdravia, AI odporučila simulovanému pacientovi spáchať samovraždu.

GPT-3 použil Andrew Mayne v aplikácii AI Writer, ktorý umožňuje ľuďom korešpondovať s historickými postavami prostredníctvom e-mailu.

GPT-3 použil Jason Rohrer v projekte chatbot s názvom “Projekt december”, ktorý je k dispozícii online a umožňuje používateľom chatovať s niekoľkými AI pomocou technológie GPT-3.

GPT-3 použil The Guardian na napísanie článku o ňom, že AI sú pre ľudí neškodné. Dostal niekoľko nápadov a bolo vyrobených osem rôznych esejí, ktoré sa nakoniec spojili do jedného článku.

GPT-3 sa používa v AI Dungeon, ktorá generuje textové adventúry.

Zanechať Odpoveď

Vaša emailová adresa nebude zverejnená. Povinné polia sú označené *