Hvað er GPT-3?

GPT-3 , eða Generative Pre-trained Transformer 3, er taugakerfis vélanámslíkan sem er þjálfað til að búa til hvers kyns texta. OpenAI SEO, Sam Altman lýsti þróun GPT-3, þriðju kynslóðar „nýjasta tungumálamódelsins“. Einnig er GPT-3 fyrsta skrefið að mati sumra í leitinni að gervi almennri greind.

GPT-3 hefur yfir 175 milljarða vélanámsbreytur á meðan GPT-2 var aðeins með 1,5 milljón færibreytur. Fyrir GPT-3 var stærsta þjálfaða tungumálalíkanið Turing Natural Language Generation (NLG) líkan Microsoft, sem hafði 10 milljarða færibreytur. GPT-3 var þjálfað í nokkrum gagnasettum, hvert með mismunandi þyngd, þar á meðal Common Crawl, WebText2 og Wikipedia.

openAI gefur út gpt-3

Af hverju er GPT-3 gagnlegt?

Hér er listi yfir ástæður þess að GPT-3 er gagnlegt:

Hver er saga GPT-3?

Hvað getur GPT-3 gert?

  1. Tungumálaframleiðsla: GPT-3 getur búið til texta sem líkist mönnum til að bregðast við leiðbeiningum, sem gerir það gagnlegt fyrir forrit eins og spjallbota, efnisgerð og jafnvel skapandi skrif.
  2. Tungumálaþýðing: Það hefur getu til að þýða texta frá einu tungumáli yfir á annað, sem gerir það gagnlegt fyrir alþjóðleg samskipti og staðfæringu.
  3. Tungumálaútfylling: GPT-3 getur klárað setningar eða málsgreinar byggðar á tiltekinni vísbendingu, sem gerir það gagnlegt fyrir sjálfvirka útfyllingu og samantekt.
  4. Spurt og svarað: GPT-3 getur svarað spurningum á náttúrulegu máli, sem gerir það gagnlegt fyrir sýndaraðstoðarmenn og þjónustuver.
  5. Samræður: Það getur tekið þátt í samtölum fram og til baka við notendur, sem gerir það gagnlegt fyrir spjallbotna og aðra samtalsaðila.
  6. Kóðagerð: GPT-3 getur búið til kóðabúta byggða á náttúrulegum tungumálalýsingum, sem gerir það gagnlegt fyrir forritara og forritara.
  7. Viðhorfsgreining: GPT-3 getur greint viðhorf tiltekins texta, sem gerir það gagnlegt fyrir forrit eins og eftirlit með samfélagsmiðlum og endurgjöf viðskiptavina.
  8. Textagerð: Það getur búið til texta í mismunandi flokka byggt á innihaldi þess, sem gerir það gagnlegt fyrir forrit eins og efnisstjórnun og ruslpóstsíun.
  9. Samantekt: GPT-3 getur dregið saman langa texta í styttri texta á sama tíma og aðalhugmyndirnar eru varðveittar, sem gerir það gagnlegt fyrir forrit eins og fréttasöfnun og fræðilegar rannsóknir.

Hvernig virkar GPT-3?

  1. Generative Pre-þjálfun: GPT-3 er fyrst forþjálfaður á gríðarlegu magni af textagögnum af internetinu, þar á meðal bækur, greinar og vefsíður. Á meðan á þessu ferli stendur notar líkanið spennitauganet til að greina samhengi hvers orðs eða orðasambands og búa til framsetningu þess sem spáir fyrir um næsta orð í setningu. GPT-3 reiknar út hversu líklegt að eitthvað orð geti birst í textanum miðað við hitt í þessum texta. Það er þekkt sem skilyrtar líkur orða.
  2. Fínstilling: Þegar forþjálfun er lokið er hún fínstillt fyrir tiltekin verkefni með því að afhjúpa hana fyrir minna magn af verkefnasértækum gögnum. Þetta fínstillingarferli hjálpar líkaninu að læra hvernig á að framkvæma tiltekið verkefni, svo sem tungumálaþýðingu eða kóðagerð eins og python, með því að stilla reiknirit þess til að passa betur við nýju gögnin.
  3. Samhengisgreining: Þegar hún er gefin vísbending eða inntakstexti notar GPT-3 tilvik og spenninet þess til að greina samhengi hvers orðs eða orðasambands og búa til framsetningu á því. Þetta hjálpar líkaninu að skilja merkingu og tengsl orðanna í inntakstextanum.
  4. Tungumálamyndun: Byggt á samhengisgreiningu sinni á inntakstextanum, býr það til mannlegan texta sem svar við leiðbeiningunum. Líkanið notar skilning sinn á málverkefnum og tengslum orða og orðasambanda til að spá fyrir um það orð eða setningu sem er líklegast næst.
  5. Endurtekið betrumbætur: GPT-3 getur búið til margar úttak byggðar á sama innsláttartexta, sem gerir notandanum kleift að velja þann besta. Einnig er hægt að þjálfa líkanið á endurgjöf frá notendum til að bæta framleiðslu þess með tímanum og betrumbæta enn frekar getu þess til að búa til mannlegan texta.