Home-theater-designers
ChatGPT zachvátil technologický svet a nechýbajú ani vylepšenia a aktualizácie. Ale napriek použitiu pokročilých technológií existuje v rámci aktuálnej verzie pomerne veľa obmedzujúcich faktorov.
Jedným z takýchto faktorov je systém tokenov, ktorý naďalej narúša vývojový cyklus a zráža užitočnosť aplikácie na kolená. Ak používate ChatGPT, možno budete chcieť vedieť o tokenoch ChatGPT a o tom, čo robiť, keď sa vám minú tokeny.
VYUŽITIE VIDEA DŇA POKRAČUJTE V OBSAHU POKRAČOVANÍM
Vráťme sa o krok späť a dáme vám prehľad o všetkom, čo je potrebné vedieť o základných pracovných mechanizmoch aplikácie.
Čo je to token ChatGPT?
Ak prejdete cez fasádu aplikácie, všetko, čo uvidíte, je počítačový jazyk, ktorý poslúcha vaše príkazy a dáva vám odpovede, ktoré hľadáte. Backend je však len veľa kódu, ktorý sa učí každú minútu a dostáva sa do tempa s otázkami, na ktoré odpovedá.
ako urobiť pozadie obrázku priehľadným
ChatGPT prevádza každé slovo na čitateľný token vždy, keď položíte otázku. Aby sme to ďalej rozdelili, tokeny sú textové fragmenty a každý programovací jazyk používa inú sadu hodnôt tokenov na pochopenie požiadaviek.
aplikácie, ktoré nepotrebujú internet
Keďže počítače nerozumejú textovým hodnotám priamo, rozložia ich na kombináciu čísel, ktoré sa často nazývajú vloženia. Môžete dokonca zvážiť vloženia ako Python zoznamy , ktoré pripomínajú zoznam súvisiacich čísel, ako napríklad [1.1,2.1,3.1,4.1…n].
Keď ChatGPT vezme počiatočný vstup, pokúsi sa predpovedať ďalší možný vstup na základe predchádzajúcich informácií. Vyberie celý zoznam predchádzajúcich tokenov a pomocou syntézy kódovania sa pokúsi zabrániť následnému vstupu používateľa. Využíva a predpovedá jeden token naraz, aby jazyk jednoduchšie pochopil použitie.
Na zlepšenie predpovedí a zlepšenie presnosti vyberie celý zoznam vložení a prenesie ho cez vrstvy transformátora, aby vytvoril asociácie medzi slovami. Napríklad, keď položíte otázku ako „Kto je Thomas Edison?“, ChatGPT vyberie najhodnotnejšie slová zo zoznamu: SZO a Edison .
Transformátorové vrstvy majú svoju úlohu v celom procese. Tieto vrstvy sú formou architektúry neurónovej siete trénovanej na vyberanie najrelevantnejších kľúčových slov z reťazca slov. Tréningový proces však nie je taký jednoduchý, ako sa zdá, pretože trénovanie vrstiev transformátora na gigabajtoch údajov trvá dlho.
Aj keď ChatGPT predpovedá naraz iba jeden token, jeho automatická regresívna technológia je naprogramovaná tak, aby predpovedala a vrátila sa do primárneho modelu na uvoľnenie výstupu. Model je vyladený tak, aby bežal iba raz pre každý token, takže výsledok sa tlačí po jednom slove. Výstup sa automaticky zastaví, keď aplikácia narazí na príkaz stop tokenu.
bezplatné e -mailové aplikácie pre Windows 10
Ak sa napríklad pozriete na kalkulačku tokenov na webovej stránke ChatGPT, môžete si vypočítať svoje otázky na základe používania tokenov.
Zadajte nejaký vzorový text, napríklad:
How do I explain the use of tokens in ChatGPT?
Podľa kalkulačky je v tomto reťazci 46 znakov, čo spotrebuje 13 tokenov. Ak to rozdelíte na Token ID, vyzerá to asi takto:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
Podľa Kalkulačka tokenov OpenAI :