Ako blokovať prehľadávače OpenAI v škrabaní vašich webových stránok

Ako blokovať prehľadávače OpenAI v škrabaní vašich webových stránok
Čitatelia ako vy pomáhajú podporovať MUO. Keď uskutočníte nákup pomocou odkazov na našej stránke, môžeme získať pridruženú províziu. Čítaj viac.

Zatiaľ čo používatelia milujú ChatGPT pre obrovské množstvo informácií, ktoré v súčasnosti obsahuje, to isté sa nedá povedať o vlastníkoch webových stránok.





MUO Video dňa POKRAČUJTE V OBSAHU POKRAČOVANÍM

ChatGPT od OpenAI používa prehľadávače na zoškrabovanie webových stránok, ale ak ste vlastníkom webových stránok a nechcete, aby prehľadávač OpenAI pristupoval na váš web, tu je niekoľko vecí, ktoré môžete urobiť, aby ste tomu zabránili.



Ako funguje prehľadávanie OpenAI?

A webový prehľadávač (tiež známy ako pavúk alebo robot vyhľadávacieho nástroja) je automatický program, ktorý vyhľadáva informácie na internete. Potom tieto informácie zostaví tak, aby k nim váš vyhľadávací nástroj ľahko získal prístup.





Webové prehľadávače indexujú každú stránku každej relevantnej adresy URL, pričom sa zvyčajne zameriavajú na webové stránky, ktoré sú relevantnejšie pre vaše vyhľadávacie dopyty. Predpokladajme napríklad, že googlite konkrétnu chybu systému Windows. Webový prehľadávač vo vašom vyhľadávači prehľadá všetky adresy URL z webových stránok, ktoré považuje za smerodajnejšie v súvislosti s chybou systému Windows.

Webový prehľadávač OpenAI sa nazýva GPTBot a podľa Dokumentácia OpenAI , poskytnutie prístupu GPTBot na vašu webovú stránku môže pomôcť vycvičiť model AI, aby sa stal bezpečnejším a presnejším, a dokonca môže pomôcť rozšíriť možnosti modelu AI.



Ako zabrániť OpenAI v indexovom prehľadávaní vašich webových stránok

Rovnako ako väčšina ostatných webových prehľadávačov, aj GPTBot môže byť zablokovaný v prístupe k vašej webovej lokalite úpravou webových stránok robots.txt protokol (známy aj ako protokol vylúčenia robotov). Tento súbor .txt je umiestnený na serveri webovej lokality a riadi, ako sa webové prehľadávače a iné automatizované programy správajú na vašej webovej lokalite.

Tu je krátky zoznam toho, čo robot.txt súbor dokáže:



ako písať kurzívou v programe Facebook Messenger
  • Môže úplne zablokovať prístup GPTBot na webovú stránku.
  • Môže blokovať prístup GPTBot iba na určité stránky z adresy URL.
  • Môže povedať GPTBot, ktoré odkazy môže nasledovať a ktoré nie.

Tu je návod, ako ovládať, čo môže GPTBot robiť na vašom webe:

Úplne zablokujte prístup GPTBot na váš web

  1. Nastavte súbor robot.txt a potom ho upravte pomocou ľubovoľného nástroja na úpravu textu.
  2. Pridajte GPTBot na svoje stránky robots.txt nasledovne:
 User-agent: GPTBot 
Disallow: /

Blokovať prístup GPTBot iba na určité stránky

  1. Nastavte robot.txt súbor a potom ho upravte pomocou preferovaného nástroja na úpravu textu.
  2. Pridajte GPTBot na svoje stránky robots.txt nasledovne:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

Majte však na pamäti, že zmena robot.txt súbor nie je retroaktívnym riešením a akékoľvek informácie, ktoré už GPTBot zhromaždil z vašej webovej stránky, nebude možné obnoviť.



OpenAI umožňuje vlastníkom webových stránok odhlásiť sa z indexového prehľadávania

Odkedy sa prehľadávače používajú na trénovanie modelov AI, majitelia webových stránok hľadajú spôsoby, ako zachovať súkromie svojich údajov.

Niektorí sa obávajú, že modely AI v podstate kradnú ich prácu a dokonca pripisujú menej návštev webových stránok skutočnosti, že používatelia teraz získavajú informácie bez toho, aby museli navštíviť ich webové stránky.

Celkovo vzaté, či chcete úplne zablokovať chatboty AI v skenovaní vašich webových stránok, je úplne na vás.