Miért használ az OpenAI webes feltérképező robotokat?
Feltérképező robotokat használunk a ChatGPT-n hirdetésként beküldött weboldalak biztonságának ellenőrzésére. Amikor hirdetést küld be, az OpenAI felkeresheti a céloldalt, hogy meggyőződjön arról, hogy az megfelel az irányelveinknek. A céloldal tartalmát arra is felhasználhatjuk, hogy megállapítsuk, mikor a legrelevánsabb a hirdetést megjeleníteni a felhasználóknak.
Mely OpenAI feltérképező robotokat kell engedélyeznie?
Az OAI-AdsBot engedélyezése kötelező. Javasoljuk, hogy az OAI-AdsBotot és az OAI-SearchBotot is engedélyezze.
Az OpenAI feltérképező robotjai nem tudják feltérképezni a webhelyemet. Mit tegyek?
A legtöbb webhelyen több védelmi réteg áll egy feltérképező robot útjában, mielőtt az sikeresen elérhetne egy weboldalt. Dolgozzon együtt a mérnöki vagy biztonsági csapatával annak ellenőrzésében, hogy az OpenAI feltérképező robotjai átjutnak-e az alábbi rétegek mindegyikén.
1. robots.txt
A robots.txt fájl jelzi a feltérképező robotoknak, hogy hozzáférhetnek-e a webhely bizonyos részeihez. Az OpenAI feltérképező robotjai tiszteletben tartják ezeket a szabályokat. Ha a robots.txt tiltja a hozzáférést, a feltérképezés azonnal leáll.
Tekintse át a robots.txt konfigurációját, és ellenőrizze, hogy az OpenAI feltérképező robotjai kifejezetten hozzáférhetnek-e a releváns oldalakhoz és útvonalakhoz. Például: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Webvédelem és botok elleni védekezés
Sok webhely használ olyan szolgáltatásokat, mint a Cloudflare, az Akamai vagy más webvédelmi szolgáltatók, hogy védekezzen a DDoS-támadások, a scraping és a jogosulatlan forgalom ellen. Ezek a rendszerek tévedésből blokkolhatják a legitim feltérképező robotokat, gyakran 403 Forbidden hibát adva vissza. Mivel az OpenAI feltérképező robotjai hasonlíthatnak az automatizált forgalmi mintázatokra, megtagadhatják a hozzáférésüket, ha nincsenek kifejezetten engedélyezési listára véve.
Tekintse át a webvédelmi vagy tűzfalkonfigurációját, és ahol lehetséges, vegye engedélyezési listára az OpenAI feltérképező robotjainak forgalmát, ideális esetben a robotjaink user-agent azonosítói alapján. A mérnöki vagy infrastruktúra-csapatának érdemes átvizsgálnia azokat az automatizált botvédelmi szabályokat is, amelyek téves riasztást válthatnak ki.
3. Emberi ellenőrzés és botellenes logika
Egyes webhelyek további alkalmazásszintű ellenőrzéseket vezetnek be annak igazolására, hogy a látogató ember, például CAPTCHA-kat, JavaScript-kihívásokat, viselkedéselemzést vagy munkamenet-ellenőrzést. Mivel az OpenAI feltérképező robotjai automatizált rendszerek, ezek az ellenőrzések akkor is blokkolhatják a hozzáférést, ha a robot sikeresen átjutott a korábbi rétegeken.
Tekintse át az alkalmazásában megvalósított emberi ellenőrzési vagy automatizálás elleni logikát, és gondoskodjon róla, hogy az OpenAI feltérképező robotjai szükség esetén kivételt kapjanak, ideális esetben a robotjaink user-agent azonosítóinak engedélyezési listára vételével.
Megjegyzés a stabil IP-tartományokról
Egyes biztonsági rendszerek megkövetelik, hogy a feltérképező robotok forgalma stabil, nyilvánosan dokumentált IP-tartományokból származzon, mielőtt a forgalmat megbízhatóan engedélyezési listára lehet venni. Mivel a feltérképező infrastruktúra idővel változhat, a mérnöki csapatának kerülnie kell, hogy kizárólag a naplókban látott rövid távú IP-megfigyelésekre támaszkodjon. Ehelyett a forgalmat user-agent azonosítás, támogatott esetben ellenőrzött botprogramok, tűzfalszintű engedélyezési listák, robots.txt szerinti viselkedés és szolgáltatói szintű botellenőrző rendszerek kombinációjával ellenőrizze.
Ha stabil IP-tartománylistát kell engedélyeznie, használja hivatkozásként a https://openai.com/searchbot.json és a https://openai.com/adsbot.json fájlt.
Megjegyzés a használati korlátokról
A nagy kötegelt feltöltések vagy a feltérképező robotok forgalmának hirtelen megugrásai időnként automatikus használati korlátokat vagy botvédelmi rendszereket aktiválhatnak.
Ha azt gyanítja, hogy használati korlát lépett életbe, kérje meg a mérnöki csapatát, hogy tekintse át a HTTP-válaszkódokat, különösen a 429 Too Many Requests kódot, a tűzfal- vagy CDN-naplókat, a botvédelmi eseményeket, a kérések lassítására vonatkozó szabályokat és a forgalomelemzést arra az időszakra, amikor a feltérképező robot hozzáférést próbált szerezni. Ez segíthet megállapítani, hogy a kéréseket az infrastruktúra védelmi megoldásai szándékosan lassítják-e vagy blokkolják-e.
Érdemes lehet a hirdetéseket hosszabb időszak alatt, kisebb kötegekben feltölteni.
Megjegyzés a Cloudflare-ről
Az OAI-AdsBotot a Cloudflare hivatalosan ellenőrizte, és engedélyezési listára vette.
Gyakori kérdések a feltérképező robotokról és a céloldalakról
Melyik feltérképező robot szükséges a hirdetések felülvizsgálatához?
Az OAI-AdsBot szükséges a ChatGPT Ads céloldalainak ellenőrzéséhez és felülvizsgálatához. Az OAI-SearchBot használata javasolt, mert segíthet az OpenAI-nak megérteni a nyilvános webes tartalmakat, de a hirdetőknek az OAI-AdsBotot kell előnyben részesíteniük a hirdetések felkészítéséhez.
Az ügyfélszolgálat manuálisan megkerülheti a feltérképező robotos ellenőrzést?
Ne hagyatkozzon manuális megkerülésre. Tegye a céloldalt feltérképezhetővé az OAI-AdsBot számára a robots.txt, a WAF, a CDN, a botvédelem, a hitelesítés és a használati korlát miatti blokkolások elhárításával. Előfordulhat, hogy a céloldal elérhetővé válása után a hirdetéseket újra fel kell tölteni, vagy ismét be kell küldeni felülvizsgálatra.
Mit ellenőrizzen először a mérnöki csapatom?
Ellenőrizze, hogy a céloldal sikeres HTTP-választ ad-e az OAI-AdsBotnak, hogy a robots.txt engedélyezi-e a releváns útvonalat, valamint hogy a WAF, a CDN, a botvédelem, a JavaScript-kihívások, a CAPTCHA-k, a hitelesítés vagy a geoszabályok blokkolják-e az automatizált hozzáférést.
Támogatottak céloldalként az alkalmazásáruházi linkek, a mélyhivatkozások vagy a nem webes célhelyek?
Amikor csak lehet, közvetlenül elérhető webes céloldalt használjon. Az alkalmazásáruházi linkek, mélyhivatkozások, dokumentumok, illetve az olyan célhelyek, amelyek alkalmazást, bejelentkezést, régióspecifikus hozzáférést vagy nem támogatott átirányításokat igényelnek, nem feltétlenül biztosítanak elegendő feltérképezhető tartalmat az ellenőrzéshez vagy felülvizsgálathoz.
Mikor töltsem fel újra, vagy mikor kérjek ismét felülvizsgálatot?
A feltérképező robot hozzáférésének javítása után töltse fel újra vagy küldje be ismét az érintett hirdetéseket, ha az állapot nem frissül magától. Tömegesen feltöltött hirdetések esetén a kisebb kötegek csökkenthetik a használati korlát vagy a botvédelem aktiválódásának esélyét, miközben a csapata ellenőrzi a javítást.