Dark visitors
Knock knock it's ChatGPT!
Après les robots des moteurs de recherche qui indexent les sites web, la famille s'est maintenant agrandie avec la venue de leurs cousins aux doux noms de GPTBot, CCBot et autre FacebookBot.
Ces robots se chargent de siphonner internet pour nourrir les divers modèles d'intelligence artificielle (ChatGPT et consorts). Si vous voulez leur demander poliment de ne pas avaler votre site internet et son contenu, la liste des robots et la marche à suivre se trouve ici:
Dark Visitors - A list of known AI agents on the internet
Insight into the hidden ecosystem of autonomous chatbots and data scrapers crawling across the web
Autres sources récentes à ce sujet:
Declare your AIndependence: block AI bots, scrapers and crawlers with a single click
To help preserve a safe Internet for content creators, we’ve just launched a brand new “easy button” to block all AI bots. It’s available for all customers, including those on our free tier.
Alex Bocharov
Perplexity Is a Bullshit Machine
A WIRED investigation shows that the AI-powered search startup Forbes has accused of stealing its content is surreptitiously scraping—and making things up out of thin air.
Perplexity AI Is Lying about Their User Agent
Perplexity AI claims it sends a user agent and respects robots.txt but it absolutely does not
Robb Knight
