Laut Gavin King, dem Gründer von Dark Visitors, respektieren die meisten großen KI-Agenten immer noch die robots.txt-Datei. „Es ist ziemlich konstant“, sagte er. Aber nicht alle Websitebesitzer haben die Zeit oder das Wissen, ihre robots.txt-Dateien ständig zu aktualisieren. Und selbst wenn sie es tun, umgehen einige Bots die Richtlinien der Datei: „Sie versuchen, den Datenverkehr zu verbergen. »
Laut Prince wird die Blockierung von Bots durch Cloudflare kein Befehl sein, den diese Art von Bösewicht ignorieren kann. „Robots.txt ist so, als würde man ein Zutrittsverbotsschild aufstellen“, erklärt er. „Es ist, als ob eine physische Mauer von bewaffneten Wachen überwacht wird. » So wie das Unternehmen auch andere Arten von verdächtigem Webverhalten meldet, etwa Price-Scraping-Bots, die zur illegalen Preisüberwachung eingesetzt werden, hat das Unternehmen Prozesse entwickelt, um selbst die am sorgfältigsten versteckten KI-Crawler zu erkennen.
Cloudflare kündigt außerdem die bevorstehende Schaffung eines Marktplatzes an, der es Kunden ermöglicht, Scraping-Bedingungen mit KI-Unternehmen auszuhandeln, unabhängig davon, ob sie für die Nutzung von Inhalten zahlen oder Guthaben für die Nutzung von KI-Diensten gegen Scraping eintauschen. „Der Deal ist uns eigentlich egal, aber wir glauben, dass es einen Weg geben muss, den ursprünglichen Content-Erstellern einen Mehrwert zurückzugeben“, sagt Prince. „Die Entschädigung muss nicht in Dollar erfolgen. Die Vergütung kann in Form einer Gutschrift oder einer Anerkennung erfolgen. Dies kann viele verschiedene Formen annehmen. »
Es gibt kein festgelegtes Datum für den Start dieses Marktplatzes, aber selbst wenn er dieses Jahr startet, wird er sich in ein immer dichter werdendes Feld von Projekten einreihen, die darauf abzielen, Lizenz- und andere Genehmigungsvereinbarungen zwischen KI-Unternehmen, Herausgebern, Plattformen und anderen Websites zu erleichtern.
Was denken KI-Unternehmen über diese Situation? „Wir haben mit den meisten von ihnen gesprochen und ihre Reaktionen reichen von ‚Das macht Sinn und wir sind dafür offen‘ bis ‚Fahrt zur Hölle‘“, sagt Prince. (Er wollte jedoch keine Namen nennen.)
Das Projekt wurde relativ schnell abgeschlossen. Als Inspiration für das Projekt nennt Prince ein Gespräch mit Atlantic-CEO (und ehemaligem WIRED-Chefredakteur) Nick Thompson; Thompson hatte darüber gesprochen, wie viele verschiedene Verlage auf geheime Web-Scraper gestoßen sind. „Mir gefällt, dass er es macht“, sagte Thompson. Wenn selbst große Medienunternehmen Schwierigkeiten haben, den Zustrom von Scrapern zu bewältigen, so argumentierte Prince, hätten es unabhängige Blogger und Website-Betreiber noch schwerer.
Cloudflare ist seit Jahren ein führendes Web-Sicherheitsunternehmen und stellt einen Großteil der Infrastruktur zur Verfügung, die das Web unterstützt. In der Vergangenheit ist es hinsichtlich des Inhalts der von ihm bedienten Websites so neutral wie möglich geblieben. In den seltenen Fällen, in denen es Ausnahmen von dieser Regel gemacht hat, hat Prince betont, dass er nicht möchte, dass Cloudflare der Schiedsrichter darüber ist, was online erlaubt ist.
Er glaubt, dass Cloudflare in der einzigartigen Position ist, Stellung zu beziehen. „Der Weg, den wir verfolgen, ist nicht nachhaltig“, sagt Prince. „Ich hoffe, wir können dazu beitragen, dass Menschen für ihre Arbeit bezahlt werden.“ »