Ein robots.txt-Signal für KI-Training statt Bot-Sperrlisten
Ein gemeinsames robots.txt-Signal für KI-Training kann die Pflege vieler einzelner Bot-Regeln deutlich vereinfachen. Für Marketing und E-Commerce zählt dann vor allem eine saubere Governance: Welche Inhalte sollen Sichtbarkeit bringen, aber nicht ins Modelltraining fließen?