Die naheliegenste Lösung für das Problem (wenn es denn überhaupt eins gibt) bleibt robots.txt.
Es könnte vielleicht durchaus sinnvoll sein, das per Gesetz zu untermauern, also die Anwendung der in der robots.txt eingestellten Zugriffsrechte rechtlich verbindlich zu machen. Wobei es derzeit trotz der Freiwilligkeit wohl nicht so ist, dass Google oder andere sich in großen Stil nicht daran halten würden.
Den Funktionsumfang der robots.txt zu erweitern wäre natürlich auch eine Option. Aber ich fürchte, die Verlage haben da sehr weltfremde Vorstellungen, wenn sie glauben, darüber kostenpflichtige Lizensierungen von Inhalten abwickeln zu können.
Das Geschäftsmodell von Googles Suchmaschinen und anderen Diensten dieser Art ist, ausschließlich frei verfügbare Inhalte im Netz zu finden, zu sammeln und aufbereitet als Suchergebnis auszugeben. Kostenpflichtige Inhalte werden allesamt außen vor gelassen.
Um das selbe Ergebnis zu erzielen, wie mit dem geforderten robots.txt mit "Lizensierungs-Funktion", können die Verlage also auch einfach den Zugriff mit den heute schon verfügbaren Funktionen ganz verweigern.
Wenn die Verlage meinen, dass eine Suchmaschine mit kostenpflichtigen Inhalten profitabel zu betreiben wäre, dann sollen sie doch selbst sowas aufziehen.
Aber ich fürchte, Google hat eine sehr viel bessere Vorstellung davon, was im Netz profitabel funktionieren kann und was nicht, als die Verlage. Google und Co. per Gesetz zu einem unprofitablen Geschäftsmodell zwingen zu wollen ist einfach nur absurd. Die Konsequenz darauf könnte nur sein, dass Google alle Inhalte deutscher Verlage von sich aus aus seinen Diensten ausschließt. Wobei sie dann wahrscheinlich vom Gesetzgeber gleich wieder eins drüber kriegen würde wegen Monopolmissbrauch und Zensur.
Ist wirklich eine bescheuerte Situation. Ein Musterbeispiel für den Mist der dabei raus kommt, wenn Lobbyisten mit Dollarzeichen in den Augen über Politikern ohne Ahnung Gesetze für das Internet verzapfen.