User Agent bei PHP-Funktion file_get_contents übergeben
Wer einen Bot in PHP programmiert, um andere Websites auszulesen, kommt (meistens) um die Funktion file_get_contents nicht herum. Wer selbst eine Bot-Kennung als User-Agent mitsenden will, hat hier das Problem, dass das Setzen des Header mittels header() nicht funktioniert.
Die Lösung:
ini_set('user_agent', 'Mein Bot');
wobei ‘Mein Bot’ natürlich durch die gewünschte Kennung ersetzt werden muss.
Damit lässt sich der Bot aber nicht via robots.txt aussperren – was kann man da machen?
Hallo Seokid,
in dem Artikel geht es darum, wie man eine Kennung mitsendet. Eine Bot-Sperre via ROBOTS.TXT ist nur dann durchführbar, wenn der Bot diese Datei auswertet. Damit Du als Websitebetreiber Bots aussperren kannst, solltest Du auf HTACESS zurückgreifen.
Sehr gut, vielen Dank für den Tipp.
Hat mir bei einem sehr aktuellen Problem weiter geholfen.
Beste Grüße