Beherbergt man mehrere Webseiten mit unterschiedlichen Domains innerhalb eines CMS (in MODX, beispielsweise, nennen sich diese "Contexte"), sollte jede Site eine eigene robots.txt haben, zumindest sofern jede Site eine eigene sitemap.xml hat (was der Fall sein sollte) oder andere individuelle Regeln erforderlich sind.
Um das zu erreichen, wird für jede zusätzliche Domain in der .htaccess-Datei, im Installationsverzeichnis des CMS, folgender Code eingefügt:
RewriteEngine On # falls nicht ohnehin aktiviert
RewriteCond %{HTTP_HOST} example2\.com$ [NC]
RewriteRule robots.txt robots_example2.txt [L]
http://example2.com/robots.txt liefert nun den Inhalt von robots_example2.txt.