Джумла е много по-сложна и ако средния уърдпрес има по 2-3 допълнително инсталирани плъгина, то средната Джумла има по 10 допълнително качени разширения.
Освен това, над 80% от уърдпрес блоговете ползват теми които са разработени по само един стереотип, защото са изработени от разработчиците на Wordpress - Auttomatic.
Докато повечето Джумла сайтове ползват нестандартни теми, а не тези които са безплатно включени в ядрото на Джумла. А тези темплейти са много различни, от стотици и хиляди различни разработчици и пътищата които генерират към CSS и JS файлове в html кода са в най-различни папки.
Затова
няма универсално решение, всичко е само за конкретния сайт. Това е решението:
https://plus.google.com/+3dWebDesignOrg/posts/G87NA2ueZFCи документацията на Гугъл:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txtП.С. Естествено, ако не ти пука че нещо което не трябва да се обхожда ще се обходи от бота и ще се индексира, винаги можеш да ползваш за robots.txt следното (за Joomla 3):
User-agent: *
Disallow: /administrator/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/
И не забравяйте да сложите поне 2 нови реда след края на кода!
