User-agent: * # правила для всех роботов Disallow: /manager/ # авторизация Disallow: /assets/components/ # папка с файлами modx пакетов Disallow: /core/ # папка с системными файлами modx Disallow: /connectors/ # папка с системными файлами modx Disallow: /index.php # дубль главной страницы index.php Disallow: *?* # удаляем дубли для всех страниц (с параметрами) Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: *utm*= # ссылки с utm-метками Allow: /*.jpg # здесь и далее открываем для индексации изображения, скрипты и прочие файлы Allow: /*.jpeg Allow: /*.gif Allow: /*.png Allow: /*.pdf Allow: /*.doc Allow: /*.docx Allow: /*.xls Allow: /*.xlsx Allow: /*.ppt Allow: /*.pptx Allow: /*.css Allow: /*.js Allow: *?page= # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical) Clean-param: s Clean-param: o Clean-param: C User-agent: Yandex Disallow: Clean-param: utm Clean-param: etext Host: https://stgp.su/ # Укажите один или несколько файлов Sitemap Sitemap: https://stgp.su/sitemap.xml