User-Agent: *
Disallow: /cgi-bin          # папка на хостинге
Disallow: /*index.php$      # дубли страниц index.php
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: *?q=
Disallow: *?name=
Disallow: *&where=
Disallow: *&gost=
Disallow: *&steel=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *from=            # ссылки с метками from
Disallow: *.pdf$
Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /local/*.ttf
Allow: /local/*.js
Allow: /local/*.woff
Allow: /local/*.woff2
Disallow: /local/           # папка с системными файлами битрикса
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Sitemap: https://metiz.severstal.com/sitemap.xml