Чтобы уточнить, какие страницы необходимо скрыть от индексации в robots.txt, используется операторы * и $
Оператор *
Обозначает 0 или более экземпляров любого действительного символа
Disallow: *sort=*
скрыть от индексации все страницы с GET параметром sort
Disallow: *system*
скрыть от индексации все системные страницы
Оператор $
Обозначает конец URL
Disallow: /*.php$
скрыть от индексации все страницы, URL которых оканчивается на .php