На индексацию веб-страниц можно влиять по-разному. Кроме задания специальных директив в файле robots.txt используются noindex, nofollow, robots и др. элементы.
Читать

XHTML, Веб-разработка meta-тег, nofollow, noindex, robots, индексация, метатег

WordPress

WordPress строится на документах, написанных на языке сценариев XHTML 1.0.

Отличия XHTML от HTML

Читать

XHTML DOCTYPE, HTML, WordPress, XHTML