Robots.txt нужен для того, чтобы показать поисковой системе какие страницы на сайте можно индексировать, а какие нет. Навигация ваниллы, проста для пользователя, но, к сожалению, сложна для поисковой системы.

Движок Vanilla 2 содержит очень большое количество дублей страниц, это может черевато сказаться на ранжировании сайта в результатах выдачи, а так же сайт вообще может быть забанен за дублирования контента (или поймать такой извесный фильтр как АГС).

Поэтому нам нужно скрыть от робота не нужные для него страницы. Чем мы сейчас и займемся. Ниже представлен файл роботс.txt в котором по моему мнению нужно было закрыть все не нужные для индексации страницы, а открыть лишь страницы обсуждений (тем)

User-agent:*
Disallow: /dashboard*
Disallow: /profile*
Disallow: /entry*
Disallow: /vanilla*
Disallow: /discussions*
Disallow: /categories*
Disallow: /post*
Disallow: /discussion/*/$

Проясню некоторые моменты.

Во первых, пример выше предназначен для _всех_ поисковиков, его будут выполнять yandex, google, yahoo, bing и т.д.

Во вторых, в нем закрыты все служебные разделы сайта, а именно: страница входа, регистрации, создания темы, теги.

В третьих закрыты все профили участников, дабы избежать появления в них спамных ссылок.

И в четвертых, что самое важное закрыты дубликаты тем.

Подробнее о дубликатах тем. Ванилла позволяет использовать ЧПУ в виде транслитированных заголовков пример: vanillaforum.ru/discussion/26/kak-sdelat-navigaciyu-v-razdelah. Это конечно замечательно, но. Данная страница остается доступной по адрессу vanillaforum.ru/discussion/26/ , а вот это уже плохо, ибо на лицо полная дубликация контента на двух страницах. Поисковик может расценить это как накрутку его алгоритмов и применить санкции к сайту.

В мною составленном robots.txt, мы ясно даем понять поисковой системе, что ему можно индексировать страницы с адрессом vanillaforum.ru/discussion/26/kak-sdelat-navigaciyu-v-razdelah, но нельзя vanillaforum.ru/discussion/26/ .

Задается это выражением Disallow: /discussion/*/$ таким образом мы избегаем дубликатов, и оставляем в выдаче лишь одну страницу, которая содержит название темы, что положительно влияет на индексацию.

Окей, разобрались с тем что закрыли. Но ведь у нас есть несколько поисковых систем, а в рунете вебмастера отдают предпочтение ПС Яндекс, поэтому желательно делать robots.txt для нескольких поисковых систем. Давайте это сделаем.

После знака шарп (#) я буду давать пояснения в файле робот.тхт, для того чтобы вам было понятней почему я это делаю. Кстати в дальнейшем вы можете скопировать файл прямо с пояснениями, т.к. роботы обрабатывают знак шарп, как пояснения для других вебмастеров, и не обращают на него внимания.

User-agent: Yandex #Составляя роботс.txt, ставим юзер-агент яндекса, всегда первым.
Disallow: /dashboard* #закрываем служебные страницы
Disallow: /profile* #закрываем, все что относится к профилю
Disallow: /entry* #снова служебные (вход, рега и т.д.)
Disallow: /vanilla* #служебное
Disallow: /discussions* #теги и т.д., обратите внимание на букву S в конце - это не discussion
Disallow: /categories* #скрываем категории, если они нужны вам для продвижения - оставляйте
Disallow: /post* #служебное
Disallow: /discussion/*/$ #дубликаты страниц
Host: vanillaforum.ru #указываем главное зеркало, на всякий случай
Sitemap: http://vanillaforum.ru/sitemap.index.xml #карта сайта _если_ установлен плагин для её генерации

#Роботс для юзер агента яндекса, написан, теперь пишем для _всех_ остальных

User-agent:* #Звездочка указывает на то, что этим правилам должны руководствоваться все роботы, не прописанные отдельно. 
Disallow: /dashboard*
Disallow: /profile*
Disallow: /entry*
Disallow: /vanilla*
Disallow: /discussions*
Disallow: /categories*
Disallow: /post*
Disallow: /discussion/*/$
Sitemap: http://vanillaforum.ru/sitemap.index.xml
#Как видим, все тоже самое, только без параметра HOST - это специальный параметр для Яндекса. 

#Мы можем исключить, либо уменьшеть индексацию сайта нежелаемыми роботами (которые в ответ не принесут практически никакого трафика). Я выключаю индексацию для  Bing и Yahoo 

User-agent: MSNBot #Bing
Crawl-delay: 120
Disallow: /

User-agent: Slurp #Yahoo
Crawl-delay: 120
Disallow: /

#Файл robots.txt для Vanilla 2 составил Quadrosmit (http://vanillaforum.ru)

Вот и всё :) Теперь нам необходимо залить этот файлик в корневой каталог сайта, что бы он был доступен по адресу http://vanillaforum.ru/robots.txt . Поисковые системы будут правильно индексировать ваш сайт. Теперь вы можете не боятся за санкции с их стороны за дублирование контента.

Скачать чистый файл можно отсюда, предварительно подредактируйте урлы под свой сайт и расскоментируйте строку где упоминается о карте сайта, если плагин установлен.