21 Ноября 2017, 13:13:36

Автор Тема: Помогите составить robots.txt для DLE  (Прочитано 3915 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн BAKS1K

  • Постоялец
  • ***
  • Сообщений: 172
  • Репутация: 7
  • Пол: Мужской
    • Создай Свой Игровой Сервер с www.valve-server.ru
Помогите составить robots.txt для DLE
« : 27 Сентября 2012, 12:14:30 »
Народ, помогите составить правильный robots.txt для сайта на движке DLE. Недавно читал где то что Яша опять поменял там что то. Вобщем нужно всё ненужное закрыть для него и остальных поисковиков.

Оффлайн -DRUM-

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 2 560
  • Репутация: 182
  • Пол: Мужской
  • Поехали!
    • Бесплатный хостинг от "Интернет Обсерватории"
Re: Помогите составить robots.txt для DLE
« Ответ #1 : 27 Сентября 2012, 13:00:09 »
у яши есть конструктор robots в панели управления "мои сайты"
billing.intobs.ru

Оффлайн BAKS1K

  • Постоялец
  • ***
  • Сообщений: 172
  • Репутация: 7
  • Пол: Мужской
    • Создай Свой Игровой Сервер с www.valve-server.ru
Re: Помогите составить robots.txt для DLE
« Ответ #2 : 28 Сентября 2012, 08:24:45 »
у яши есть конструктор robots в панели управления "мои сайты"
Про конструктор знаю. Но боюсь закрою чего не надо там. Поэтому прошу у знающих людей помочь составить. Или самый оптимальный вариант это стандартный файл в движке?

Оффлайн PolarWolf

  • Песец когда песцы
  • Администратор
  • Ветеран
  • *****
  • Сообщений: 884
  • Репутация: 36
  • Пол: Мужской
    • BlogOfCoder.RU - блог начинающего кодера
Re: Помогите составить robots.txt для DLE
« Ответ #3 : 28 Сентября 2012, 08:33:58 »
Конечно. А ты сомневался?
При появлении каждой неправильной заявки на ИО умирает один белый пушной зверек. Пожалей песцов :'(
CSTLeague

Оффлайн BAKS1K

  • Постоялец
  • ***
  • Сообщений: 172
  • Репутация: 7
  • Пол: Мужской
    • Создай Свой Игровой Сервер с www.valve-server.ru
Re: Помогите составить robots.txt для DLE
« Ответ #4 : 28 Сентября 2012, 13:51:32 »
Конечно. А ты сомневался?

Если честно, то да. Вобщем с учетом просмотренных файлов robots.txt на различных сайтах составил себе такой. Если что не так прошу сообщить. Вот он:
User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /uploads/posts/*/*/$
Disallow: /favorites/
Disallow: /page/
Disallow: /engine/
Disallow: /engine/download.php*
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /tags/*/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /addnews.html
Disallow: /banners/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /user/*/
Disallow: /2010/
Disallow: /2010/*/
Disallow: /2010/*/*/
Disallow: /2011/
Disallow: /2011/*/
Disallow: /2011/*/*/
Disallow: /2012/
Disallow: /2012/*/
Disallow: /2012/*/*/
Disallow: /*cat=*
Disallow: /*p=*
Disallow: /*print
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Host: www.сайт.ru
Sitemap: http://www.сайт.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /uploads/posts/*/*/$
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /page/
Disallow: /addnews.html
Disallow: /*/page/*
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /*/*/page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /tags/*/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*do=rules
Disallow: /banners/
Disallow: /user/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /print
Disallow: /?p*
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*do=*
« Последнее редактирование: 28 Сентября 2012, 13:57:42 от BAKS1K »

aXE364

  • Гость
Re: Помогите составить robots.txt для DLE
« Ответ #5 : 28 Сентября 2012, 21:25:50 »
Цитировать
User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
url: http://wm-android.ru/
sitemap: http://wm-android.ru/sitemap.xlm
вот и все(не мой робот, тк не могу зайти в filezillllly)) )

Оффлайн BAKS1K

  • Постоялец
  • ***
  • Сообщений: 172
  • Репутация: 7
  • Пол: Мужской
    • Создай Свой Игровой Сервер с www.valve-server.ru
Re: Помогите составить robots.txt для DLE
« Ответ #6 : 28 Сентября 2012, 21:40:37 »
Ну по идее так то да, тако и должен быть, просто нужно закрыть было ненужное для индексации: профили пользователей, новости вида сайт/дата/новость.html, статические страницы (они у меня не так уж и важны), статистику и .т.п.
Поставил, теперь посмотрим как индексация пойдет. Ещё удалю ненужные страницы в индексе у яшы.