The UNIX and Linux Forums  
Здравствуйте и добро от Соединенных Штатов UNIX и Linux Форумы! Благодарим Вас за посещение и вступления нашей мирового сообщества.

Go Back   В UNIX и Linux Форумы > Специальный форум > Веб-программирование, Web 2.0 и Mashups
robots.txt usage Использование robots.txt
.
Google unix.com

Форумы Регистрация Правила форумаСсылкиАльбомы ЧАВО Список участников Календарь Поиск Сегодняшние сообщения Отметить форумы читать


Веб-программирование, Web 2.0 и Mashups Обсудить веб-программирования и веб-сервер администрации, в том числе LAMP, Apache, MySQL, Flash, HTML, SEO, Mashups и других Web API, и тем.

Подробнее UNIX и Linux Темы форума можно найти полезные
Нить Резьба для начинающих Форум Ответы Последнее сообщение
текущей загрузки процессора, памяти, дискового ввода / вывода OID (SNMP) S_venkatesh SUN Solaris 2 12-13-2008 06:19 AM
Как я могу найти CPU использования памяти подкачки использования и логические тома использования alert0919 HP-UX 3 12-02-2008 02:38 PM
K-роботы 0,5 (по умолчанию филиала) iBot Релизов программ - RSS Новости 0 07-16-2008 08:10 PM
Монитор загрузки процессора и использования памяти Gajanad Bihani Программирования высокого уровня 2 03-09-2005 07:35 AM

Reply
English Japanese Spanish French German Portuguese Italian Dutch Swedish Russian Norwegian Hungarian Hebrew Danish Bulgarian Greek Powered By Powered by Google
 
LinkBack Резьба Инструменты Искать в этом Thread Оценить Thread Режимы дисплея
  #1 (Постоянная ссылка)  
Old 06-25-2009
rickhlwong rickhlwong is offline
Зарегистрированный пользователь
  
 

Регистрация: Jul 2008
Сообщений: 8
Использование robots.txt
Уважаемые все,

Я хочу использовать robots.txt для контроля за "паук". Можно ли определить IP-адрес, чтобы на сайте можно получить по "Паук"??
Спасибо.

Рик
  #2 (Постоянная ссылка)  
Old 06-25-2009
FIGARO figaro is offline
Зарегистрированный пользователь
  
 

Регистрация: Январь 2007
Сообщений: 267
Почти все, что можно знать о robots.txt можно найти здесь: Веб-роботы страницы
Надеюсь, что это помогает
  #4 (Постоянная ссылка)  
Old 06-26-2009
Neo's Avatar
Neo Neo is offline Forum Staff  
Администратор
  
 

Регистрация: Sep 2000
Место проведения: Азиатско-Тихоокеанский регион
Сообщения: 6670
Цитата:
Первоначально Послано rickhlwong View Post
Уважаемые все,

Я хочу использовать robots.txt для контроля за "паук". Можно ли определить IP-адрес, чтобы на сайте можно получить по "Паук"??
Спасибо.

Рик
Мы блокировать нежелательные пауки по IP адресу, используя IPCHAINS. Файл robots.txt используется поле User Agent в HTTP.

Многие агрессивно пауки не следуйте robots.txt и должны быть заблокированы, используя нечто вроде IPCHAINS или "вставить свой любимый" Firewall инструмент
  #5 (Постоянная ссылка)  
Old 06-28-2009
rickhlwong rickhlwong is offline
Зарегистрированный пользователь
  
 

Регистрация: Jul 2008
Сообщений: 8
Благодарим вас ~ ~

---------- Пост обновлен в 09:13 AM ---------- Предыдущее обновление было в 09:07 AM ----------

Благодарим вас ~ ~
Reply

Закладки

« Вывод, который Firefox нить где обнаружено нарушение правил | HTML-справки, необходимые »
Резьба Инструменты Искать в этом Thread
Искать в этом Thread:

Расширенный поиск
Режимы дисплея Оценить эту ветку
Hybrid Mode Гибридный режим
Оценить эту ветку:

Отправка Правила
Вы не может Начать новую нитей
Вы не может Почтовые ответы
Вы не может Почтовые вложения
Вы не может Редактировать Ваши сообщения
BB код быть На
Смайлики являемся На
[IMG] код На
HTML-код Вне
Trackbacks являемся На
Pingbacks являемся На
Refbacks являемся На



Часовой пояс GMT -4. Текущее время 01:13 PM.

The UNIX and Linux Forums - Learn UNIX and UNIX Commands RSS Feeds -- Связаться с нами -- В UNIX и Linux Форумы - Узнайте, UNIX и UNIX команды -- Архив -- Верх

Powered By: Справка, Copyright © 2000 - 2006, Jelsoft Enterprises Limited. Язык Переводы на питание от .
vBCredits v1.4 Copyright © 2007 - 2008, PixelFX Studios
В UNIX и Linux форумы Содержание Copyright © 1993-2009. Все права Reserved.Ad управления по RedTyger

Содержание соответствующие URL-адреса в vBSEO 3.2.0