Как правильно отфильтровать ботов?

Все вопросы касающиеся скрипта ТДС и системы покупки трафика TS пишите сюда. Ответы на вопросы тоже сюда.

Модератор: Begemot

Ответить
beer
Сообщения: 0
Зарегистрирован: Пн июл 31, 2006 4:11 pm

Сообщение beer » Сб сен 16, 2006 10:04 pm

Доброго всем дня!
Я через Сутру пропускаю 404 траф.. и возник вопрос, как проще и правильней отфильтровать ботов.. Насколько я понимаю, путем выставления первым правилом js-redirect, но каким?
Спасибо.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Вс сен 17, 2006 12:56 am

(фильтр ботов, botfilter.html)

создай в каталоге сутры файл files/mybotfilter.html с таким содержимым:

Код: Выделить всё

 <html> 
 <head> 
 <meta http-equiv="REFRESH" content="1;URL='http://www.google.com/polohoi_traf'"> 

 <script LANGUAGE="JavaScript"> 
 function url_de(s) 
 { 
         return s.split("").reverse().join(""); 
 } 

 window.location=url_de("fart_yihsoroh=q?hcraes/moc.elgoog.www//:ptth"); 
 </script> 

 </head> 
 <body> 
 <a href="http://www.google.com/search?q=polohoi_traf">plohoi traf</a> 
 </body> 
 </html> 
замени соответственно урлы на свои.
В схеме распределения вместо урла перенаправления пропиши:
mybotfilter.html
Всё.

Как это работает - in.cgi будет читать содержимое файла mybotfilter.html и отображать его вместо перенаправления.

Сам код работает просто -
боты не смогут исполнить яваскрипт и не уйдут на "http://www.google.com/search?q=horoshiy_traf" при любом раскладе,
на него уйдут только серферы с включенным яваскриптом.

Боты, если они не совсем глупые, уйдут на http://www.google.com/search?q=polohoi_traf
так как им больше ничего не остается.

СМОТРИТЕ ТАКЖЕ СПОСОБ АВТОМАТИЗАЦИИ ГЕНЕРАЦИИ АНТИБОТ-КОДА
Последний раз редактировалось Begemot Сб янв 24, 2009 8:43 pm, всего редактировалось 2 раза.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Вс сен 17, 2006 12:59 am

другой вариант - лить трафик на mybotfilter.html,
а уже с него перенаправлять на сутру для дальнейшего распределения,

У этого варианта по сравнению с предыдущим есть плюсы:
в сутре будет сразу известно кто бот а кто не бот

и минусы:
нужно два перенаправления вместо одного.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Вс сен 17, 2006 1:01 am

посмотри еще топик
viewtopic.php?t=25
возможно пригодится.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

beer
Сообщения: 0
Зарегистрирован: Пн июл 31, 2006 4:11 pm

Сообщение beer » Вс сен 17, 2006 12:55 pm

спасибо, за быстрый ответ!

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

backup
Сообщения: 16777212
Зарегистрирован: Пт янв 26, 2007 5:11 pm

Сообщение backup » Чт окт 19, 2006 9:14 am

боты бегают по яве, соответсвенно могут попадать на фид
вот так можно закрыть?

header:HTTP_USER_AGENT:
msnbot Googlebot Slurp

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Чт окт 19, 2006 7:40 pm

можно, именно так

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

dipsi
Сообщения: 2
Зарегистрирован: Чт мар 08, 2007 1:24 pm

Сообщение dipsi » Пт мар 09, 2007 5:29 pm

Применив фаил files/mybotfilter.html как сделать так ,что-бы сутра еще и посчитала (in) именно серферов с включенным яваскриптом а не всех входящих.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Пт мар 09, 2007 6:43 pm

dipsi писал(а):Применив фаил files/mybotfilter.html как сделать так ,что-бы сутра еще и посчитала (in) именно серферов с включенным яваскриптом а не всех входящих.
зашифруй код каунтера на фришнике, аналогично написанному выше, он уже на яваскрипте, так что труда не составит.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

dipsi
Сообщения: 2
Зарегистрирован: Чт мар 08, 2007 1:24 pm

Сообщение dipsi » Сб мар 10, 2007 1:07 am

Если каунтер стоит на фрихе он сможет засеч откуда пришел серфер если он сначала попадает на mybotfilter.html а потом на фриху? Или каунтер ставить прямо в mybotfilter.html но тогда gif не успеет загрузиться?Как лучше сделать?

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Сб мар 10, 2007 6:20 am

лучше ничего не трогать а смотреть ботов по зеленым цифрам (уникам)

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Begemot
Site Admin
Сообщения: 1145
Зарегистрирован: Вс май 01, 2005 3:20 pm

Сообщение Begemot » Пт авг 01, 2008 9:12 am

Выше был описан способ фильтрации ботов яваскриптом.
В нём есть один недостаток - для каждого нового урла нужно создавать новый .html файл.
Здесь я опишу как сделать так, чтобы это делалось автоматически.
Для этого нужно написать небольшой модуль на php и встроить его в сутру (подробное описание смотрите в доке сутры в методах передаправлений)

Итак:
1) создайте файл files/antibot.php с таким содержимым:
<?
$bots_url = $_GET[bots_url];
$url = $_GET[url];
$url_r = strrev($url);
?>
<html>
<head>
<meta http-equiv="REFRESH" content="1;URL='<? print $bots_url; ?>'">

<script LANGUAGE="JavaScript">
function url_de(s)
{
return s.split("").reverse().join("");
}

window.location=url_de("<? print $url_r; ?>");
</script>

</head>
<body>
<a href="<? print $bots_url; ?>">plohoi traf</a>
</body>
</html>
2) В схеме распределения вместо урла перенаправления теперь нужно писать:
curl://сутра/files/antibot.php?bots_url=http://boti.com/&url=http://goodtraf.com/

где bots_url - урл для слива ботов (урл нужно квотить = зменять & и ? на коды), а url - урл для слива трафика без ботов (урл нужно квотить)

Всё.

Код работает аналогично примеру на html.

Ссылка:
BBcode:
HTML:
Скрыть ссылки на пост
Показать ссылки на пост

Ответить