RSS Projekt User Agents

verfasst 22.11.2008 von MediaCix | kurze URL: /t476 | 15 Kommentare

Projekt User Agents

Bots, Spider, Spammer, Suchmaschinen oder automatische Scripte werden immer mehr. Hier habe ich jetzt das Projekt User Agents gestartet. In erster Linie geht es darum Informationen von Bots und Spider zu sammeln, um diese von anderen Websites fern zu halten. Die Projekt-Website (www.user-agents.de) soll gezielt Bots, Spider oder sinnlose Suchmaschinen anlocken. Das erfassen von Browsern ist dabei weniger relevant. Viele User Agents sind jedoch vorgetäuscht oder manipuliert.

Und ja ich weis, dass das Layout und Design noch nicht fertig ist.
Das kommt später, wenn mein neuer Rechner am Netzwerk hängt :)

bisherige Kommentare

1
15.02.2009
[Bernhard] meint dazu:
Bin beim Googeln nach einem UA, der mir in meinen Logs aufgefallen war, auf Dein Projekt gestoßen. Wäre ja nun fein, Deine Deny-Liste einfach zu übernehmen. Aber vielleicht magst Du mal noch kurz erklären, wie Du das machst, die Einteilung in Blockieren und Zulassen? Spannende Sache, genau wie Deine RegEx-Seite übrigens. Danke und Gruß aus Wiesbaden

2
15.02.2009
CIX88 meint dazu:
Die Einteilung ist leider harte Handarbeit :) Es gibt Bots, die keinen stören, und dann gibt es Bots aus RU, RO oder JP, die müssen nicht unbedingt auf die Website. Dann gibt es selbstgebaute Suchmaschinen auf die man verzichten kann. So automatisch einen Bot oder Spider einsortieren, wollte ich nicht machen. Das wäre mir zu ungenau.

Die Deny-Liste wird automatisch erweitert, wenn ich dort bestimmte Bots oder Spider markiere bzw. einen bestimmten Status setze.

3
15.02.2009
[Bernhard] meint dazu:
Dann allen Respekt für Deine Arbeit!!! Einer Automatik hätte ich wohl nicht getraut, aber so übernehme ich sehr gern Deine Liste und schaue immer wieder bei Dir nach Neuigkeiten. Herzlichen Dank!

4
15.02.2009
CIX88 meint dazu:
Dort trage ich aber nur die ein, die auch wirklich Bots oder Spider sind, jedenfalls wo ich das vermute. Private Spielerein mit UA am Browser sind davon nicht betroffen. Es sei denn, jemand übertreibt es :)

5
15.02.2009
[Bernhard] meint dazu:
Schon klar. Wobei der, der mich via Google auf Deine Site geführt hat, vielleicht auch noch in die Liste gehören könnte. Du hast ihn auch schon zum "Blockieren" markiert.

6
15.03.2009
[Markus] meint dazu:
ich hab da mal ne frage zu den hier:# Sperre nach IP
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1

wie ganu geht das mit der IP?

7
15.03.2009
CIX88 meint dazu:
Zitat von Markus

„wie ganu geht das mit der IP?”


Bezogen auf das Beispiel:
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1

Sperre alle IPs, die mit 91.98 beginnen, und erstelle eine Variable bad_bot mit Wert 1. Ist nun bad_bot vorhanden, dann wird der Zugriff mit 403 verweigert.

8
15.03.2009
[Markus] meint dazu:
Und wenn ich jetzt eine pomplette IP sperren möchte muss ich dann die 91.98 mit der ip ersetzen oder? z.B. 123.123.123.123

9
15.03.2009
CIX88 meint dazu:
Ja bei einer kompletten IP musste alles eintragen. Wobei das aber nicht helfen wird, weil sich einzlene IPs schnell ändern oder eine andere IP aus einen Bereich benutzt wird. Dann wäre es sinnvoller einen ganzen Bereich (vorher mit Whois abfragen und gucken) zu sperren.

10
16.03.2009
[Markus] meint dazu:
ich hab da noch ne frage wie kann ich dies unterbinden:client sent HTTP/1.1 request without hostname (see RFC2616 section 14.23): /w00tw00t.at.ISC.SANS.DFind:)

11
16.03.2009
CIX88 meint dazu:
Also wenn du solche Anfragen unterbinden willst, dann:
SetEnvIfNoCase request_uri "w00tw00t" bad_bot=1

<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>


12
19.04.2009
Schiwi meint dazu:
Schöne Idee, doch leider werden auch Browserkennungen zur Blockierung empfohlen, die einfach von Usern verändert wurden weil ihnen die Standartkennung zu langweilig ist...
Die Blockempfehlungen werden offensichtlich willkürlich festgelegt, das ist schade...

13
12.06.2009
[dieschi] meint dazu:
In dem Fall kann man ja auch nur die wirklich auffälligen Browserkennungen sperren.

Ich fidne die Seite jedenfalls sehr Interessant zumal da viele Kennungen aufgeführt sind die mich auch schon zum grübeln brachten ...

Hoffe die Seite wird weiter geführt .. :)

14
19.04.2010
Unbekannt meint dazu:
Zitat von dieschi

„Hoffe die Seite wird weiter geführt .. :)”


Zur Zeit muss ich ein Update machen. hatte bei der Planung nicht an alles gedacht :(

15
14.10.2011
None meint dazu:
Hi,

nichts wildes, nur ein kleiner Schönheitsfehler auf http://www.user-agents.de/

Die Ausgabe oben --

dein User-Agent

IP: Bla
Agent: _Ich werde nicht richtig gefiltert_

Gefährlich ist das wohl eher nicht, zumindest ist mir nicht bekannt wie jemand anders meinen UA ändern könnte. Also XSS gegen mich selbst :)

Daher "Schönheitsfehler"

Viele Grüße!

neuen Kommentar schreiben

Ich möchte automatisch eine E-Mail bei neuen Kommentaren erhalten.



Themen mit ähnlichen Inhalten

    - keine weiteren Themen gefunden -

Tags zum Beitrag

user-agents