Startseite » Kategorie »
CIX Projekte,
RSS <-> Projekt User Agents
verfasst 22.11.2008 von CIX88 | kurze URL: /t476 | 14 Kommentare
Bots, Spider, Spammer, Suchmaschinen oder automatische Scripte werden immer mehr. Hier habe ich jetzt das Projekt User Agents gestartet. In erster Linie geht es darum Informationen von Bots und Spider zu sammeln, um diese von anderen Websites fern zu halten. Die Projekt-Website (www.user-agents.de) soll gezielt Bots, Spider oder sinnlose Suchmaschinen anlocken. Das erfassen von Browsern ist dabei weniger relevant. Viele User Agents sind jedoch vorgetäuscht oder manipuliert. Und ja ich weis, dass das Layout und Design noch nicht fertig ist.
Das kommt später, wenn mein neuer Rechner am Netzwerk hängt :)
bisherige Kommentare
Bernhard meint dazu:
Bin beim Googeln nach einem UA, der mir in meinen Logs aufgefallen war, auf Dein Projekt gestoßen. Wäre ja nun fein, Deine Deny-Liste einfach zu übernehmen. Aber vielleicht magst Du mal noch kurz erklären, wie Du das machst, die Einteilung in Blockieren und Zulassen? Spannende Sache, genau wie Deine RegEx-Seite übrigens. Danke und Gruß aus Wiesbaden
Bin beim Googeln nach einem UA, der mir in meinen Logs aufgefallen war, auf Dein Projekt gestoßen. Wäre ja nun fein, Deine Deny-Liste einfach zu übernehmen. Aber vielleicht magst Du mal noch kurz erklären, wie Du das machst, die Einteilung in Blockieren und Zulassen? Spannende Sache, genau wie Deine RegEx-Seite übrigens. Danke und Gruß aus Wiesbaden
15.02.2009
CIX88 meint dazu:
Die Einteilung ist leider harte Handarbeit :) Es gibt Bots, die keinen stören, und dann gibt es Bots aus RU, RO oder JP, die müssen nicht unbedingt auf die Website. Dann gibt es selbstgebaute Suchmaschinen auf die man verzichten kann. So automatisch einen Bot oder Spider einsortieren, wollte ich nicht machen. Das wäre mir zu ungenau.
Die Deny-Liste wird automatisch erweitert, wenn ich dort bestimmte Bots oder Spider markiere bzw. einen bestimmten Status setze.
Die Einteilung ist leider harte Handarbeit :) Es gibt Bots, die keinen stören, und dann gibt es Bots aus RU, RO oder JP, die müssen nicht unbedingt auf die Website. Dann gibt es selbstgebaute Suchmaschinen auf die man verzichten kann. So automatisch einen Bot oder Spider einsortieren, wollte ich nicht machen. Das wäre mir zu ungenau.
Die Deny-Liste wird automatisch erweitert, wenn ich dort bestimmte Bots oder Spider markiere bzw. einen bestimmten Status setze.
15.02.2009
Bernhard meint dazu:
Dann allen Respekt für Deine Arbeit!!! Einer Automatik hätte ich wohl nicht getraut, aber so übernehme ich sehr gern Deine Liste und schaue immer wieder bei Dir nach Neuigkeiten. Herzlichen Dank!
Dann allen Respekt für Deine Arbeit!!! Einer Automatik hätte ich wohl nicht getraut, aber so übernehme ich sehr gern Deine Liste und schaue immer wieder bei Dir nach Neuigkeiten. Herzlichen Dank!
15.02.2009
CIX88 meint dazu:
Dort trage ich aber nur die ein, die auch wirklich Bots oder Spider sind, jedenfalls wo ich das vermute. Private Spielerein mit UA am Browser sind davon nicht betroffen. Es sei denn, jemand übertreibt es :)
Dort trage ich aber nur die ein, die auch wirklich Bots oder Spider sind, jedenfalls wo ich das vermute. Private Spielerein mit UA am Browser sind davon nicht betroffen. Es sei denn, jemand übertreibt es :)
15.02.2009
Bernhard meint dazu:
Schon klar. Wobei der, der mich via Google auf Deine Site geführt hat, vielleicht auch noch in die Liste gehören könnte. Du hast ihn auch schon zum "Blockieren" markiert.
Schon klar. Wobei der, der mich via Google auf Deine Site geführt hat, vielleicht auch noch in die Liste gehören könnte. Du hast ihn auch schon zum "Blockieren" markiert.
15.02.2009
Markus meint dazu:
ich hab da mal ne frage zu den hier:# Sperre nach IP
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1
wie ganu geht das mit der IP?
ich hab da mal ne frage zu den hier:# Sperre nach IP
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1
wie ganu geht das mit der IP?
15.03.2009
CIX88 meint dazu:
Bezogen auf das Beispiel:
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1
Sperre alle IPs, die mit 91.98 beginnen, und erstelle eine Variable bad_bot mit Wert 1. Ist nun bad_bot vorhanden, dann wird der Zugriff mit 403 verweigert.
Zitat von Markus„wie ganu geht das mit der IP?”
Bezogen auf das Beispiel:
SetEnvIfNoCase remote_addr "^91.98.*" bad_bot=1
Sperre alle IPs, die mit 91.98 beginnen, und erstelle eine Variable bad_bot mit Wert 1. Ist nun bad_bot vorhanden, dann wird der Zugriff mit 403 verweigert.
15.03.2009
Markus meint dazu:
Und wenn ich jetzt eine pomplette IP sperren möchte muss ich dann die 91.98 mit der ip ersetzen oder? z.B. 123.123.123.123
Und wenn ich jetzt eine pomplette IP sperren möchte muss ich dann die 91.98 mit der ip ersetzen oder? z.B. 123.123.123.123
15.03.2009
CIX88 meint dazu:
Ja bei einer kompletten IP musste alles eintragen. Wobei das aber nicht helfen wird, weil sich einzlene IPs schnell ändern oder eine andere IP aus einen Bereich benutzt wird. Dann wäre es sinnvoller einen ganzen Bereich (vorher mit Whois abfragen und gucken) zu sperren.
Ja bei einer kompletten IP musste alles eintragen. Wobei das aber nicht helfen wird, weil sich einzlene IPs schnell ändern oder eine andere IP aus einen Bereich benutzt wird. Dann wäre es sinnvoller einen ganzen Bereich (vorher mit Whois abfragen und gucken) zu sperren.
15.03.2009
Markus meint dazu:
ich hab da noch ne frage wie kann ich dies unterbinden:client sent HTTP/1.1 request without hostname (see RFC2616 section 14.23): /w00tw00t.at.ISC.SANS.DFind:)
ich hab da noch ne frage wie kann ich dies unterbinden:client sent HTTP/1.1 request without hostname (see RFC2616 section 14.23): /w00tw00t.at.ISC.SANS.DFind:)
16.03.2009
CIX88 meint dazu:
Also wenn du solche Anfragen unterbinden willst, dann:
Also wenn du solche Anfragen unterbinden willst, dann:
SetEnvIfNoCase request_uri "w00tw00t" bad_bot=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>
16.03.2009
Schiwi meint dazu:
Schöne Idee, doch leider werden auch Browserkennungen zur Blockierung empfohlen, die einfach von Usern verändert wurden weil ihnen die Standartkennung zu langweilig ist...
Die Blockempfehlungen werden offensichtlich willkürlich festgelegt, das ist schade...
Schöne Idee, doch leider werden auch Browserkennungen zur Blockierung empfohlen, die einfach von Usern verändert wurden weil ihnen die Standartkennung zu langweilig ist...
Die Blockempfehlungen werden offensichtlich willkürlich festgelegt, das ist schade...
19.04.2009
dieschi meint dazu:
In dem Fall kann man ja auch nur die wirklich auffälligen Browserkennungen sperren.
Ich fidne die Seite jedenfalls sehr Interessant zumal da viele Kennungen aufgeführt sind die mich auch schon zum grübeln brachten ...
Hoffe die Seite wird weiter geführt .. :)
In dem Fall kann man ja auch nur die wirklich auffälligen Browserkennungen sperren.
Ich fidne die Seite jedenfalls sehr Interessant zumal da viele Kennungen aufgeführt sind die mich auch schon zum grübeln brachten ...
Hoffe die Seite wird weiter geführt .. :)
12.06.2009
MediaCix meint dazu:
Zur Zeit muss ich ein Update machen. hatte bei der Planung nicht an alles gedacht :(
Zitat von dieschi„Hoffe die Seite wird weiter geführt .. :)”
Zur Zeit muss ich ein Update machen. hatte bei der Planung nicht an alles gedacht :(
19.04.2010
auf Beitrag kommentieren
Themen mit ähnlichen Beiträgen
-
- keine weiteren Themen gefunden -
Tags zum Beitrag
user-agents
Mario Frost, www.cix-blog.de | Alle Rechte vorbehalten. 2003 - 2010 | Impressum
Kategorien
- Umfragen
- Allgemein
- Interview
- Fotografie
- CIX Projekte
- Projekt FPDF AcroForm
- Projekt Regex Tester
- PHP Programmierung
- Flash Programmierung
- Funk und Elektronik
- Internet
- Mediendesign
- Bildbearbeitung
- Audiobearbeitung
- Videobearbeitung
- Space
- Spam per E-Mail
- BfeK 3 Eilenburg
- TV, Radio und Kino
- Status Blog
Blog-Zubehör
- die letzten 20 Kommentare
- Blog Downloads
- Blog Lexikon
- Blog Umfragen
- Blog Info
- Blog Spion
- Blog Tetris
- Blog Tags
- Blog Newsletter
- Blog URL-Manipulation
- Blog PDF Kalender
letzte Kommentare
- drahtlose Elektroosmose gegen Feutigkeit oder nur Blödsinn
- Der trostlose Online-Shop von jay-tech.de
- Scheiß Google oder Google ist scheiße
- Vektor Deutschlandkarte mit ROLL_OVER
- MySQL - Daten von Tabelle zu Tabelle kopieren
Archiv
- 2008, Dezember
- 2008, November
- 2008, Oktober
- 2008, September
- 2008, August
- 2008, Juli
- 2008, Juni
- 2008, Mai
- 2008, April
- 2008, März
- 2008, Februar
- 2008, Januar
