UA blues

[Stefan Ram]

Hier nur als Info eine Beobachtung:

Heute verwenden sehr viele Websites Cloudfl*re.
Arrangiere dich mit Cloudfl*re oder verzichte auf das Web!

Zuerst hatte ich einen historischen User-Agent-Header eingestellt.
Daraufhin erhielt ich von verschiedenen Websites 403.

Dann hatte ich einen UA eingestellt, von dem ich vermutete,
daß er sehr verbreitet ist oder es noch vor kurzem war (bis
zum Update seines Browsers). Nun kam kein 403 mehr, aber ich
sollte ein Captcha bearbeiten!

Schließlich habe ich mit verschiedenen anderen UAs
experimentiert, die mittel-häufig sein sollten, und so einen
gefunden, bei dem schließlich der Inhalt direkt erscheint
und kein Captcha mehr verlangt wird.

PS: Was ich in letzter Zeit noch öfter beobachtet habe, ist
ein "maskiertes 403". Da ist eigentlich ein 403 beabsichtigt,
aber man will dies nicht direkt mitteilen. Statt dessen
erscheint etwas wie "Seite vorübergehend nicht erreichbar".
Durch Ausprobieren konnte ich aber erkennen, daß der Site
nur etwas an den Request-Headern nicht gefällt, denn wenn
man die variiert, ist die Seite plötzlich wieder erreichbar.
Anscheinend soll unerwünschten Besuchern da nicht geholfen
werden, indem ihnen nicht einmal gezeigt wird, daß speziell
sie nicht erwünscht sind.

[Markus Schaaf]

Post by Stefan Ram
Schließlich habe ich mit verschiedenen anderen UAs
experimentiert, die mittel-häufig sein sollten, und so einen
gefunden, bei dem schließlich der Inhalt direkt erscheint
und kein Captcha mehr verlangt wird.

Klingt nach einer Bullshit-Technologie (irgendwas mit
Machine-Learning, als künstliche Intelligenz betitelt) zum
DDoS-Schutz, was ja wohl eines der Hauptprodukte von Cloudflare
ist. Muss also nicht mal etwas bedeuten, welcher UA da welche
Verhalten erzeugt. Betrachte es als dadaistische Datenverarbeitung.

Aber danke fürs Teilen. Wer weiß, wann man solch unnützes Wissen
braucht. :-)

MfG

[Andreas M. Kirchwitz]

Post by Stefan Ram
Heute verwenden sehr viele Websites Cloudfl*re.
Arrangiere dich mit Cloudfl*re oder verzichte auf das Web!
Zuerst hatte ich einen historischen User-Agent-Header eingestellt.
Daraufhin erhielt ich von verschiedenen Websites 403.

Warum bastelt man überhaupt am UA herum? Außer eine ganz spezielle
Website, an die man aber zwingend ran muss, ist so total kaputt,
dass sie den Standard-UA des Browsers nicht akzeptiert, was schon
immer selten war und heutzutage besonders selten geworden ist.

Ich frage das aus Neugier, weil anscheinend so viele daran
herumfummeln, und vielleicht entgeht mir etwas Geniales. :-)

Viele Grüße ... Andreas

[Axel Berger]

Post by Andreas M. Kirchwitz
was schon
immer selten war und heutzutage besonders selten geworden ist.

Für alle, die "den Browser" benutzen, den der Website "Designer" als
einzigen kennt und verwendet, hast Du recht. Jeder mit einem irgendwie
anderen guckt schnell in die Röhre. Browser Spoofing hört wohl nie auf.
Der traditionelle Ansatz "ich schreibe validen, normgerechten Code, ob
und wie du damit zurechtkommst, ist dein Problem" ist so was von out --
und war es schon Mitte der Neunziger.

[Andreas M. Kirchwitz]

Post by Axel Berger
Für alle, die "den Browser" benutzen, den der Website "Designer" als
einzigen kennt und verwendet, hast Du recht. Jeder mit einem irgendwie
anderen guckt schnell in die Röhre. Browser Spoofing hört wohl nie auf.

Ich verwende fürs Surfen hauptsächlich Firefox unter Linux, also ein
ausgesprochener Exot gemessen an der globalen Statistik, und ich kann
mich nicht erinnern, wann ich zuletzt in die Röhre geguckt habe. :-)

Was sind das für Websites, wo ich den User-Agent verfälschen muss?
Vielleicht ist mir über viele Jahre bisher eine wunderbare Welt
verborgen geblieben, weil ich Ignorant den User-Agent überall
so lasse, wie der Browser es für sinnvoll hält.

Klar, kaputte Websites gibt es, aber die sind so selten, dass mir gar
nicht in den Sinn käme, mühevoll am User-Agent zu fummeln, zumal ich
ja nie weiß, ob dies das Problem überhaupt löst, ich bezweifle es eher.
Da nehme ich temporär einen anderen Browser und dann ist überlicherweise
alles gut. In der Regel ist das Problem ohnehin nach kurzer Zeit behoben
und ich kann dort surfen wie immer.

Grüße, Andreas

[Arno Welzel]

Post by Axel Berger

Post by Andreas M. Kirchwitz
was schon
immer selten war und heutzutage besonders selten geworden ist.

Für alle, die "den Browser" benutzen, den der Website "Designer" als
einzigen kennt und verwendet, hast Du recht. Jeder mit einem irgendwie

[...]

Bedanke Dich bei Spammern und anderen Kriminellen, die Websites
angreifen und die Maßnahmen wie Cloudflare nötig machen. Spätestens,
wenn der eigene Server mit 500-1000 Anfragen pro Sekunde(!) geflutet
wird, hilft einem keine Ideologie von einer schönen freien Welt mehr,
wenn man für Nutzer erreichbar bleiben will.

[Andreas Kohlbach]

Post by Arno Welzel
Bedanke Dich bei Spammern und anderen Kriminellen, die Websites
angreifen und die Maßnahmen wie Cloudflare nötig machen.

Leider nutzen auch Spammer selbst Dienste von Cloudflare und Co für ihre
Webseiten (illegale Medikamente, Pen1s-Erweiterungen, Aluhüte...).

[Arno Welzel]

Post by Andreas Kohlbach

Post by Arno Welzel
Bedanke Dich bei Spammern und anderen Kriminellen, die Websites
angreifen und die Maßnahmen wie Cloudflare nötig machen.

Leider nutzen auch Spammer selbst Dienste von Cloudflare und Co für ihre
Webseiten (illegale Medikamente, Pen1s-Erweiterungen, Aluhüte...).

Ja, Spammer nutzen das Internet. Sollte man deshalb also das Internet an
sich nicht mehr verwenden?

[Axel Berger]

Post by Arno Welzel
Ja, Spammer nutzen das Internet.

Das war in meinen Augen nicht der Punkt.

Post by Arno Welzel

Post by Andreas Kohlbach
Leider nutzen auch Spammer selbst Dienste von Cloudflare

Wenn ein kommerzieller Anbieter als Geschäftsmodell die Spamabwehr
anbietet, dann sollte er nicht selber im Hintergrund aktiv das Problem
verschlimmern, um sich weitere Kunden zuzutreiben.

[Arno Welzel]

Post by Axel Berger

Post by Arno Welzel
Ja, Spammer nutzen das Internet.

Das war in meinen Augen nicht der Punkt.

Post by Arno Welzel

Post by Andreas Kohlbach
Leider nutzen auch Spammer selbst Dienste von Cloudflare

Wenn ein kommerzieller Anbieter als Geschäftsmodell die Spamabwehr
anbietet, dann sollte er nicht selber im Hintergrund aktiv das Problem
verschlimmern, um sich weitere Kunden zuzutreiben.

Das Geschäftsmodell von Cloudflare ist nicht "Spamabwehr" sondern die
Verfügbarkeit von Websites sicherzustellen, indem die Inhalte über ein
weltweit verteiltes Netzwerk von Proxy-Servern verteilt wird, die
einerseits durch Caching die Last vom Orignal-Server reduzieren und
andererseits bestimmte Arten von Angriffsversuchen blockieren.

Wenn man nun bemängelt, dass Cloudlfare nicht jede Spammer-Website
sofort sperrt, die über ihre Netze erreichbar ist, muss man
konsequenterweise auch alle anderen Internet-Provider gleichermaßen
kritisieren - schließlich stellen sie den Spammern in gleicher Weise
Ressourcen zur Verfügung und verhindern nicht, dass Spammer ihren Müll
an die Opfer loswerden.

[Andreas Kohlbach]

Post by Arno Welzel

Post by Andreas Kohlbach

Post by Arno Welzel
Bedanke Dich bei Spammern und anderen Kriminellen, die Websites
angreifen und die Maßnahmen wie Cloudflare nötig machen.

Leider nutzen auch Spammer selbst Dienste von Cloudflare und Co für ihre
Webseiten (illegale Medikamente, Pen1s-Erweiterungen, Aluhüte...).

Ja, Spammer nutzen das Internet. Sollte man deshalb also das Internet an
sich nicht mehr verwenden?

Nein, wie man auch nicht Buttermesser verbieten sollte, obwohl man damit
Menschen umbringen kann.

Meine Aussage sollte erwähnen, dass auch die, vor denen Cloudflare und
Co. eigentlich schützen soll, ihren Dienst nutzen. Ja, das ist
normal. Analog werden vielleicht auch Viren-Programmierer
Antivirenprogramme benutzen...

[Arno Welzel]

Post by Andreas Kohlbach

Post by Arno Welzel

Post by Andreas Kohlbach

Post by Arno Welzel
Bedanke Dich bei Spammern und anderen Kriminellen, die Websites
angreifen und die Maßnahmen wie Cloudflare nötig machen.

Leider nutzen auch Spammer selbst Dienste von Cloudflare und Co für ihre
Webseiten (illegale Medikamente, Pen1s-Erweiterungen, Aluhüte...).

Ja, Spammer nutzen das Internet. Sollte man deshalb also das Internet an
sich nicht mehr verwenden?

Nein, wie man auch nicht Buttermesser verbieten sollte, obwohl man damit
Menschen umbringen kann.
Meine Aussage sollte erwähnen, dass auch die, vor denen Cloudflare und
Co. eigentlich schützen soll, ihren Dienst nutzen. Ja, das ist
normal. Analog werden vielleicht auch Viren-Programmierer
Antivirenprogramme benutzen...

Mir ging es darum, dass Cloudflare nicht deswegen schlecht ist, weil
*auch* Spammer deren Dienste nutzen.

[Andreas Kohlbach]

Post by Arno Welzel

Post by Andreas Kohlbach
Nein, wie man auch nicht Buttermesser verbieten sollte, obwohl man damit
Menschen umbringen kann.
Meine Aussage sollte erwähnen, dass auch die, vor denen Cloudflare und
Co. eigentlich schützen soll, ihren Dienst nutzen. Ja, das ist
normal. Analog werden vielleicht auch Viren-Programmierer
Antivirenprogramme benutzen...

Mir ging es darum, dass Cloudflare nicht deswegen schlecht ist, weil
*auch* Spammer deren Dienste nutzen.

Das wollte ich damit auch nicht zum Ausdruck bringen.

[Andreas Kohlbach]

Post by Andreas M. Kirchwitz

Post by Stefan Ram
Heute verwenden sehr viele Websites Cloudfl*re.
Arrangiere dich mit Cloudfl*re oder verzichte auf das Web!
Zuerst hatte ich einen historischen User-Agent-Header eingestellt.
Daraufhin erhielt ich von verschiedenen Websites 403.

Warum bastelt man überhaupt am UA herum? Außer eine ganz spezielle
Website, an die man aber zwingend ran muss, ist so total kaputt,
dass sie den Standard-UA des Browsers nicht akzeptiert, was schon
immer selten war und heutzutage besonders selten geworden ist.

Cloudflare und andere "sind" mehrere Millionen Webseiten. Zumindest
stehen sie vor diesen, um diese zu schützen.

Post by Andreas M. Kirchwitz
Ich frage das aus Neugier, weil anscheinend so viele daran
herumfummeln, und vielleicht entgeht mir etwas Geniales. :-)

Also mit dem aktuellen Firefox auf dem *aktuellen* Rechner geht das meist
automatisch. Beim alten Rechner, der wenig RAM und eine schwache CPU hat,
dauerte es oder ging gar nicht (weil es zu lange dauerte).

Mit Textbrowser geht es erst Recht nicht. Da hilft auch die das Fälschen
des User-Agenten.

Das WWW wird immer unbrauchbarer. Ohne feschen GUI Browser kommt man
heute nicht mehr weit.

[Marco Moock]

Am Donnerstag, 23. Juni 2022, um 17:50:41 Uhr schrieb Andreas M.

Post by Andreas M. Kirchwitz
Warum bastelt man überhaupt am UA herum? Außer eine ganz spezielle
Website, an die man aber zwingend ran muss, ist so total kaputt,
dass sie den Standard-UA des Browsers nicht akzeptiert, was schon
immer selten war und heutzutage besonders selten geworden ist.

Nein. Es gibt diverse Websites, die anhand des UA unterschiedlich
reagieren und unbekannte UAs 8von kleinen Browsern) nicht akzeptieren.