Beste Sprache für sehr schnelle HTTP requests (jedes ms zählt)?

[nerdalicious]

@stwe Dann wünsche Threadersteller viel Erfolg mit seiner CLI applikation fürs Trading. lol

 

[ayngush]

Ist halt auch ein Geschäftsmodell und allemal besser als Rentner um ihre Altersvorsorge zu bringen oder Drogen, Waffen, Pädokram und Auftragsmorde im Darkweb zu verticken.

Und warum so viele Leute so viel Geld für CS:GO Skins ausgeben verstehe ich auch nicht so ganz, da bin ich einfach nicht tief genug in der Szene drinnen.

 

[umask007]

Wenn jedes ms zählt: Lass dein Programm in der Cloud laufen,
am besten möglichst nah am bitskins Server und mit möglichst hoher Bandbeite.
Sollte mehr bringen als Mikrooptimierungen im Code.
Ansonsten kannst du auch mal schauen, ob keep-alive bei deinen Requests verwendet wird.
https://en.wikipedia.org/wiki/HTTP_persistent_connection
Wäre ne Erklärung, wieso die Chrome Konsole schneller ist.
Außerdem verschickt der Browser HTTP Requests asynchron.
Wobei die Internetbandbreite bei paralleler Ausführung weiterhin der limitierende Faktor bleibt
und große Geschwindigkeitsgewinne unwarscheinlich sind, ist es ein Versuch wert.

 

[ayngush]

Welchen Vorteil hat cloud computing bei der Aufgabe, welches vom edge computing, was er ja bereits eingerichtet hat, nicht besser erledigt werden kann?

 

[umask007]

Keine Ahnung. Hab ich wohl überlesen, als ich den Thread überflogen habe^^

Ergänzung (9. März 2020)

OK. Habe die Seite Bitskins mal aufgerufen.
Im Resonse header steht bei mir:
content-encoding: gzip

Das heißt also, der Server unterstützt komprimierte Requests.

Versuch mal im Header
accept-encoding: gzip, deflate, br

Hoffe das war jetzt hilfreich, nachdem ich soviel Unsinn geschrieben habe

Ergänzung (9. März 2020)

Wie liest du die Item Preise eigentlich aus?
Du schreibst dass du die Webseite scrapest.
Nicht wirklich effektiv, da es auch ne JSON basierte API gibt.
https://bitskins.com/api
JSON hat weniger Overhead als HTML.
Außerdem bieten die auch ne Websockets API mit Echtzeitupdates an:
https://bitskins.com/websockets
Sollte wesentlich schneller sein als Polling...

 

[shoa66]

Danke für eure Beiträge, waren einige interessante Punkte dabei und hat sehr geholfen noch einmal über alles zu reflektieren.

Ansonsten kannst du auch mal schauen, ob keep-alive bei deinen Requests verwendet wird.

Hab ich schon implementiert, aber danke.

Das heißt also, der Server unterstützt komprimierte Requests.

Versuch mal im Header
accept-encoding: gzip, deflate, br

Danke, das ist interessant und könnte tatsächlich etwas schneller gehen (müsste man mal mit höherer Samplesize benchen). Aber wie entkomprimiere ich die Daten dann wieder?

Außerdem bieten die auch ne Websockets API mit Echtzeitupdates an
Nicht wirklich effektiv, da es auch ne JSON basierte API gibt.
https://bitskins.com/api
JSON hat weniger Overhead als HTML.

Websockets sind fast immer down und hinken teils 20 Sekunden hinterher. Die API liefert leider nur unvollständige Daten.

Das ein Mensch so etwas moralisch vertreten kann ...

Ja, wie kann man die Marktwirtschaft nur moralisch vertreten?

 

[umask007]

Danke, das ist interessant und könnte tatsächlich etwas schneller gehen (müsste man mal mit höherer Samplesize benchen). Aber wie entkomprimiere ich die Daten dann wieder?

Das sollte die HTTP Client API deiner Wahl automatisch können. Hier ein Beispiel in C#:
https://stackoverflow.com/questions/839888/httpwebrequest-native-gzip-compression
Also kein Mehraufwand, wenn du die Requests nicht auf TCP Ebene implementiert hast.

 

[netzgestaltung]

Insofern die Berechnung auf dem Server nicht manipuliert werden kann (anderer Content-Type, bestimmte Flags, API, ...)

Hi,

ich hab mich auf der Seite umgesehen und die bieten selber eine API an, zb mit Websockets und versprechen "Real Time" dadurch.

Vielleicht hilft diese Info ja.

Edit: oh, wurde schon besprochen.