API Response aufzeichnen

[Funkener]

Guten Tag,

mein Programmierer scheitert aktuell daran mit Python, Scrapy, usw. die API Response auf eine Eingabe abzuspeichern.
Es geht um folgende Seite: https://www.kennzeichenking.de/wunschkennzeichen-reservieren Dort erhält man via deren API nach der Eingabe einer Buchstabenkombination eine API Antwort im JSON Format. Und diese Antwort soll abgespeichert oder halt gescrapt werden. Und das halt für sehr viele Buchstabenkombinationen...

Habt ihr eine Idee, wie man da am besten vorgeht?

Anbei ein Bild von einer API Response.

 

[cloudman]

So zum Beispiel https://pynative.com/parse-json-response-using-python-requests-library/

Google Suche : python parse json rest

 

[Innensechskant]

Guten Abend,

welcher Programmierer scheitert denn daran, eine Response in eine Variable zu schreiben und damit nachher anzustellen, was auch immer man möchte?

Prinzipiell müsst ihr einfach schauen, was im Request-Header steht, dann könnt ihr schauen, wie ihr die Anfrage verändern müsst, damit ihr eure Wunschkennzeichen in den Request eingeben könnt.

Die Antwort, falls man das ganz einfach mit python-requests löst, kann man dann mittels response.content abfragen.

Vielleicht setze ich mich nachher mal an eine Lösung.

 

[Funkener]

Mir war nicht bewusst, dass es so einfach ist. Er ist halt nur ein Python Typ, welcher wohl noch nicht viel Erfahrung damit hatte. Ich werde mal fragen, ob ihm der eine Link hilft. Vielen Dank euch. Dachte es wäre sehr kompliziert.

 

[0x8100]

gerade mit python-requests braucht man nur auf r.json() zugreifen und hat gleich alle daten.

 

[Wasserhuhn]

Wieso fragt er nicht selber?
Finde ich komisch, so kann man doch besser Hilfestellung leisten. "Scheitert daran" ist keine Fehlerbeschreibung.

Mir kommt das Thema komisch vor. Das hier ist keine API, sondern ein Request über reguläre Nutzereingaben.
Ich erinnere mich an das andere Thema, da war der Inhalt der Subdomain der eigentlichen API ein direktes "F*** you".
Wenn ich hier ein Simulieren von Nutzereingaben sehe, kombiniert mit "sehr viel", weiß ich nicht, ob Hilfestellung hier erlaubt ist.
Letztenendes liegt hier ein Missbrauch des Services vor. Ich kenne die rechtliche Seite nicht. Es wäre nachvollziehbar bei einer kostenpflichtigen API das in Rechnung zu stellen. Oder die Störung des Dienstes, je nach Auslastung. U.U. läge ein Daten-Diebstahl vor.
Meine Einschätzung, thematisch sehe ich mangels Informationen und falschem Fragesteller eh keine Möglichkeit zu helfen.

 

[cloudman]

3 kurze Antworten wie man aus python eine Json Api nutzen kann und dann eine Belehrung - naja ist bestimmt nützlich

 

[abcddcba]

@Wasserhuhn Der TE will vermutlich immer noch keine Eigenleistung erbringen um die Daten zu sammeln, sondern eine API fuer eigene kommerzielle Zwecke nutzen und Daten scrapen, siehe vorheriger Thread: https://www.computerbase.de/forum/threads/fremde-api-nutzen-verschluesselt.2070299/#post-26592426
Ist das laut der API offziell erlaubt?

 

[Funkener]

Der TE will immer noch keine Eigenleistung erbringen, eine API fuer eigene kommerzielle Zwecke nutzen und Daten scrapen, siehe vorheriger Thread

Ich greife nur Daten ab, welche öffentlich im Netz sind. Das ist noch lange keine API.

 

[cloudman]

Ok wusste ich nicht dass es da eine Vorgeschichte gab.
Wenn es keine json api ist geht's natürlich nicht so einfach.
Scraping fremder Seiten ist ein anderes Thema

 

[Wasserhuhn]

Ich greife nur Daten ab, welche öffentlich im Netz sind. Das ist noch lange keine API.

Du umgehst ganz klar Beschränkungen, die der Anbieter implementiert hat.
Die Seite, so wie sie ist, und was du jetzt nutzt, ist für menschliche Anfragen gedacht. Für den Rest gibt es die API.
Und das weißt du auch ganz genau.

Ist das laut der API offziell erlaubt?

Ganz klar nein. Wie auch im vorherigen Thema zu sehen.

 

[Funkener]

Was Du auch immer mit Beschränkungen meinst.. ich drücke nur F12 und sehe was ich als Antwort zu meiner Eingabe erhalten habe. Und die Daten sind sowieso öffentlich. Dort nur eben in einem bestimmten Format einsortiert, was mir aber sowieso egal ist. Wird von mir dann ganz anders genutzt.

 

[Wasserhuhn]

Ich verstehe diese Rechtfertigungstour nicht. Verstehst du das selber nicht, was du da machst?
Natürlich sind die Daten öffentlich. Nur, wie du auch selber weißt, sind sie verstreut aufzufinden.
Das ist ja auch das Problem, was du hast. Und diesen zentralisierten Service nimmst du missbräuchlich in Anspruch. Weil du weißt, welche Arbeit dahinter steckt. Und das selber nicht machen willst.

Hallo zusammen,

ich habe kaum Ahnung von APIs und Programmierung. Allerdings benötige ich eine API, um die Verfügbarkeit von Kfz Kennzeichen abzufragen. Normal macht man das über die Webseite der jeweiligen Zulassungsbehörde. Allerdings sind das über 400 Webseiten und ich benötige eine Methode um das ganz einfach abzufragen, ohne 400 Seiten anzunavigieren.

 

[Innensechskant]

Weder in den AGB noch in der /robots.txt ist explizit verboten, dass eine vorhandene Datenquelle der Website abgefragt wird. Und wenn es nicht explizit erlaubt ist, hätte man bei "nicht wollen", die API auf den/die eigenen Server beschränken können, dass jene die Daten abrufen und anzeigen können, aber von extern kein Zugriff möglich ist.
Wie meint ihr denn, bekommen viele Preissuchmaschinen die Preise im Internet?

 

[Wasserhuhn]

Weder in den AGB noch in der /robots.txt ist explizit verboten, dass eine vorhandene Datenquelle der Website abgefragt wird.

Reicht ein wortwörtliches "Fuck off" auf api.kennzeichenking.de nicht, um den Sachverhalt zu klären?
Wieso lässt man es dann auch noch drauf ankommen? Man könnte ja freundlich fragen, oder? Ist ja kein Problem, weil der Betreiber erlaubt das ja so oder so. Richtig?!

 

[Funkener]

Weil du weißt, welche Arbeit dahinter steckt. Und das selber nicht machen willst.

Korrekt! Weil die Daten ja schon existieren. Und der Betreiber hat dadurch absolut keinen Nachteil. Sei es von der Serverbelastung, als auch am Ende durch Konkurrenz. Denn ich bewege mich nicht in deren Geschäftsbereich.

 

[Innensechskant]

Reicht ein wortwörtliches "Fuck off" auf api.kennzeichenking.de nicht, um den Sachverhalt zu klären?

Bin ich voll bei dir, das hab ich nicht gesehen.

 

[Wasserhuhn]

Korrekt! Weil die Daten ja schon existieren. Und der Betreiber hat dadurch absolut keinen Nachteil. Sei es von der Serverbelastung, als auch am Ende durch Konkurrenz. Denn ich bewege mich nicht in deren Geschäftsbereich.

LOL
Woher weißt du das? Du benutzt seinen Service. Er hat dadurch natürlich ein mehr an Auslastung, nicht an weniger. Und die Arbeit, ist natürlich auch etwas wert.

Glaube mir, das wird natürlich immer gemacht. Bei dummen Antworten vergesse ich dann aber auch mal meine Höflichkeit und bediene mich an den sowieso öffentlichen Daten.

Dann möchte ich gerne mal die Korrespondenz hier sehen, in der steht, dass du das darfst.
Und ich werde das dann entsprechend per Mail nachfragen. Ich bin jetzt mal neugierig.

Bin ich voll bei dir, das hab ich nicht gesehen.

Kein Problem, der TE will das ja möglichst verschleiern.

 

[Funkener]

Gut, das lasst aber mal meine Sache sein. Das geht am Thema vorbei. Zumal das mit dem "Fuck off" aus bestimmten Gründen nicht relevant ist. Das möchte ich aber nicht ausformulieren.