scrape new Portal instead of old one

[djbrown]

Handball4all Portal instead of spo.handball4all.de

[jupadin]

Hallo,

aktuell (aufgrund der Sommerpause (?)) sind dort keine Verbände o.ä. aufgelistet, sodass ein Scraping (offseason) etwas schwieriger ist.
Gibt es hierfür ggfs. direkt eine json-api ? oder Alternativen ?
Ich schaue mir das gerne nochmal genauer an

Danke und viele Grüße! :)

[djbrown]

@jupadin danke für den Hinweis!
Das ist wohl auch der Grund warum die Integrationstests fehlschlagen.
Konkretes Beispiel: Handballverband Württemberg.

Das war in der Vergangenheit eigentlich kein Problem.
Im Sommer wurden die Turnier- und Pokal-Liegen angezeigt.
Ich habe mir mal alle APIs die ich über Netzwerkanalyse rausfinden konnte zusammengeschrieben, aber keine davon wäre geeignet um die Associations/Verbände abzufragen. Ich denke am besten wäre die Umstellung auf das neue Portal (also dieses Issue) - zumindest für Verbandsdaten.

[jupadin]

Hi @djbrown,

ich sitze gerade dran Unit-Tests für die Kreise (Districts) zu schreiben. Hier ist für die Generierung der Kreis-URLs aus den jeweiligen Verbänden (Associations) auch noch die "alte" URL (spo.handball4all.de) hier

hbscorez/src/associations/models.py

Lines 17 to 19 in 013af77

	@staticmethod
	def build_source_url(bhv_id):
	return f'{settings.ROOT_SOURCE_URL}Spielbetrieb/index.php?orgGrpID={bhv_id}'

hinterlegt.

Hier müssten wir dann mit der entsprechenden <association_abbreviation> auf bspw.
https://www.handball4all.de/home/portal/hvw#/schedule
verweisen bzw. explizit die Saison mit pId=<SaisonID> (?) angeben:
https://www.handball4all.de/home/portal/hvw#/schedule?pId=111.

Darüber bekäme man dann alle Kreise (Districts) zu dieser Saison im jeweiligen Verband (Association).

EDIT: Scheint so, als ob bei der neuen URL Angular verwendet wird und beim HTTP-Request das dahinterliegende Skript erst beim Client ausgeführt wird und somit hierüber kein Zugriff auf die bhv_ids möglich ist.

EDIT2: Nach einer weitere Analyse scheint die neue URL die Daten durch ein serverseitiges PHP-Skript über die alte URL zu beziehen. Durch die Entwicklertools des Browser kann im Tab 'Network' sich die Anfrage nochmal genauer angeschaut werden. Als Antwort erhalten wir die Daten als JSON, jedoch über die alte URL.

[djbrown]

last comment from @jupadin is implemented in bf5afea
the api is rate limited, so might require some restructuring in the future