Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

partner.csv sollte in der report.zip enthalten sein #8

Open
MichaelGrabow opened this issue Apr 15, 2021 · 2 comments
Open

partner.csv sollte in der report.zip enthalten sein #8

MichaelGrabow opened this issue Apr 15, 2021 · 2 comments

Comments

@MichaelGrabow
Copy link

Zum Aufbau eines DataWarehouses benötigt ein ETL-Job auch die zu den Reporting-Daten gehörende Partnerstruktur
Die Daten werden hierarchisch aggregiert. Dazu muß die Struktur bekannt sein und vom Datum auch zu den Daten passen.

Bitte nehmt die partner_.csv in das Zipfile mit auf

Alternativ könnte man die Daten auch aus der PEX-API abfragen
Das ist aber kein Awendungsfall für die PEX-API. Außerdem wurde dort extra wegen der Performance auf die Daten der tiefer liegenden Orga/Personen-Plaketten verzichtet.
Wenn das Problem aber mit der aktuellen PEX-API gelöst werden würde, müsste für jede einzelne Plakette ein Aufruf für die Liste und ggf. auch ein Aufruf für die Details erfolgen. Im Falle von Starpool, Dr.Klein und Co wären das sehr viele Aufrufe.

@nikwerhypoport
Copy link

Die Anforderung ist mir nicht ganz klar. Die report.zip geht an jeden kleinen Vermittler eines Vertriebs. Du erwähnst aber starpool, dr. klein etc., die die Daten eh schon sowohl über Redshift als auch s3 bekommen.
Tausch dich gern mal mit uns aus.

@MichaelGrabow
Copy link
Author

Die Rohdaten können von jeder möglichen Ebene gezogen werden - das kann ein einzelner Vermittler sein oder eine größere Vertriebsorganisation.
Daß wir für große Vermittler/Pooler eventuell noch andere Möglichkeiten anbieten, verbessert für diejenigen Anwender die Nutzbarkeit.
Ich verstehe die API aber (auch) als Ersatz für die Schnittstellen, die aktuell noch über API-Keys und JWT-Token genutzt, zukünftig aber nicht mehr unterstützt werden und die report.zip sowie die partner.csv liefern.

Für den aktuellen Anwendungsfall bei Dr.Klein sehe ich mir das S3-Bucket an - von der Existenz wusste ich nichts. Die Redshift kommt wegen des erhebliche Mehraufwandes bei der Umstellung des ETL-Jobs nicht zur Anwendung.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants