Kurzer Nachtrag zum Thema Sentinel-2-Pakete und ESA API – vor drei Wochen hatte ich erwähnt:

[…] Statt der 200-300 Pakete pro Tag, mit denen man zu tun hatte, gibt es jetzt viele tausend davon. Dies bedeutet, dass ein effizienter Zugriff auf Sentinel-2-Daten in größerem Umfang jetzt nur noch über automatische Werkzeuge funktioniert.

Und vor ein paar Tagen:

Da die ESA keinen Gesamt-Download der Metadaten anbietet, muss man sich diese aus der API zusammenklauben.

Heute hat dann die ESA mitgeteilt, dass sie denken, dass die jüngsten Instabilitäten der API größtenteils auf Nutzer zurückgehen, welche versuchen, eine extrem große Anzahl von Ergebnissen mit Abfragen zurückzugeben und dass sie als Reaktion eine Grenze von 100 Ergebnissen pro Abfrage einführen. Zwei Kommentare dazu:

• das hätte ich ihnen schon vor drei Wochen sagen sagen können (vielleicht sollte ich ein Geschäft als Orakel aufmachen – obwohl man wirklich kein Genie sein muss um das vorherzusagen).
• ich zweifle, dass das viel hilft – gibt ein bisschen zusätzliche Arbeit für die Programmierer auf der Welt, automatische Anschluss-Abfragen zu implementieren, um mit der Grenze von 100 Einträgen umzugehen, aber am Ende werden sie immer noch alle Ergebnisse ausliefern müssen, schließlich macht die Abfragen ja kaum jemand zum Vergnügen und es gibt mittlerweile über 160k Einträge abzufragen und das wächst jeden Tag um etwa 4000-5000 Einträge (wobei es derzeit einen Rückstand von einer Woche bei der Veröffentlichung von Sentinel-2-Bildern gibt). Systeme wie dieses, welche offensichtlich nicht in dem Maße skalieren in dem sie genutzt werden, versagen an der schwächsten Stelle. Diese dann zu beheben oder zu schützen bedeutet aber nicht, dass das Ganze nicht an einer anderen Stelle wieder versagt. Wenn das ganze Datenzugriffs-System in die Knie geht wegen ein paar unerwarteten, jedoch vollkommen gültigen Abfragen, ist das Zeichen für ein viel grundsätzlicheres Problem.
• auch wenn das so völlig nach letztem Jahrhundert klingt wo wir heute doch alle in der Cloud leben – ein Gesamt-Download der Metadaten mit so was wie täglichen/stündlichen Diffs für die Aktualisierung wäre vielleicht keine schlechte Idee.

Übrigens (falls sich jemand das fragt) – das lag nicht an mir, als ich meine Skripte für die Abdeckungs-Analyse geschrieben habe, hab ich bereits eine Grenze von hundert Einträgen bei den Abfragen verwendet – das war schon dann das dokumentierte Limit bei der OData-API, so dass es angemessen schien, dies generell zu verwenden.