Imagico.de

blog

Green Marble 3 southwest China example

15. Oktober 2022
von chris
Keine Kommentare

„Green Marble“ Version 3

Ich freue mich, eine weitere Überarbeitung meines globalen Satellitenbild-Mosaiks, der „Green Marble“, vorzustellen.

Die „Green Marble“ ist ein Bild der gesamten Erdoberfläche in mittlerer Auflösung, welches die gesamte Oberfläche des Planeten, und zwar sowohl die Land- als auch die Wasserflächen, in unübertroffen gleichmäßiger Qualität darstellt. Und zwar auf Grundlage aktueller Daten und hundert Prozent wolkenfrei.

Green Marble 3 im Südwesten Chinas

Green Marble 3 im Südwesten Chinas (GM 2.1 zum Vergleich)

Die neu produzierte Version 3 bietet eine vollständige Aktualisierung der Landoberflächendarstellung, die nun in erster Linie auf Sentinel-3-Daten basiert (wie es die Wasserdarstellung bereits in Version 2 war) und eine völlig neue Aggregationsmethodik verwendet – basierend auf den Erfahrungen, die aus früheren Versionen der „Green Marble“ gewonnen wurden, sowie auf Techniken, die für regionale Zusammenstellungen entwickelt wurden.

Auch aus der Sicht des Anwenders ist die Version 3 eine enorme Qualitätsverbesserung – und ich werde im Folgenden einige Beispiele dafür geben.

Datenquellen

Die erste Version der „Green Marble“ wurde ausschließlich aus MODIS-Daten erstellt. Da beide Satelliten, die MODIS-Instrumente tragen, das Ende ihrer Lebensdauer erreicht haben, ist es jedoch für einen zukunftssicheren Weiterentwicklung wichtig, auf andere Bildquellen umzusteigen. Für Wasseroberflächen hatte ich bereits in Version 2 des Bildes auf die Verwendung von Sentinel-3-Daten umgestellt. Abgesehen von dem absehbaren Ende der Verfügbarkeit neuer MODIS-Beobachtungen sind die MODIS-Daten auch mit verschiedenen Problemen behaftet. Zusätzlich zu den verschiedenen Defiziten, die sich aus dem Alter des Instruments und der Tatsache ergeben, dass nur ein Spektralband des sichtbaren Lichts (rot) in hoher räumlicher Auflösung zur Verfügung steht, sind die neueren Versionen der MODIS-Oberflächenreflexionsdaten mit einigen ziemlich schweren systematischen Fehlern behaftet. Diese machen die Daten im Wesentlichen für Visualisierungsanwendungen unbrauchbar, wenn nicht erhebliche Anstrengungen unternommen werden, um diese Fehler nachträglich zu beheben. Dies hat die Produktion der „Green Marble“ aus MODIS-Daten bereits in Version 2 ziemlich schwierig gemacht und ist wahrscheinlich auch ein Hauptgrund dafür, dass man kaum noch neuere, großflächige visuelle Farbmosaike aus MODIS-Daten sieht.


Beispiel Cascade Range und Palouse (groß: GM 2.1/GM 3)

Die Sentinel-3-Oberflächen-Reflexionsdaten haben ihre eigenen Probleme (wie ich bereits erörtert habe), aber die meisten Fehler sind zufälliger Natur und daher nicht allzu problematisch, wenn man statistisch mit den Pixelwerten arbeitet. Das eigentliche Problem ist, dass die Sentinel-3-Synergy-Daten aufgrund der ziemlich dummen Maskierung von Wasserflächen unvollständig sind. Deshalb bin ich dazu übergegangen, Sentinel-3-Bilder auf Grundlage der Level-1-Daten zu verarbeiten, wobei ich Synergy-Level-2-Daten zur Kalibrierung der Atmosphären-Kompensation verwende. Dies erfordert natürlich die Verarbeitung eines viel größeren Datenvolumens. Insgesamt wurden für die Erstellung der „Green Marble“ Version 3 etwa 750 TB an Daten heruntergeladen und verarbeitet – darunter 120 TB MODIS-Daten, 320 TB Sentinel-3 OLCI Level-1-Daten, 170 TB Sentinel-3 Synergy Level-2-Daten und 140 TB Sentinel-3 OLCI Level-2-Wasserreflexionsdaten.

MODIS-Daten finden weiterhin für die Folgenden Zwecke Verwendung:

  • Kreuzkalibrierung der Farben mit Sentinel-3 zur Verbesserung der Farbgenauigkeit und zur Verringerung systematischer Fehler bei der Atmosphären-Kompensation.
  • Ergänzung der Sentinel-3-Daten bei hohen Breitengraden. Da Sentinel-3-Bilder bei einem niedrigeren Sonnenstand aufgenommen werden und eine strengere Aufnahmegrenze für die Sonnenhöhe angewandt wird, gibt es dort bei hohen Breitengraden weniger nützliche Daten.
  • Rendering der Antarktis. Die Sentinel-3-Daten sind für das Innere der Antarktis aufgrund der Beschränkungen der Umlaufbahn unvollständig, die Datenverarbeitung auf Anbieter-Seite (Wolkenerkennung, Atmosphärenkorrektur) ist in diesem Gebiet nicht von guter Qualität, und die Schelfeisgebiete fehlen in der Synergy-Verarbeitung weitgehend. In Verbindung mit den allgemeinen Einschränkungen bei hohen Breitengraden (siehe vorheriger Punkt) war die Verwendung von MODIS-Daten für die Antarktis daher wesentlich praktikabler.
  • Rendering von Meereis. Da Meereis weder in den Wasser- noch in den Landdatenverarbeitungsabläufen von Sentinel-3 enthalten ist, hätte die Verwendung von Sentinel-3-Daten hier erhebliche zusätzliche Daten-Vorverarbeitung erfordert.

Beispiel nördliches Ural-Gebirge (groß: GM 2.1/GM 3)

Wie Sie in den Beispielen sehen können, hat sich trotz des Wechsels der primären Datenquelle an der Gesamterscheinung des Bildes in Bezug auf die Farben in kleinem Maßstab im Vergleich zur vorherigen Version nicht viel geändert – was die sehr konsistente und genaue Farbdarstellung unterstreicht. Sowohl die Unterschiede in der Atmosphärenkompensation und die dabei verbleibenden systematischen Fehler als auch die unterschiedlichen spektralen Eigenschaften der beiden Sensoren führen zu einigen Farbverschiebungen in den Ergebnissen. Letztlich sind weder die MODIS- noch die OLCI-Instrumente ideal für eine genaue visuelle Farbdarstellung.


Beispiel Ägypten (groß: GM 2.1/GM 3)

Verbesserungen in der Verarbeitung

Neben der Umstellung der primären Datenquelle wurde für die Version 3 des Mosaiks auch die Methodik zur Verarbeitung der Landdaten völlig neu gestaltet. Dies hat zu ganz erheblichen Verbesserungen der Ergebnisse geführt, obwohl eine schmalere Datenbasis in Bezug auf die Anzahl der erfassten Jahre verwendet wurde.

Abgesehen von den Qualitätsverbesserungen, die ich im Folgenden anhand von Beispielen aufzeigen werde, möchte ich zunächst erwähnen, dass die gesamte Verarbeitung und damit auch das Endprodukt nun sowohl mit der erfassten Beleuchtung und Schattierung als auch in einer schattierungskompensierten Version vorliegen, die die beleuchtungsunabhängige Farbe der Erdoberfläche darstellt.


In den früheren Versionen der „Green Marble“ hatte ich diese unterschiedlichen Varianten, mit Ausnahme der Polarregionen in Version 2, nicht erzeugt, da durch die Kombination von Daten mit einem morgendlichen und einem nachmittäglichen Beobachtungszeitraum (von den Satelliten Terra und Aqua) die meisten Schattierungs-Effekte in den Bilddaten bereits beseitigt waren. Mit der Umstellung auf die Verwendung von überwiegend Sentinel-3-Daten mit einer konstant früheren morgendlichen Aufnahmezeit hat sich das geändert.


Beispiel Schottland (groß: Original-Beleuchtung/Beleuchtungs-kompensiert)

Basierend auf der Beleuchtungs-kompensierten Bildvariante können nun Darstellungen mit individuellen Schattierungen in deutlich besserer Qualität erstellt werden.


Insbesondere bei höheren Auflösungen sind des weiteren deutliche Qualitätsverbesserungen sichtbar, da das Rauschen fast überall deutlich reduziert werden konnte.


Beispiel Schottland (groß: GM 2.1/GM 3)


Beispiel Chersky-Gebirge (groß: GM 2.1/GM 3)

Dies gilt selbst für Wüstenregionen, in denen dies in der Standard-Tonwertzuordnung oft nicht so leicht zu erkennen ist, in denen eine kontrastverstärkte Darstellung aber auch eine deutliche Verbesserung zeigt.


Beispiel Ennedi (kontrastverstärkt, groß: GM 2.1/GM 3)

Abschließende Bemerkungen

Zum Abschluss dieser Ankündigung möchte ich ein wenig den historischen und wirtschaftlichen Kontext der „Green Marble“ als Produkt diskutieren.

Es ist nun mehr als acht Jahre her, seit ich 2014 die erste Version der „Green Marble“ angekündigt habe. In diesen Jahren und über die verschiedenen Aktualisierungen und Verbesserungen, die ich dem Bild zukommen ließ, ist es in seinem Marktsegment einzigartig geblieben. Im Wesentlichen konzentrieren sich alle Mitbewerber auf Produkte mit höherer räumlicher Auflösung, aber mit geringerer Qualität in fast allen anderen Aspekten (z. B. der Elimination sichtbarer Wolken, bezüglich Farbqualität und -konsistenz, Vollständigkeit der Abdeckung, Rauschpegel). Das bringt mich in vielerlei Hinsicht in eine komfortable Position, bedeutet aber auch, dass ich nur recht begrenzte Informationen über die Bedürfnisse des Marktes habe und darüber, wo Nutzer und potenzielle Nutzer der „Green Marble“ Defizite und Verbesserungsmöglichkeiten sehen.

Die Verbesserungen, die ich in Version 3 und davor entwickelt habe, basierten auf dem Feedback der Nutzer und meiner eigenen Einschätzung, wo es Defizite gibt und wo Dinge verbessert werden sollten. Ich halte das aber für eine recht eingeschränkte Perspektive auf das Produkt und seinen Wert für den Nutzer. Daher wäre ich sehr an einem Feedback von potentiellen Nutzern der „Green Marble“ interessiert – entweder in den Kommentaren unten oder per Mail. Wenn Ihnen die grundsätzliche Idee hinter der „Green Marble“ als globales Satellitenbildmosaik zusagt, insbesondere, dass sie nicht auf eine hohe räumliche Auflösung setzt, sondern andere Qualitätsaspekte in den Vordergrund stellt, würde mich interessieren, welche Qualitätsdimensionen für Sie am wichtigsten sind. Das wäre sehr interessant zu wissen, insbesondere, ob es auch Aspekte umfasst, die ich bisher nicht in den Vordergrund gestellt habe.

Mauritanien in der Green Marble 3

Mauritanien in der Green Marble 3

Wie gewohnt finden Sie die aktualisierte Spezifikationsseite für das „Green Marble“-Mosaik auf services.imagico.de. Bestehende Kunden mit einer „Green Marble“-Lizenz haben Anspruch auf ein vergünstigtes Update auf die neue Version. Wenn Sie Interesse an der Verwendung der „Green Marble“ in Ihrer Anwendung haben, kontaktieren Sie mich über das dortige Formular oder per E-Mail. Eine interaktive Karte in der Mercator-Projektion zum weiteren Herumstöbern finden Sie auch auf maps.imagico.de.

Patagonien in der Green Marble 3

Patagonien in der Green Marble 3

Deutscher Text teils unter Verwendung von deepl.com produziert.

Nettilling Lake in early October 2022

5. Oktober 2022
von chris
Keine Kommentare

Herbst und Frühling in den Polarregionen

Als Ergänzung zu den Herbstfarben-Bildern neulich hier zwei Ansichten aus den Polarregionen vom Herbst und Frühling auf der nördlichen und südlichen Hemisphäre. Das erste zeigt das Ellsworthgebirge bei niedrigem Sonnenstand, kurz nach Ende des südlichen Winters und nach Beginn der Beobachtungs-Saison im September.

Ellsworthgebirge Ende September 2022

Ellsworthgebirge Ende September 2022

Das zweite zeigt die südliche Baffin-Insel mit dem Nettilling Lake nach dem ersten Schneefall Anfang Oktober.

Nettilling Lake Anfang Oktober 2022

Nettilling Lake Anfang Oktober 2022

Beide Ansichten sind auf Grundlage von Landsat-8-Daten produziert und finden sich im Katalog auf services.imagico.de.

30. September 2022
von chris
Keine Kommentare

Blog zieht um

Wie Sie vielleicht schon bemerkt haben, ist dieses Blog umgezogen – von blog.imagico.de nach imagico.de/blog. Das dient in erster Linie dazu, auch https-Verbindungen zu ermöglichen (wofür eine separate subdomain unpraktisch war). Der Umzug wurde erschwert dadurch, dass ein Adress-Wechsel mit WordPress nicht so einfach durchzuführen ist. Ich hab das nun endlich mal umgesetzt und dabei auch die Worpress-Version aktualisiert, was mittlerweile ebenfalls meist ein erheblicher Aufwand ist.

Alle Links zur alten Adresse sollten an den neuen Ort weitergeleitet werden.

Ich hoffe, das alles wie zuvor funktioniert. Falls jemanden irgendwelche Probleme auffallen, bitte in den Kommentaren drauf hinweisen.

Shiveluch, Kamchatka in Autumn 2022

22. September 2022
von chris
Keine Kommentare

Herbstfarben 2022

Der Herbst 2022 hat auf der nördlichen Hemisphere begonnen und dafür hier zwei Eindrücke früher Herbstfärbung, der erste aus Kamtschatka:

Shiveluch, Kamchatka im Herbst 2022

Shiveluch, Kamtschatka im Herbst 2022

Shiveluch Detail

Shiveluch Detail

Der zweite aus Kanada, vom unteren Ende des Great Slave Lake nahe Fort Providence, wo der Yellowknife Highway den Mackenzie River kreuzt:

Fort Providence und Mackenzie River im Herbst 2022

Fort Providence und Mackenzie River im Herbst 2022

Fort Providence Detail

Fort Providence Detail

Beide Ansichten basieren auf Sentinel-2-Daten und finden sich im Katalog auf services.imagico.de.

17. August 2022
von chris
Keine Kommentare

Over engineering

German text based on Deepl machine translation of the English language text.

In den letzten Jahren bin ich immer mehr dazu übergegangen, meine Kommentare zu politischen Entwicklungen in der OpenStreetMap Foundation gegen Ende des Jahres vor den OSMF-Vorstandswahlen zu veröffentlichen anstatt die Dinge zeitnah im Jahresverlauf zu kommentieren. Ich werde hier eine Ausnahme machen und einige Beobachtungen und Gedanken zu neueren Trends und Entwicklungen niederschreiben, die ich für besonders bemerkenswert halte.

Wenn Sie einige meiner jüngeren Beiträge zum Thema OpenStreetMap hier verfolgt haben, haben Sie vielleicht bemerkt, dass ich zunehmend darauf hingewiesen habe, dass der Wert, der in der OSM-Community auf technische Arbeit im Gegensatz zu nicht-technischer, insbesondere intellektueller Arbeit gelegt wird, ziemlich aus dem Gleichgewicht geraten ist und dass dies die Fähigkeit der OSM-Community, die verschiedenen Herausforderungen zu bewältigen, zunehmend beeinträchtigt.

Das Erkennen dieses Trends und seiner Auswirkungen auf meiner Seite wurde insbesondere auch dadurch unterstrichen, dass sich die OSMF in letzter Zeit stark in Richtung einer zunehmenden Dominanz technischer Interessen und Sichtweisen in OpenStreetMap bewegt. Auf der Ebene des OSMF-Boards manifestierte sich dies in jüngster Zeit insbesondere im Ausscheiden von Allan Mustard aus dem Board Ende letzten Jahres. Allan war das letzte verbliebene Vorstandsmitglied mit einem eindeutig nicht-technischen beruflichen Hintergrund. Alle Mitglieder des Vorstands haben nun einen eindeutig technischen beruflichen Hintergrund, insbesondere im Bereich IT und Softwareentwicklung. Allans Ausscheiden aus dem Vorstand ist natürlich nicht die einzige Ursache für diesen Wandel in der OSMF, sondern eher der Abschluss eines langfristigen Trends, der auf Vorstandsebene schon viel früher einsetzte, als immer mehr Personen mit einer breiteren nicht-technischen Perspektive aus dem Vorstand ausschieden und die OSMF-Mitglieder zunehmend Personen mit technischem Hintergrund wählten.

Zumindest mir wurde in den letzten Monaten immer deutlicher, wie sehr es sich dabei um einen Paradigmenwechsel handelt und wie sehr sich dies auf die Handlungen und Entscheidungen der OSMF in Zukunft auswirken könnte.

Über die Zusammensetzung des OSMF-Vorstands hinaus ist dieser Trend am besten in Form einer Verschiebung der Ausgaben für bezahlte Arbeit sichtbar. Bis Ende 2020 waren die wichtigsten regelmäßigen Ausgaben der OSMF für bezahlte Arbeit administrative Unterstützung und Buchhaltung. Dies hat sich durch die Beauftragung eines Softwareentwicklers für iD und die Einstellung eines Systemadministrators seither komplett geändert. Die genauen Beträge, die hier ausgegeben wurden, sind nicht bekannt (die Verträge werden nicht veröffentlicht, und wir werden wahrscheinlich versuchen müssen, diese Informationen aus den Finanzberichten am Ende des Jahres zu rekonstruieren). Darüber hinaus gab es auch ein zunehmendes Volumen an unregelmäßiger bezahlter technischer Arbeit (insbesondere die drei handverlesenen Projekte im Anschluss an das Microgrant-Programm). Die neu wiederbelebte Engineering Working Group verfügt nun über ein Budget von 50 000 EUR für bezahlte Arbeit – das höchste aller Arbeitsgruppen nach der Arbeitsgruppe Operations.

Ein Projekt der Engineering Working Group ist auch das, worauf ich hier näher eingehen möchte. Zu Beginn dieses Jahres hat die EWG beschlossen, eine Studie zur Änderung des OSM-Datenmodells in Auftrag zu geben.

Die genauen Details und Motive dafür sind unklar – die Protokolle geben darüber keine wesentlichen Informationen preis. Was wir wissen, ist, dass diese Studie freihändig vergeben wurde (die Vertragsbedingungen werden nicht bekannt gegeben, nicht einmal das genaue Ziel der Studie) und nicht im Rahmen der Regeln zur Projektfinanzierung der EWG.

Die von der EWG in Auftrag gegebene Studie ist jetzt veröffentlicht worden, und darauf möchte ich hier etwas ausführlicher eingehen. Ich werde mich nicht zu den technischen Aspekten im Einzelnen äußern, sondern möchte einige Gedanken zum wirtschaftlichen und sozialen Kontext des Ganzen äußern.

Ich bin – von der Ausbildung her – selbst Ingenieur, mit einem Diplom und einem Doktor in Maschinenbau. Während meiner ersten Jahre als Ingenieur hatte ich – wie viele andere Ingenieure auch – die Tendenz, auf Beratungsunternehmen herabzublicken, die Machbarkeitsstudien anfertigen und dafür beträchtliche Summen erhalten, obwohl sie auf dem Gebiet der eigentlichen Arbeit eines Ingenieurs keine wirkliche Erfahrung aufweisen können. Außerdem schienen diese Beratungsunternehmen oft nicht in erster Linie Ingenieure zu beschäftigen, sondern Leute mit einem Hintergrund in Wirtschafts- oder Sozialwissenschaften.

Diese negative Sichtweise des jungen Ingenieurs in mir hat sich seither deutlich geändert. Und falls Sie sich wundern: Diese Veränderung hat schon stattgefunden, bevor ich selbst als Berater tätig wurde ;-). Während ich die Geschäftspraktiken und -modelle vieler größerer allgemeiner Beratungsunternehmen (an die viele Leute denken, wenn sie den Begriff Berater hören) für sehr fragwürdig halte, schätze ich inzwischen die Arbeit kleinerer spezialisierter Beratungsunternehmen insbesondere bei der Erstellung von Machbarkeitsstudien sehr und halte ihre Rolle in unserer hochspezialisierten und arbeitsteiligen Gesellschaft für ganz wesentlich.

Mein Eindruck ist, dass das, was die OSMF hier offenbar getan hat, die Herangehensweise eines naiven jungen Ingenieurs an ein größeres Projekt ist: Die Beauftragung eines erfahrenen Ingenieurs mit praktischer Berufserfahrung in der Durchführung dieser Art von Projekten mit einer Machbarkeitsstudie, um herauszufinden, wie sie das Projekt umsetzen können.

Es gibt sehr gute Gründe, warum dieser Ansatz normalerweise nicht gewählt wird.

Ein offensichtlicher Grund ist, dass der beauftragte Ingenieur, wenn er auch ein wahrscheinlicher Kandidat für den Auftrag zur Durchführung des Projekts ist, einen klaren Interessenkonflikt hat. Dies ist einer der Hauptgründe, warum Machbarkeitsstudien in der Regel von unabhängigen Beratungsunternehmen durchgeführt werden, die kein Interesse an der tatsächlichen Durchführung des Projekts haben.

Der zweite wichtige Grund ist, dass bei den meisten größeren technischen Projekten die Hauptrisiken und Hindernisse in der Regel nicht technischer Natur sind. Um die Durchführbarkeit des Projekts, die damit verbundenen Risiken und die erforderlichen Ressourcen wirklich einschätzen zu können, braucht man Erfahrung außerhalb des Bereichs der Technik. Man muss den breiteren sozialen und wirtschaftlichen Kontext des Projekts berücksichtigen. Das ist ein Grund, warum Beratungsunternehmen häufig Sozial- und Geisteswissenschaftler beschäftigen.

Ich bin mir nicht sicher, ob es realistisch ist, zu erwarten, dass die Leute in der EWG und im OSMF-Vorstand erkennen, dass sie hier den falschen Ansatz gewählt haben und die Notwendigkeit erkennen, dies zu revidieren. Aber ich weiß, dass es in der größeren OSM-Community eine Menge Leute gibt, die einen breiteren Blickwinkel auf die Angelegenheit haben und die daher wahrscheinlich an einem kritischeren Kommentar zu dem hier verfolgten Ansatz interessiert sein werden. Auf jeden Fall hielt ich es für klug, diesen Kommentar frühzeitig abzugeben, um allen die Möglichkeit zu geben, ihn zu berücksichtigen.

Welche Auswirkungen hat dies auf die eigentliche Frage des OSM-Datenmodells und seine zukünftige Entwicklung? Dazu habe ich natürlich auch meine Gedanken. Aber das würde den Rahmen dieses Blogbeitrags sprengen.