NASA-IBM Lunar Foundation Model ontsluit 17 jaar maandata

NASA en IBM Research hebben een opensource-AI-model uitgebracht dat speciaal is gemaakt voor onderzoek naar de maan. Het NASA-IBM Lunar Foundation Model is ontwikkeld samen met verschillende academische instellingen. Volgens beide organisaties is het een van de eerste open foundation models voor maanwetenschap. Het model presteert het best bij het voorspellen van ijsafzettingen aan de polen en het opsporen van kraters.

Kevin Murphy, chief science data officer bij NASA, verwoordde het probleem zonder omwegen. NASA heeft in de loop van tientallen jaren een enorm wetenschappelijk archief over de maan opgebouwd, zei hij, maar data verzamelen is maar het halve werk. Wetenschappers moeten er ook iets mee kunnen.

Waarom een foundation model

Taakspecifieke algoritmen worden getraind voor één klus. Een foundation model wordt vooraf getraind op grote hoeveelheden ongelabelde data en kan daarna met slechts een handvol gelabelde voorbeelden worden aangepast aan nieuwe taken. Maanonderzoek heeft observatiedata in overvloed, maar heel weinig labels. Het team ziet dat daarom als het grootste voordeel van deze aanpak.

De trainingsdata

Het model is vanaf nul getraind op SomBench, volgens het team het grootste co-geregistreerde multimodale maancorpus tot nu toe. Het bevat bijna 2 miljoen tegelbundels met 11 modaliteiten op twee ruimtelijke schalen:

• Ongeveer 1 miljoen beelden in hoge resolutie van de Narrow Angle Camera (NAC), met ongeveer 1 meter per pixel
• Net geen 964.000 multispectrale beelden van de Wide Angle Camera, met 100 meter per pixel

Het grootste deel van de data komt uit 17 jaar waarnemingen door NASA's Lunar Reconnaissance Orbiter (LRO). Volgens NASA is de datahoeveelheid van LRO groter dan die van al zijn andere planetaire missies bij elkaar. Het team voegde zwaartekrachtdata van GRAIL toe, waterstofdata van Lunar Prospector en mineralogische data van Kaguya/SELENE, een sonde van het Japanse ruimtevaartagentschap JAXA.

Het resultaat: meer dan 30 ruimtelijk op elkaar afgestemde datalagen van negen instrumenten en vier missies. Om te voorkomen dat testdata in de training terechtkwamen, is het corpus geografisch opgesplitst per kaartzone in plaats van losse tegels willekeurig door elkaar te husselen.

Het model vertellen hoe het licht valt

De architectuur is gebaseerd op TerraMind, een multimodaal model voor aardobservatie, al is de maanversie vanaf nul getraind en niet gefinetuned. Eén ontwerpkeuze springt eruit. Op de maan bepaalt de belichtingsgeometrie meer hoe het oppervlak eruitziet dan de werkelijke eigenschappen van dat oppervlak. In plaats van het model dat zelf uit ruwe pixels te laten afleiden, geeft het team daarom belichtingshoeken, zonnepositie en tegelomvang expliciet mee als invoer.

Het model leert bovendien in één trainingsronde van zowel fijne als grove beelden. Met een techniek genaamd FlexiViT kan hetzelfde getrainde model overweg met verschillende patchgroottes, zonder opnieuw te hoeven trainen.

Waar het wint, en waar niet

Het team testte het model op kraterdetectie op schalen van 100 meter en 1 meter, op het voorspellen van ijs aan de polen en op het segmenteren van Irregular Mare Patches (IMP's). Dat zijn jonge vulkanische structuren die de gangbare tijdlijnen van de afkoeling van de maan op losse schroeven zetten. Volgens het technische rapport evenaarde of versloeg het voorgetrainde model op elke taak gangbare basismodellen en een identiek, willekeurig geïnitialiseerd controlemodel.

Bij ijsvoorspelling was de winst het grootst. Permanent beschaduwde poolgebieden kunnen waterijs miljarden jaren bewaren en worden gezien als mogelijke bron van water, zuurstof en raketbrandstof. Volgens IBM verlaagde het model de voorspellingsfout met tot 22 procent ten opzichte van het beste basismodel, SwinV2-B. Bij grove kraterdetectie was het bijna 19 procent beter dan SwinV2-B, terwijl het op maar de helft van de data was getraind.

Elders is het beeld minder duidelijk. Zelfs het ongetrainde controlemodel versloeg bij ijsvoorspelling vijf van de zeven basismodellen. De onderzoekers schrijven dat deels toe aan de architectuur: elke datalaag krijgt een eigen verwerkingspad, terwijl basismodellen alle invoer als kanalen op elkaar stapelen. Bij kraters op meterschaal en IMP's komen de resultaten ongeveer gelijk uit met de sterkste basismodellen, binnen de variatie tussen runs. IBM claimt een voorsprong van 3 procent op IMP's, maar de cijfers lijken eerder vergelijkbaar dan duidelijk beter.

LoRA, een lichtere finetuningmethode die maar een fractie van de parameters traint, hield gelijke tred met volledige finetuning en deed het beter bij kraterdetectie.

Bekende beperkingen

Het model is niet geschikt voor absolute geodetische plaatsbepaling. In generatietests zaten breedte- en lengtegraad er soms tientallen graden naast, en hoogtes konden verschoven uitvallen, ook als de vormen klopten. De auteurs presenteren het als basis voor vervolgtaken, niet als vervanging van fysieke instrumenten. Gecontroleerde experimenten die elke ontwerpkeuze afzonderlijk toetsen, moeten nog worden uitgevoerd, en sommige testsets zijn klein.

Juan Bernabé-Moreno, directeur van IBM Research Europe, zei dat het model waarnemingen van verschillende instrumenten met elkaar verbindt en patronen blootlegt die los van elkaar moeilijk te zien zijn.

Het model staat op Hugging Face, de code op GitHub, en het is geïntegreerd in de opensource-toolkit TerraTorch. Ook de datasets voor de pretraining en de benchmarks zijn openbaar.

Onze kijk

Deze release past in een vast patroon. NASA en IBM werken sinds begin 2022 onder een Space Act Agreement samen aan foundation models, te beginnen met het aardobservatiemodel Prithvi in 2023. AlphaEarth Foundations van Google DeepMind volgt een vergelijkbaar idee voor de aarde. Het sluit ook aan bij andere pogingen om van AI een praktisch onderzoeksinstrument voor wetenschappers te maken, en bij de bredere belangstelling voor AI en de ruimte.

Dat de beperkingen eerlijk worden benoemd, is nuttig. Het sterkste resultaat, de ijsvoorspelling, lijkt deels uit de architectuur voort te komen en niet alleen uit de pretraining. Dat doet vermoeden dat de ontwerplessen minstens zo zwaar wegen als de gewichten. Het is de moeite waard om te volgen of de beloofde ablatiestudies bevestigen welke onderdelen de winst echt opleveren, en of maanonderzoekers van buitenaf het model gaan gebruiken voor echte missieplanning.