Opname van digitale bouwdossiers in e-Depot bij RHCe

Na gunning zijn er vier projecten opgestart, namelijk:

1. De installatie van onze e-Depot oplossing en instructie van het model MAIS-Ingest
2. De start van een pilot als een Proof of Concept (PoC).
3. Na goedkeuring van de PoC heeft de daadwerkelijke migratie plaatsgevonden vanuit het oude e-Depot naar onze e-Depot oplossing
4. Na een succesvolle opname in het e-Depot volgde de fase om de digitale bouwdossiers beschikbaar te stellen aan het brede publiek en de ambtenaren.

Een belangrijk onderdeel van de PoC was het verkrijgen van een proefexport uit het oude e-Depot en het verwerken hiervan via MAIS-Ingest. De metadata werd geleverd in een specifiek XML-formaat, maar kon goed worden verwerkt.

Na een succesvolle opname van de proefexport is de PoC afgerond en kon worden gestart met de daadwerkelijk migratie van de ca. 8-9 TiB aan digitale bouwdossiers.

In onderling overleg is besloten om de data per gemeente te leveren, met een frequentie van één gemeente per maand. De bouwdossiers van (voormalige) gemeenten zoals Asten, Bergeijk, Eindhoven, Helmond, Reusel, Someren, etc. werden maandelijks aangeleverd bij RHCe. Voor grotere gemeenten zoals Helmond en Eindhoven werd dit verspreid over twee maanden. Vervolgens werd de aangeleverde data gesplitst in kleinere batches om een soepelere verwerking te garanderen.

Elke batch bevatte meerdere bouwdossiers, waarbij per bouwdossier één of meerdere digitale documenten waren opgenomen. Elk document was voorzien van een eigen metadata, in een sidecar structuur. Het verdelen in batches was een behoorlijke klus, waar RHCe veel tijd in heeft gestoken.

De volgende fase betrof de daadwerkelijke opname in het e-Depot van RHCe en de verwerking van de metadata tot reguliere collecties met bouwdossiers. Dit was een zeer uitdagend proces, waarbij er een tweetal sprints zijn uitgevoerd: de zomer- en herfstrun in 2024. De ervaring van de zomerrun heeft geleerd om de batches te verdelen in verschillende groottes: Small, Medium, Large, XL en maatwerk. Deze verdeling werd gemaakt op het totale aantal regels in de XML bestanden. Ook hier heeft RHCe veel tijd in gestoken, waarvoor lof.

Een belangrijke les uit de zomerrun was ook dat de verwerking zoveel mogelijk geautomatiseerd moest worden om de stilstand tijd te minimaliseren. Eind september 2024 heeft DE REE daarom ook de ‘wachtrij’ geïntroduceerd, waarmee de verwerking van de metadata vrijwel 24 uur per dag heeft gelopen. In overleg werden twee wekelijkse momenten vastgesteld waarbij de automatische verwerking door de wachtrij werd gepauzeerd, bijvoorbeeld voor de uitrol van een nieuwe Release of de analyse van een foutmelding.

Nadat elke batch succesvol verwerkt was, werd deze gecontroleerd door RHCe op een aantal punten, en vervolgens opgenomen in de definitieve toegang. RHCe had daarna nog de taak om de laatste punten af te handelen, zoals het vullen van de openbaarheid van de bouwdossiers, waarna de publicatie volgde.

Zowel RHCe als DE REE hebben beiden enorm veel werk verzet, met als gezamenlijk doel om de migratie voor de Kerst 2024 af te ronden. Dit doel was behaald!

Aan het einde van het migratietraject is er uiteindelijk meer dan de 8-9 TiB aan data verwerkt: in totaal is er net onder de 17 TiB verwerkt. Dit kwam doordat ook al het materiaal dat in het pre-depot zat is gemigreerd. In totaal zijn er 1.006.670 PDF-bestanden met een totale omvang van 16.372 GB en 1.086.860 xml-bestanden met een totale omvang van 21 GiB verwerkt.

Een ander onderdeel van de migratie was ook de publicatie aan het brede publiek en de ambtenaren. Via het klantportaal is het mogelijk om beschikbaarstelling op maat te realiseren. Hierdoor kan bijvoorbeeld een ambtenaar niet-openbare bouwdossiers alsnog inzien, maar de reguliere bezoeker niet. Op dit moment zijn er ca. 212.000 bouwdossiers beschikbaar via de zoekingang.

Het migratietraject is succesvol verlopen en afgerond, hoewel het natuurlijk niet te vermijden was dat er enkele uitdagingen waren onderweg. Dankzij een goede samenwerking zijn deze allemaal overwonnen en kunnen we spreken van een geslaagd migratietraject!