Anomalie-detectie uit Statistieken van Tijdreeksen
Tijdreeks-statistieken gebruiken om afwijkingen te detecteren
Het handmatig analyseren van watermonitoringsdata, zoals grondwaterstanden en waterkwaliteit, is een tijdrovend en foutgevoelig proces. Om de vakinhoudelijke specialisten te helpen om gemakkelijker afwijkende waarden te vinden, heb ik de focus gelegd op het automatiseren van deze taak. Door het gebruik van samenvattende statistieken - zoals het gemiddelde, de standaarddeviatie, variantie, kurtosis en een selectie percentielen - worden tijdreeksen efficiënt samengevat binnen gedefinieerde tijdsperioden (bijv. per jaar). Ondersteunende visualisaties zoals boxplots helpen bij het snel identificeren van extreme waarden en afwijkende trends.
Door complete periodes statistisch samen te vatten en te vergelijken, worden extreme waarden snel zichtbaar in langetermijntrends. Dit maakt het eenvoudiger om uitschieters - zoals extreem lage en hoge waardes - te detecteren zonder dat de specialist door de ruwe data hoeft te zoeken naar afwijkingen. Dit proces versnelt daarmee kwaliteitscontroles en verhoogt de betrouwbaarheid van analyses.
Om de specialisten op een gebruiksvriendelijke manier door het proces te leiden, heb ik voor het presenteren gebruik gemaakt van interactieve Jupyter Notebooks. Hiermee kunnen gebruikers tijdreeksen visualiseren en patronen herkennen. Dit biedt de organisatie een efficiënte en intuïtieve manier om een grote selectie aan tijdreeksdatasets te analyseren en sneller tot bruikbare inzichten te komen.
Projectinformatie
- CategorieData-analyse & Data Science
- OrganisatieRegionaal Waterschap, Noord-Nederland
- Projectdatum2023
- Project-link (URL)N.v.t.