Je hoort het iedereen zeggen, data is overal om je heen, verzin het maar en je kunt al snel een excellijstje vullen met interessante informatie.
‘Data is overal om je heen’
Zoals de temperatuur en luchtvochtigheid gemeten met je weerstation uit de achtertuin.
In dit eerste artikel van een reeks wil ik mijn ervaringen delen over data acquisitie, dataopslag en -beheer, dataverwerking en analyse, en als laatste data-uitwisseling in de bloemenverwerking.
Ik ga vanuit dit artikel uitstappen naar de verschillende opties die relevant zijn voor dit onderwerp gekoppeld aan het platform dat we ontwikkeld hebben.
Ieder artikel bevat een onderwerp waarin ik de invulling binnen ons platform uitdiep.
De bron (data acquisitie)
Waar kun je (meet)data eigenlijk allemaal vandaan halen? Om het makkelijk te houden kun je data acquisitie in twee niveaus delen.
Tijdens de verdieping in mijn volgende artikelen zal ik toelichten waarom ik deze twee niveaus heb gekozen. Daar zal ook blijken dat sommige databronnen overlap hebben van low- naar high level en visa versa.
High level
- Webcrawler; Je kunt vanuit allerlei interessante websites data verzamelen
- API endpoints
- MQTT protocol
- Bestanden lezen; XML, CSV, YAML etc.
Low level
- Elektrische signalen
- Industriële protocollen; veldbussystemen zoals Modbus TCP/RTU, BACnet, OPC UA, EthernetIP, CAN
- Vision (camera systemen); In combinatie met AI
- LoraWan
- Externe apparatuur; Barcode/QR/RFID/BLE (Bluetooth Long Range)
Hardware
Om op low level data te verzamelen komt er vaak bij dat je specifieke hardware nodig hebt, dit kan een PLC zijn, een camera voor beeldherkenningssoftware, buskoppelaars of een maatwerk industriële elektrokast.
Om te kunnen koppelen aan veldbussystemen heeft ethernet de voorkeur. Gelukkig wint de ethernet-aansluiting in hoog tempo terrein in de soms wat conservatieve industriële sector. Ook hier geldt dus dat standaardisatie steeds vaker de overhand krijgt. Mits je niet met legacy systemen te maken krijgt.
Opslag en Beheer
Leuk allemaal, informatie verzamelen. Maar hoe gaan we dit bij elkaar brengen en houden we het overzicht? En nog belangrijker waar blijft en staat al je opgeslagen data?
Je kunt om te beginnen natuurlijk op je computer lokaal een opslag maken, om maar eens eenvoudig te beginnen met een CSV-bestand. Om snel van start te gaan kan dit een prima keuze zijn. Wil je uiteindelijk meer beweegruimte, snelheid en bedrijfszekerheid moet je gaan nadenken over een netwerkoplossing. Wel of niet in de cloud, dubbel uitgevoerd zodat het ene systeem het andere kan opvangen in geval van storing. Kies voor cloudopslag en -beheer, als je wilt dat de data vanaf iedere plek op de wereld benaderbaar is.
Al deze factoren bepalen in zekere zin hoe je de architectuur moet gaan opzetten.
Verwerking
Net als met het verkrijgen van informatie, zijn er ook tal van mogelijkheden om de verzamelde informatie te verwerken. Wat in mijn ogen ongelooflijk belangrijk is, is dat de basis goed moet zijn. Zoals met alles eigenlijk..
Wat is het uiteindelijk doel van de data? Ook als dit nog niet helemaal scherp is wat je ermee wilt, blijft het belangrijk je dataverzameling te kaderen. Hak het desnoods in logische clusters.
Data zekerheid
Tijdens het verzamelen van data, zijn er allerlei factoren die ervoor kunnen zorgen dat data niet of onjuist worden verwerkt. Hoe ga je er bijvoorbeeld mee om als er even geen internetverbinding mogelijk is? Of als de hardware die je geplaatst hebt onbereikbaar is geworden? Allerlei situaties die kunnen voorkomen en áls ze voorkomen wil je hier voorbedacht op kunnen handelen.
Analyse
Ok, en nu.. Jouw zelf gemaakte (web)service/script/hardware draait en de data staat nu ergens; lokaal op je pc of in de cloud. Waarmee maak je nu overzichtelijke en nuttige overzichten?
Je kunt tools gebruiken zoals:
- Cloudplatform
- PowerBI/Excel
- Jupyter, Spider of een soortgelijk wetenschappelijke datasoftware
Visualisatie
- Dashboards met widgets
- Rapportages
- Monitoring
- Augment Reality
Data uitwisseling
Er komt een moment dat je de basis hebt staan, andere bedrijven zouden graag gebruik willen maken van jouw low level databronnen. Maar hebben de kennis niet in huis of geven in veel gevallen de voorkeur via een gestandaardiseerde high level API te communiceren om zo voorgesorteerde data te verkrijgen.
Heb je van begin tot eind goed nagedacht over het hele proces dan kan het zomaar zijn dat je vanaf dit moment net de persoon bent die laagdrempelig, complexe low level data kunt uitwisselen via een gestandaardiseerde webservice (API).
Mocht je deze inleiding interessant vinden, volg dan mijn account en blijf op de hoogte. Ik ga proberen elk onderwerp uit te lichten en te verdiepen, hopelijk tot de volgende keer!
