All posts by Eimert

Unknown's avatar

About Eimert

🇳🇱 Java Developer. Passionate about Linux and Java. Curious and eager to learn.

Merging eventlogs for process mining

ongecategoriseerd

Introduction
I am using the following SQL query to join eventlogs from multiple applications into one log. According to the literature this is called a ‘raw data merge’. I like this kind of join since it is adaptable and quicker when merging logs from more than two applications. The results of this query can be further processed by exporting them as a CSV and loading them into a conversion tool for eventlogs (XESame, Disco/Nitro, ProM Import).

Goal
To merge cleaned logging data and output in a suitable format for conversion to .xes or .mxml.

Usage instructions
1. Export logfiles from an application that fulfill the requirements for process mining (see image).
2. Import some logfiles into a database, one table per file (for example CSV file import using SQL developer and Oracle XE db).
3. Clean the data by making case id and timestamp format match. Also make sure the appropriate datatypes are used.
4. Adapt the following query to suit your situation and execute.
5. Export the results to a CSV file (SQL developer: right click, export, CSV file).
6. Convert the CSV file with the merged logs using a conversion tool.
7. Analyse the eventlog using a process mining tool (Disco, ProM, …)

Images

SQL query for merging multiple eventlogs
SQL query for merging eventlogs Creative Commons-Licentie
Source:
Eventlog format and requirements. Source: http://fluxicon.com/disco/files/Disco-User-Guide.pdf

MSFL-project afgerond

ongecategoriseerd

Van september 2013 tot juni 2014 heb ik gewerkt aan het mobiele sportsfieldlab honoursproject. Er is een sportdag georganiseerd waarop de testuitslagen d.m.v. een app verwerkt zijn. Een voorbeeld van het sportadvies dat de kinderen meekregen is hieronder te downloaden. Het voorbeeld is gemaakt met fictieve gegevens.
Voorbeeld sportadvies

Het Dagblad van het Noorden heeft het volgende artikel over ons geschreven:
DVHN-krantenartikel

Oracle: tijd naar seconden en omgekeerd omrekenen

ongecategoriseerd

Deze functies gebruik ik in een project om de tijd in datum kolommen te vergelijken:


FUNCTION time_to_sec (i IN VARCHAR2) RETURN NUMBER IS
numSecs NUMBER;
BEGIN
numSecs := to_char(to_date(i,'hh24:mi:ss'),'sssss');
RETURN numSecs;
END time_to_sec;

FUNCTION sec_to_time (i IN NUMBER) RETURN VARCHAR2 IS
/*
Round to 0 prevents this exception: ORA-01830: date format picture ends before converting entire input string
*/
numTime VARCHAR2(255);
BEGIN
numTime := to_char(to_date(ROUND(i,0),'sssss'),'hh24:mi:ss');
RETURN numTime;
END sec_to_time;

PL/SQL anonymous block voor vullen tijd dimensie

tech

Met deze code kan de tijdsdimensie in een datawarehouse gevuld worden.
Aanpasbaar zijn:
De doeltabelnaam: DIM_TIME
De sequence: T_KEY
Het beginjaar: v_year (2010)
Het eindjaar: v_thisyear

Voorbeeld van een doeltabel:

create table "DIM_TIME"(
T_KEY NUMBER NOT NULL,
DATE_VALUE DATE NULL,
MONTH NUMBER NULL,
QUARTER NUMBER NULL,
YEAR NUMBER NULL);

CREATE SEQUENCE T_KEY
NOCACHE
ORDER ;


DECLARE
v_thisyear NUMBER;
v_year NUMBER:=2010;
l_start_date date;
l_end_date date;
l_month number:=1;
l_quarter number;

BEGIN
EXECUTE IMMEDIATE 'SELECT TO_NUMBER(extract(year from sysdate)) AS thisyear from dual' INTO v_thisyear;
WHILE v_year <= v_thisyear LOOP
-- execute
l_start_date:=to_date('01-jan-'||to_char(v_year),'DD-MM-YYYY');
l_end_date:=last_day(l_start_date);

while l_month<=12 loop
if l_month!=1 then
l_start_date:=l_start_date;
l_end_date:=last_day(l_start_date);
end if;
if l_month in (1,2,3) then
l_quarter:=1;
elsif l_month in (4,5,6) then
l_quarter:=2;
elsif l_month in(7,8,9) then
l_quarter:=3;
else
l_quarter:=4;
end if;

while l_start_date<=l_end_date loop
insert into DIM_TIME values(T_KEY.nextval,l_start_date,l_month,l_quarter,v_year);
l_start_date:=l_start_date+1;
end loop;
l_month:=l_month+1;
end loop;
-- iterator
v_year:=v_year+1;
l_month:=1;
END LOOP; -- while current year < this year loop
EXCEPTION WHEN NO_DATA_FOUND THEN
DBMS_OUTPUT.PUT_LINE('FILL_DIM_TIME says: no_data_found');
END;
/

Honoursproject: Mobile Sportsfieldlab

life

In de periode september 2013 – februari 2014 werk ik mee aan het volgende honoursproject:

Mobile Sportsfieldlab – Obesitas bij kinderen: de mobiele trailer van Han Seneca wordt gebruikt om sporters uniform te testen. Naast het testen van de sporters is er ook het plan om leerlingen van de basisschool/de onderbouw van het voortgezet onderwijs te gaan testen. Deze kinderen zullen worden getest met in het achterhoofd twee doelen. Het voorspellen van obesitas bij deze kinderen en het voorspellen van sport talenten om ze daarmee een goede sport te kunnen adviseren, waarin ze in potentie de top kunnen halen. Bron: Hanze.nl/hhc

Studium Generale lezing ‘waanzinnige plannen’

ongecategoriseerd

Het idee voor ‘Waanzinnige plannen‘ ‘En hoe deze te realiseren’ is ontstaan na een workshop bij een groot evenement in Drenthe. Auteur Marcel van Driel gaf op donderdagmiddag 17 oktober 2013 een lezing over zijn boek, georganiseerd door Studium Generale. Zijn definitie van een waanzinnig plan is:

  • een plan dat inspireert
  • je ziet er tegenop

Vele mensen hebben ‘ooit’ dromen. Het voornaamste wat mensen tegenhoudt zijn angsten, de vrees voor het onbekende. Daarnaast spelen tijd, geld en gedachten als ‘kan niet’ en ‘ik kan het niet’ een rol. Om een droom of doel te bereiken, wordt ‘reverse engineering’ gebruikt. De oorsprong van het product wordt stap voor stap ontleden. Het doel visualiseren helpt om het concreter te maken. Een goed plan bevat mijlpalen om de omvang behapbaar te maken. Een plan wordt verbeterd door het voor te leggen aan anderen, en onderbouwde kritiek op te nemen.

Bij de lezing werd aan het publiek gevraagd om je eigen droom aan de persoon naast je te vertellen. Enkele mensen deelden hun droom met het publiek: ‘een marathon lopen’, ‘een klimplant aan het Groninger forum laten groeien’, ‘naar Griekenland zeilen’, ‘een nieuw product uitbrengen’. Hopelijk komen alle dromen uit.

Waanzinnigeplannen3D-klein
bron: http://www.waanzinnigeplannen.nl/

 

HBO-I Job Event 2013 R’dam

ongecategoriseerd

Op dit job event een aantal workshops bezocht, en natuurlijk genetwerkt.
De eerste workshop werd gegeven door Jeroen Bijl van de Rabobank. In deze workshop heeft hij uitgelegd hoe het continuity management van de Rabobank is ingericht. Een disruptie moet binnen vijf minuten (norm) gemeld worden, en binnen twintig minuten moet een calamiteiten managements team (CMT) samengesteld zijn. Het CMT stuurt de werkteams aan. Op de vraag wat hij het leukste vindt van zijn baan antwoordde hij: “De afwisseling tussen rennen en stilstaan”.

De tweede workshop werd gegeven door de Universiteit van Amsterdam. Twee specifieke vereisten die aan academische studenten worden gesteld zijn 1. nieuwschierigheid en 2. zelfstandigheid. Er werd veel verteld over het verschil in theorie en werkwijze tussen het HBO en de uni. Erg interessant. Alleen de top 5% hbo’ers worden toegelaten; dit zijn de studenten met gemiddeld een 7 of hoger.

De derde workshop werd gegeven door EY. Deze workshop was vrij zakelijk, en behandelde de bekende algemene informatie over EY.

Op het laatst was de prijsuitreiking en de borrel. Er werden vier iPads weggegeven onder de deelnemers. In de trein terug heb ik de wervingsfolders doorgenomen. Volgend jaar weer?

Brpm"http://www.hboictjobevent.nl
Brpm”http://www.hboictjobevent.nl