Big data solutions in demand side management enhancing market  strategies and settlement for distribution grid operators

This project is supported by a grant of the Romanian Ministry of Education and Research, CCCDI – UEFISCDI,
Project number PN-III-P2-2.1-PED-2019-1198, within PNCDI III
Project financed by: 
Unitatea Executiva pentru Finantarea Învatamantului Superior, a Cercetării, Dezvoltarii si Inovarii
Programul 2 – Cresterea competitivitatii economiei romanesti prin cercetare, dezvoltare si inovare
Subprogramul 2.1 – Competitivitate prin cercetare, dezvoltare si inovare
Project type: Proiect experimental – demonstrativ
NR. 462PED ⁄ 2020
PARTNERS
The Bucharest University of Economic Studies (coordinator) – PhD. Simona Vasilica Oprea
ICPE SA – PhD Viorel Ursu
OBJECTIVE
The main objective is to create a modular and scalable web-based prototype, built on two functional modules that should answer to DSO necessities in terms of DSM, efficiency and legislative requirements: M1-Models for DSM; M2-Models for efficient grid operation. Module M1 groups the demonstrative models at the DSM level, including: designing DSM stimuli (such as information via notifications, advices on savings, best practices, etc.) and surveys for understanding the consumers’ behaviour; monitoring & control of appliances (via smart plugs, hubs), EV, SD and generation; day-ahead consumption optimization using programmable/dimmable appliances and other controllable devices; a simulator for consumers based on a virtual environment for modelling various behavioural scenarios, envisioning the possible outcome. Module M2 groups the demonstrative models at the aggregated level, such as: load profile clustering the consumers with similar behaviour; load forecast guiding the grid development strategies, technical loss forecast for different time horizons improving the market strategies; 15-minute settlement; designing the distribution tariff rates to incentive the consumers to shift consumption from peak to off-peak hours; Key Performance Indicators (KPI) calculation for grid operation. The demonstrative models will be developed by the Bucharest University of Economic Studies (BUES), integrated into a prototype developed in TRL4 with scalable and open source technologies for Big Data, and tested by SC ICPE S.A.
REZUMATUL ETAPELOR 2020 SI 2021
În etapa 2020 s-au propus modelele de organizare a datelor colectate de la prosumeri si arhitectura prototipului informatic. Prima etapă include activitatea: Propunerea modelelor de organizare a datelor colectate de la prosumeri si arhitectura prototipului informatic (WP2 – Big Data Framework – proposal). Pentru propunerea modelelor de organizare a datelor am analizat sursele de date și am propus algoritmi și metode pentru prelucrarea datelor pentru a implementa modelele demonstrative pentru Demand Side Management (DSM) și pentru managementul consumului la nivel agregat (agregator și DSO).
În etapa 2021 a fost demarată dezvoltarea modelelor pentru organizarea datelor si a modelelor demonstrative pentru DSM. De asemenea, a fost inițiată propunerea modelelor pentru operarea eficienta a rețelelor. A doua etapă include următoarele activități:
Act 2.1 Dezvoltarea modelelor de organizare a datelor (WP2 – Big Data Framework – development). Obiectivul principal este de a dezvolta un cadru Big Data bazat pe o platformă de comunicare interoperabilă care integrează toate sursele de date pentru a furniza datele necesare cu calitatea definită (adică în timp real, amprenta de timp – timestamp, informații semantice). Datele colectate sunt mai întâi procesate la nivelul locului de consum, stocate în BD Edge și apoi transformate și transmise către nodul Fog (la nivelul stației electrice) și stocate în BD Fog. În cadrul acestei activități, au fost propuse: platforma de comunicație și integrare a datelor și managementul Big data.
Act 2.2 Dezvoltarea modelelor pentru DSM (WP3 – Demonstrative Models for DSM). Această activitate conține următoarele sub-activități:
·        2.2.1. Măsuri pentru creșterea gradului de conștientizare și implicare a consumatorilor pentru un consum durabil. Proiectarea stimulilor DSM este un pas esențial, deoarece determină consumatorii să se comporte în direcția unui consum durabil. Pentru proiectarea setului de stimuli DSM, vom analiza rezultatele unor experimente și studii pilot care explorează efectele diferitelor metode de stimulare a consumatorilor în vederea schimbării comportamentului de consum. Setul de stimuli este testat și validat folosind chestionare pre- și post-experiment, măsurând impactul și potențialul de a stimula consumatorii.
·        2.2.2. Monitorizarea și controlul dispozitivelor electrice. Pentru această activitate am considerat categorii de dispozitive în funcție de caracteristicile de funcționare. De asemenea, am propus un algoritm pentru monitorizarea și controlul dispozitivelor electrice (Load Monitor & Control – LMC).
·        2.2.3. Modele de optimizare a consumului la nivel individual. Modelele de optimizare propuse la nivel individual sunt integrate cu modelele de optimizare și DLC realizate la nivelul furnizorilor/agregatorilor. Metodologia de integrare a acestor modele a fost propusă și diseminată într-un articol științific aflat în curs de evaluare. De asemenea, am propus: Modelul de optimizare la nivelul consumatorului – Day-Ahead Load Optimization (DALO), Modelul de predicție a consumului la nivelul agregatorului – Day-Ahead Load Forecasting (DALF) și Modelul de control al flexibilităților –  Direct Load Control (DLC).
·        2.2.4. Dezvoltarea unui simulator virtual pentru consumatori și prosumatori. Algoritmii propuși au fost integrați într-un simulator virtual pentru a motiva consumatorii să monitorizeze, să controleze și să optimizeze consumul de energie electrică și să crească gradul de acceptare și implicare într-un consum durabil și sustenabil. Prin simularea diferitelor scenarii de consum și vizualizarea rezultatelor optimizării, consumatorii pot înțelege și evalua beneficiile optimizării consumului, înlocuirii electrocasnicelor energofage și a consumului din surse proprii de energie în cazul prosumatorilor. Simulatorul virtual a fost dezvoltat astfel încât să ruleze pe un dispozitiv de tip Raspberry PI cu cerințe minime de resurse și costuri de achiziție. Tehnologiile utilizate sunt: MySQL pentru managementul datelor colectate din invertor, smart meter, API web și dispozitive inteligente/prize; Python pentru prelucrarea datelor și implementarea algoritmilor; Flask ca micro-framework pentru dezvoltarea aplicației web și Bootstrap 5.0 pentru realizarea interfețelor web.
Algoritmii propuși au fost integrați într-un simulator virtual pentru a motiva consumatorii să monitorizeze, să controleze și să optimizeze consumul de energie electrică și să crească gradul de acceptare și implicare într-un consum durabil și sustenabil.
Prin simularea diferitelor scenarii de consum și vizualizarea rezultatelor optimizării, consumatorii pot înțelege și evalua beneficiile optimizării consumului, înlocuirii electrocasnicelor energofage și a consumului din surse proprii de energie în cazul prosumatorilor.
Simulatorul virtual a fost dezvoltat astfel încât să ruleze pe un dispozitiv de tip Raspberry PI cu cerințe minime de resurse și costuri de achiziție. Tehnologiile utilizate sunt: MySQL pentru managementul datelor colectate din invertor, smart meter, API web și dispozitive inteligente/prize; Python pentru prelucrarea datelor și implementarea algoritmilor; Flask ca micro-framework pentru dezvoltarea aplicației web și Bootstrap 5.0 pentru realizarea interfețelor web.
Aplicația denumită My SASM Dashboard oferă consumatorilor posibilitatea de a gestiona dispozitivele electrice din locuință, stabilind caracteristicile de funcționare, preferințele de operare și monitorizând funcționarea acestora (figura 1).
Consumatorul poate planifica funcționarea fiecărui dispozitiv (figura 2), iar la final să ruleze algoritmul de optimizare pentru a stabli programul optim de consum în funcție de funcția obiectiv aleasă: minimizare cheltuieli sau maximizare consum din surse proprii.
Datele colectate din smart meter sau din invertor pot fi vizualizate grafic în funcție de perioada selectată pentru analiză (figura 3):
             În etapa următoare aplicația va fi integrată în cadrul prototipului informatic, astfel încât să se poată realiza comunicarea dintre consumator și furnizorul/agregatorul de energie electrică pentru implementarea programelor avansate de DSM.


DISSEMINATION
Book chapter:
1.      Preotescu D., Oprea SV, Bara A, Flexibility of the Electricity Load for the Main Types of Consumers, UNDER THE PRESSURE OF DIGITALIZATION: CHALLENGES AND SOLUTIONS AT ORGANIZATIONAL AND INDUSTRIAL LEVELS, FIRST EDITION, Page124-131, 2021
 
SCI Journals:
2.      Oprea SV, Bara A, Machine learning classification algorithms and anomaly detection in conventional meters and Tunisian electricity consumption large datasets, Computers & Electrical Engineering (Q1), 94, 107329, DOI: 10.1016/j.compeleceng.2021.107329, 2021
3.      Oprea SV, Bara A, Edge and fog computing using IoT for direct load optimization and control with flexibility services for citizen energy communities, Knowledge-Based Systems (Q1), DOI: 10.1016/j.knosys.2021.107293, 2021
4.      Oprea SV, Bara A, Puican FC, Radu IC, Anomaly Detection with Machine Learning Algorithms and Big Data in Electricity Consumption, Sustainability (Q2), 13(19), https://doi.org/10.3390/su131910963, 2021
5.      Bucur C, Tudorica B, Oprea SV, Nancu D, Dusmanescu DM, Insights into Energy Indicators Analytics Towards European Green Energy Transition using Statistics and Self-Organizing Maps, IEEE Access (Q2), 9, pp: 64427-64444, DOI: 10.1109/ACCESS.2021.3075175, 2021
6.      Oprea SV, Bara A, Marales R, Florescu M, Data Model for Residential and Commercial Buildings. Load Flexibility Assessment in Smart Cities, Sustainability (Q2), 13 (4), DOI: 10.3390/su13041736, 2021
7.      Oprea SV, Bara A, Ifrim GA, Optimizing the Electricity Consumption with a High Degree of Flexibility Using a Dynamic Tariff and Stackelberg Game, Journal of Optimization Theory and Applications (Q1), 190(1), DOI: 10.1007/s10957-021-01876-1, 2021

International conferences:
1.      Simona-Vasilica OPREA, Adela BÂRA, Niculae OPREA,
Machine learning in electricity fraud detection in smart grids with multivariate Gaussian distribution, The 4th International Conference on Economics and Social Sciences, June 10-11, 2021
2.      Simona Vasilica Oprea, Adela Bara, Vlad Diaconita, Niculae Oprea, Alerts and fraud detection in electricity consumption recorded by smart metering systems, in Proceeding of the 20th International Conference on Informatics in Economy (ISSN: 2247 – 1480),  Bucuresti,15 May 2021
3.      I.Șimonca (Botha), A.Corbea (Florea), A.Belciu (Velicanu) – Analytical capabilities of graphs in Oracle multi-model database, Proceeding of the 20th International Conference on Informatics in Economy (ISSN: 2247 – 1480), 14 May 2021, Bucuresti
4.      Tanasescu L, Bologa AR, Machine learning and data mining techniques for Human Resource optimization process – Employee Attrition, Proceeding of the 20th International Conference on Informatics in Economy, (ISSN: 2247 – 1480),  Bucuresti,15 May 2021
5.      Preotescu D, Oprea SV, Bara A, Oprea N, Analysing the forecast of electricity grid losses, The 7th International Scientific Conference SEA-CONF 2021, Scientific Bulletin of Naval Academy, Vol. XXIV 2021, pg.88-96, doi: 10.21279/1454-864X-21-I1-010, ISSN: 2392-8956; ISSN-L: 1454-864X, Naval Academy Press, 2021
6.      Oprea SV, Bara A, Dobrita (Ene) Gabriela), Machine Leaning Algorithms and Time Series Feature Extraction Library for Electricity Consumption Fraud Detection in Smart Grids, DOI: 10.1109/ICSTCC52150.2021.9607308, 25th International Conference on System Theory, Control and Computing (ICSTCC), 20-23 October 2021, Iasi, Romania
7.      Oprea SV, Bara A, Dobrita (Ene) G, Big Data Solutions for Extracting Load Flexibility Potential and Assessing Benefits, THE 7TH INTERNATIONAL SYMPOSIUM ON ELECTRICAL AND ELECTRONICS ENGINEERING (ISEEE), 28 – 30 October, 2021, Galati, Romania