Cílem příspěvku je ukázat výhody zapojení experta do tvorby znalostního obsahu systému pro podporu rozhodování nejen v klasickém pojetí formalizace znalostí experta do báze znalostí, ale i poněkud méně tradičním způsobem. Tento přístup se začal v nedávné době nazývat „human/expert-in-the-loop“. Základní myšlenkou je využít znalosti experta, které nemusejí být obsaženy v datech, jejichž analýzu chceme provádět, ale které mohou významně zlepšit kvalitu rozhodovacího procesu. Často je možné v rámci tohoto kroku integrovat znalosti více expertů. Pokud se takové přístupy využívají přímo v metodách strojového učení, označují se také jako aktivní učení. Na několika případových studiích z různých oblastí medicíny ukážeme, v jakých fázích procesu vývoje může expert vhodně do procesu zasáhnout. První případová studie je věnována porovnání výsledků získaných pomocí znalostního systému, jehož báze znalostí byla vytvářena manuálně formalizací slovně popsaných znalostí, a pomocí metod strojového učení, konkrétně rozhodovacího stromu, naučeného na větším souboru dat. Následně byla báze znalostí porovnána s rozhodovacím stromem a doplněna o vybraná pravidla z tohoto stromu. Takto upravená báze znalostí poskytovala lepší rozhodnutí než původní. Další dvě případové studie jsou zaměřené na úlohu klasifikace v dlouhodobých záznamech biologických signálů, konkrétně elektroencefalografických a polysomnografických. U této úlohy je klíčové nalézt vhodný poměr mezi zobecněnými metodami, použitelnými na záznamy všech pacientů, a metodami nastavenými na konkrétního pacienta (jedna z možností personalizace). Motivací pro takové řešení je velká interpersonální variabilita, a u řady diagnóz i intrapersonální variabilita. Možnost interaktivního vstupu experta do procesu analýzy záznamů může přispět ke zvýšení kvality a konzistence hodnocení.

This paper aims to show the benefits of expert involvement in the creation of knowledge-based content system to support decision making not only in the classic conception of formalization of expert knowledge into the knowledge base, but also somewhat less traditional way. This approach has recently started to be called "human / expert-in-the-loop". The basic idea is to use the expert knowledge that may not be included in the data, whose analysis we perform, but which can significantly improve the quality of decision making. In this step it is often possible to integrate knowledge of more experts. If such approaches are used in machine learning methods, they are known as active learning. We present several case studies from different areas of medicine, in which we show how experts can interact with the system. The first case study is devoted to compare the results obtained using the knowledge system whose knowledge base was created manually from verbally described expert knowledge, and by using machine learning techniques (specifically the decision tree) learned on a larger data set. Subsequently, the knowledge base was compared with the decision tree and supplemented by selected rules from the tree. This adjusted knowledge base provided better results than the original one. The other two case studies are focused on classification in long-term records of biological signals, namely electroencephalographic and polysomnographic. The key issue is to find the appropriate balance between the generalized methods applicable to the records of all patients, and methods adjusted for each patient (one of the personalization options). The motivation for this approach is the large interpersonal variability, and intrapersonal variability at certain diagnoses. An interactive expert input into the process of analyzing the records can contribute to improvement of the quality and consistency of assessment.

ČVUT CIIRC Praha

ČVUT FBMI Kladno

Role of an expert in the process of development of decision support systems

Roztoky u Prahy, 21.-22. března 2017

Literatura