Tento článek prezentuje druhou část výsledků projektu, který byl uskutečněn v roce 2011 ve spolupráci s Leteckou amatérskou asociací ČR (dále jen LAA ČR), jehož cílem byla analýza vlastností testu z teorie paraglidingu. Test z teorie paraglidingu je součástí zkoušky pro získání pilotní licence v rámci LAA ČR, a proto bylo nutno posoudit kvalitu tohoto diagnostického nástroje. V této části jsme se zabývali analýzou kvality distraktorů, posuzovali jsme validitu a reliabilitu testu a řešili jsme nestandardní situace, které mohou nastat při výpočtu citlivosti úloh. U celkového počtu 584 distraktorů jsme shledali 8 % distraktorů jako nevyhovujících a doporučili jsme jejich výměnu. Při posouzení obsahové validity byly z celkového počtu 292 úloh označeny jako nevyhovující 3 úlohy, po jejichž vyřazení pokládáme test za dostatečně obsahově validní. Odhad reliability námi modifikovanou metodou podle Kuder-Richardsona vyšel 0,8, což považujeme za vyhovující reliabilitu. Ze tří srovnávaných koeficientů citlivosti pokládáme biseriální koeficient za nejvhodnější.
This article presents the second part of the results of the project, which was implemented in 2011 in cooperation with the Light Aircraft Association (LAA CR hereafter). The aim of this project was to analyze the properties of test from the theory of paragliding. This test from the theory of paragliding is part of the examination for obtaining a pilot's license in the LAA CR, and therefore it was necessary to assess the quality of this diagnostic tool. In this second part, we analyzed the quality of distractors, we assessed the validity and reliability of the test and we dealt with unusual situations that may arise in calculating the sensitivity of the task. Of the total number of 584 distractors we found 8% distractors as unsatisfactory and we recommended to replace them. When assessing the content validity, 3 of 292 tasks were designated as unsatisfactory. After removal of these tasks the test will be sufficiently content valid. The result of the estimation of reliability by method of Kuder-Richardson, which we modified, was 0.8, and we consider this a satisfactory reliability. Based on comparing three coefficients of sensitivity biserial coefficient is considered the most suitable.
- Klíčová slova
- didaktické testování, distraktor, multiple-choice test, reliabilita testu, paragliding,
- MeSH
- interpretace statistických dat * MeSH
- licence * normy využití MeSH
- lidé MeSH
- plnění a analýza úkolů * MeSH
- reprodukovatelnost výsledků * MeSH
- sběr dat * metody normy statistika a číselné údaje využití MeSH
- Check Tag
- lidé MeSH
Tato analýza prezentuje dílčí výsledky projektu, který byl uskutečněn v roce 2011 ve spolupráci s Leteckou amatérskou asociací ČR (dále jen LAA ČR), jehož cílem bylo zhodnocení souboru testových úloh z teorie paraglidingu. Test s těmito úlohami je součástí zkoušky pro získání pilotní licence v rámci LAA ČR, a proto bylo nutno posoudit kvalitu úloh tohoto diagnostického nástroje. Zde jsou prezentovány výsledky analýzy obtížnosti a citlivosti úloh jednotlivých tematických částí testu. Z celkového počtu 292 analyzovaných úloh se pouze u 26 % úloh shoduje jejich obtížnost s jejich bodovým ohodnocením v testu. Počet vyhovujících distraktorů činí 92 % z celkového počtu 584 distraktorů. Vyhovující citlivost podle biseriálního koeficientu dosahuje 78 % úloh. Výsledky četnosti výskytu jednotlivých úloh v testech poukazují na značnou nerovnoměrnost. Pozice správné alternativy v testech LAA ČR je však zcela náhodná a rovnoměrně rozložená.
This analysis presents partial results of a project that was implemented in 2011 in cooperation with the Light Aircraft Association (LAA CR hereafter). The aim of this project was to evaluate the set of test's tasks from the theory of paragliding. Test with these tasks is part of the examination for obtaining a pilot's license in the LAA CR, and therefore it was necessary to assess the quality of this diagnostic tool. Here are presented the results of sensitivity analysis and difficulty analysis in each of the thematic sections of the test. There were analyzed 292 tasks and only 26 % tasks corresponding with scoring difficulty of same tasks in the test. Number of matching distractors is 92% of the total number of 584 distractors. Satisfactory sensitivity according biserial coefficient reaches 78% of tasks. The results of the frequency of each task in the tests point to considerable unevenness. Position of good alternatives in tests LAA CR is completely random and evenly distributed.
- Klíčová slova
- didaktické atestování, multiple-choice test, vyhodnocování multiple-choice testů,
- MeSH
- financování organizované MeSH
- letectví * klasifikace výchova zákonodárství a právo MeSH
- licence * využití zákonodárství a právo MeSH
- lidé MeSH
- společnosti organizace a řízení využití zákonodárství a právo MeSH
- sporty klasifikace výchova MeSH
- statistika jako téma MeSH
- výuka - hodnocení metody MeSH
- výzkumný projekt MeSH
- Check Tag
- lidé MeSH
- Geografické názvy
- Česká republika MeSH
