Inter-rater Dotaz Zobrazit nápovědu
Cíl: Přesnost screeningových škál pro vyhledávání pacientů s rizikem vzniku dekubitů byla u nás dosud zkoumána jen okrajově. Cílem bylo navázat na pilotáž zabývající se inter-rater reliabilitou (shodou mezi posuzovateli) Škály Bradenové (ŠB) a zjistit shodu mezi dvěma posuzovateli u většího vzorku respondentů. Metodika: Dva posuzovatelé nezávisle na sobě hodnotili 60 pacientů hospitalizovaných s neurologickým onemocněním pomocí ŠB. Celková skóre (max. 23 bodů) byla dichotomizována (riziko versus absence rizika) dle doporučeného cut-off skóre (18 bodů). Inter-rater reliabilita byla vyjádřena pomocí koeficientu kappa (κ), a to pro dichotomizovaná celková skóre i pro skóre v jednotlivých položkách škály. Výsledky: Koeficient κ byl pro dichotomizovaná celková skóre 0,564 (95% konfidenční interval [KI] = 0,182; 0,946). V jednotlivých položkách škály byl κ následující: „smyslové vnímání“ 0,557 (95% KI = 0,306; 0,808); „vlhkost“ 0,454 (95% KI = 0,142; 0,766); „aktivita“ 0,613 (95% KI = 0,425; 0,801); „mobilita“ 0,091 (95% KI = – 0,127; 0,309); „výživa“ 0,283 (95% KI = 0,095; 0,471); a „tření a střih“ 0,554 (95% KI = 0,240; 0,868).Závěr: Inter-rater reliabilita dichotomizovaných celkových skóre byla střední úrovně (κ = 0,564). V položce „aktivita“ lze shodu mezi posuzovateli považovat za poměrně dobrou (κ = 0,613); v ostatních položkách však byla nižší. Jsou prezentovány faktory, které mohly tyto výsledky ovlivnit.
Aim: The accuracy of the screening scales for identification of patients who are at risk of developing pressure sores has, so far, received only marginal attention in the Czech Republic. The aim was to extend a pilot study that focused on inter-rater reliability of the Braden Scale and to determine inter-rater reliability for a larger patient sample. Methods: Two raters performed independent assessments of 60 patients hospitalized with a neurological condition, using the Braden Scale. The total scores (max. 23 points) were dichotomized (at risk versus not at risk) using the recommended cut-off score (18 points). Using the kappa (κ) coefficient, inter-rater reliability was expressed for the dichotomized total scores as well as for scores obtained for each category of the scale. Results: For the dichotomized total results, the κ coefficient was 0.564 (95% confidence interval [CI] = 0.182; 0.946). For the individual categories, the κ coefficient was as follows: “sensory perception” 0.557 (95% CI = 0.306; 0.808); „moisture“ 0.454 (95% CI = 0.142; 0.766); „activity“ 0.613 (95% CI = 0.425; 0.801); „mobility“ 0.091 (95% CI = – 0.127; 0.309); „nutrition“ 0.283 (95% CI = 0.095; 0.471); and „traction and sheer“ 0.554 (95% CI = 0.240; 0.868). Conclusion: For the dichotomized total scores, moderate inter-rater reliability (κ = 0.564) was obtained. For the category “activity”, the inter-rater reliability was quite good (κ = 0.613); for other categories, it was lower. Factors that may have affected the results are discussed.
Cíl: Přesnost screeningových škál pro vyhledávání pacientů s rizikem vzniku dekubitů byla u nás dosud zkoumána jen okrajově. Cílem bylo navázat na pilotáž zabývající se inter-rater reliabilitou (shodou mezi posuzovateli) Škály Bradenové (ŠB) a zjistit shodu mezi dvěma posuzovateli u většího vzorku respondentů. Metodika: Dva posuzovatelé nezávisle na sobě hodnotili 60 pacientů hospitalizovaných s neurologickým onemocněním pomocí ŠB. Celková skóre (max. 23 bodů) byla dichotomizována (riziko versus absence rizika) dle doporučeného cut-off skóre (18 bodů). Inter-rater reliabilita byla vyjádřena pomocí koeficientu kappa (κ), a to pro dichotomizovaná celková skóre i pro skóre v jednotlivých položkách škály. Výsledky: Koeficient κ byl pro dichotomizovaná celková skóre 0,564 (95% konfidenční interval [KI] = 0,182; 0,946). V jednotlivých položkách škály byl κ následující: „smyslové vnímání“ 0,557 (95% KI = 0,306; 0,808); „vlhkost“ 0,454 (95% KI = 0,142; 0,766); „aktivita“ 0,613 (95% KI = 0,425; 0,801); „mobilita“ 0,091 (95% KI = – 0,127; 0,309); „výživa“ 0,283 (95% KI = 0,095; 0,471); a „tření a střih“ 0,554 (95% KI = 0,240; 0,868). Závěr: Inter-rater reliabilita dichotomizovaných celkových skóre byla střední úrovně (κ = 0,564). V položce „aktivita“ lze shodu mezi posuzovateli považovat za poměrně dobrou (κ = 0,613); v ostatních položkách však byla nižší. Jsou prezentovány faktory, které mohly tyto výsledky ovlivnit.
Aim: The accuracy of the screening scales for identification of patients who are at risk of developing pressure sores has, so far, received only marginal attention in the Czech Republic. The aim was to extend a pilot study that focused on inter-rater reliability of the Braden Scale and to determine inter-rater reliability for a larger patient sample. Methods: Two raters performed independent assessments of 60 patients hospitalized with a neurological disease, using the Braden Scale. Total scores (max. 23 points) were dichotomized (at risk versus not at risk) using the recommended cut-off score (18 points). Using the kappa (κ) coefficient, inter-rater reliability was expressed for the dichotomized total scores as well as for scores obtained for each category of the scale. Results: For the dichotomized total results, the κ coefficient was 0.564 (95% confidence interval [CI] = 0.182; 0.946). For the individual categories, the κ coefficient was as follows: “sensory perception” 0.557 (95% CI = 0.306; 0.808); „moisture“ 0.454 (95% CI = 0.142; 0.766); „activity“ 0.613 (95% CI = 0.425; 0.801); „mobility“ 0.091 (95% CI = – 0.127; 0.309); „nutrition“ 0.283 (95% CI = 0.095; 0.471); and „friction and shear“ 0.554 (95% CI = 0.240; 0.868). Conclusion: For the dichotomized total scores, moderate inter-rater reliability (κ = 0.564) was obtained. For the category “activity”, the inter-rater reliability was quite good (κ = 0.613); for other categories, it was lower. Factors that may have affected the results are discussed.
- MeSH
- dekubity * etiologie ošetřování prevence a kontrola MeSH
- dospělí MeSH
- hodnocení rizik * MeSH
- lidé středního věku MeSH
- lidé MeSH
- mladiství MeSH
- mladý dospělý MeSH
- nemoci nervového systému komplikace MeSH
- ošetřovatelský výzkum * metody statistika a číselné údaje MeSH
- plošný screening MeSH
- senioři MeSH
- statistika jako téma MeSH
- Check Tag
- dospělí MeSH
- lidé středního věku MeSH
- lidé MeSH
- mladiství MeSH
- mladý dospělý MeSH
- senioři MeSH
- Publikační typ
- práce podpořená grantem MeSH
Východiská: V súčasnosti existuje na svete takmer 40 škál na posúdenie rizika vzniku dekubitu. Napriek ich množstvu boli psychometrické vlastnosti testované len u niektorých. Cieľ: Zistiť stupeň inter-rater reliability jednotlivých položiek vybraných škál na posúdenie rizika vzniku dekubitu (Bradenovej škály, Nortonovej škály a Waterlowej škály). Metódy: Zber dát prebiehal od apríla do augusta 2014 na oddelení s dlhodobou ošetrovateľskou starostlivosťou. Výskumný súbor tvorilo 32 pacientov. Pre vyhodnotenie inter-rater reliability boli použité štatistické metódy vnútrostredný koeficient korelácie (ICC). Výsledky: Zhoda medzi posudzovateľmi Bradenovej škály sa pohybuje v rozmedzí od ICC = 0,846 pre položku „aktivita“ a ICC = 0,645 pre položku „výživa“. Nortonovej škála dosiahla najvyššiu zhodu v položke „inkontinencia“ (ICC = 0,931), najnižšiu v položke „fyzický stav“ (ICC = 0,849). Najvyššia zhoda medzi posudzovateľmi Waterlowej škály je pozorovaná pri položkách „pohlavie“ (ICC = 1), „vážna operácia alebo trauma“ (ICC = 1). Najnižšiu zhodu dosiahla položka „skóre váhového úbytku“ (ICC = 0,497). Závery: Najvyššiu zhodu medzi posudzovateľmi dosiahli položky Nortonovej škály, nasledujú položky Bradenovej škály. Najnižšiu zhodu medzi posudzovateľmi dosiahli položky Waterlowej škály. Odporúčame ďalšie testovanie škál na posúdenie rizika vzniku dekubitov v českom klinickom prostredí.
Background: Worldwide, approximately 40 pressure ulcer risk assessment scales are available. Despite of this amount, the psychometric properties were tested only for some. Aim: To determine inter-rater reliability of items of selected pressure ulcer risk assessment scales (Braden Scale, Norton Scale and Waterlow Scale). Methods: The data were collected from April to August 2014 in one long-term care department. The sample consisted of 32 patients. An intra-class correlation coefficient (ICC) was used to determine the inter-rater reliability. Results: The inter-rater reliability of Braden Scale ranged between ICC = 0.846 for the item “activity” and ICC = 0.645 for the item “nutrition“. The highest inter-rater reliability of Norton Scale reached for item “incontinence” (ICC = 0.931), the lowest for item “physical condition” (ICC = 0.849). The highest inter-rater reliability of Waterlow Scale is observed for items “sex” (ICC = 1), “surgery/trauma” (ICC = 1). The lowest inter-rater reliability reached item “weight loss score” (ICC = 0.497). Conclusions: The highet inter-rater reliability reached items of Norton Scale, followed by items of Braden Scale. The lowest inter-rater reliability reached items of Waterlow Scale. We recommend further testing of pressure ulcer risk assessment scales in czech clinical settings.
Východiská: V súčasnosti existuje na svete takmer 40 škál na posúdenie rizika vzniku dekubitu. Napriek ich množstvu boli psychometrické vlastnosti testované len u niektorých. Cieľ: Zistiť stupeň inter-rater reliability jednotlivých položiek vybraných škál na posúdenie rizika vzniku dekubitu (Bradenovej škály, Nortonovej škály a Waterlowej škály). Metódy: Zber dát prebiehal od apríla do augusta 2014 na oddelení s dlhodobou ošetrovateľskou starostlivosťou. Výskumný súbor tvorilo 32 pacientov. Pre vyhodnotenie inter-rater reliability boli použité štatistické metódy vnútrostredný koeficient korelácie (ICC). Výsledky: Zhoda medzi posudzovateľmi Bradenovej škály sa pohybuje v rozmedzí od ICC = 0,846 pre položku „aktivita“ a ICC = 0,645 pre položku „výživa“. Nortonovej škála dosiahla najvyššiu zhodu v položke „inkontinencia“ (ICC = 0,931), najnižšiu v položke „fyzický stav“ (ICC = 0,849). Najvyššia zhoda medzi posudzovateľmi Waterlowej škály je pozorovaná pri položkách „pohlavie“ (ICC = 1), „vážna operácia alebo trauma“ (ICC = 1). Najnižšiu zhodu dosiahla položka „skóre váhového úbytku“ (ICC = 0,497). Závery: Najvyššiu zhodu medzi posudzovateľmi dosiahli položky Nortonovej škály, nasledujú položky Bradenovej škály. Najnižšiu zhodu medzi posudzovateľmi dosiahli položky Waterlowej škály. Odporúčame ďalšie testovanie škál na posúdenie rizika vzniku dekubitov v českom klinickom prostredí.
Background: Worldwide, approximately 40 pressure ulcer risk assessment scales are available. Despite of this amount, the psychometric properties were tested only for some. Aim: To determine inter-rater reliability of items of selected pressure ulcer risk assessment scales (Braden Scale, Norton Scale and Waterlow Scale). Methods: The data were collected from April to August 2014 in one long-term care department. The sample consisted of 32 patients. An intra-class correlation coefficient (ICC) was used to determine the inter-rater reliability. Results: The inter-rater reliability of Braden Scale ranged between ICC = 0.846 for the item “activity” and ICC = 0.645 for the item “nutrition“. The highest inter-rater reliability of Norton Scale reached for item “incontinence” (ICC = 0.931), the lowest for item “physical condition” (ICC = 0.849). The highest inter-rater reliability of Waterlow Scale is observed for items “sex” (ICC = 1), “surgery/trauma” (ICC = 1). The lowest inter-rater reliability reached item “weight loss score” (ICC = 0.497). Conclusions: The highet inter-rater reliability reached items of Norton Scale, followed by items of Braden Scale. The lowest inter-rater reliability reached items of Waterlow Scale. We recommend further testing of pressure ulcer risk assessment scales in czech clinical settings.
Cieľ: Zistiť stupeň inter-rater reliability celkového skóre troch vybraných škál na posúdenie rizika vzniku dekubitu (Bradenovej škály, Nortonovej škály a Waterlowej škály). Metódy: Zber dát prebiehal od apríla do augusta 2014 na oddelení s dlhodobou ošetrovateľskou starostlivosťou. Výskumný súbor tvorilo 32 pacientov. Pre vyhodnotenie inter-rater reliability boli použité štatistické metódy vnútrostredný koeficient korelácie (ICC) a Pearsonov korelačný koeficient (r). Výsledky: Bradenovej škála dosiahla najnižšiu zhodu medzi posudzovateľmi (ICC = 0,775; r = 0,776), nasleduje Nortonovej škála (ICC = 0,837; r = 0,948). Najvyššiu zhodu medzi posudzovateľmi dosiahla Waterlowej škála (ICC = 0,914; r = 0,916). Závery: Bradenovej škála dosiahla najnižšiu zhodu medzi posudzovateľmi, nasleduje Nortonovej škála. Najvyššiu zhodu medzi posudzovateľmi pozorujeme u Waterlowej škály. Nevyhnutné pre skúmanie inter-rater reliability je práca s dobre preloženou škálou. Odporúčame ďalšie testovanie škál na posúdenie rizika vzniku dekubitov v českom klinickom prostredí.
Aim: To determine inter-rater reliability of three selected pressure ulcer risk assessment scales (Braden Scale, Norton Scale and Waterlow Scale). Methods: The data were collected from April to August 2014 in one long-term care department. The sample consisted of 32 patients. An intra-class correlation coefficient (ICC) and coefficient of Pearson´s were used to determine the inter-rater reliability. Results: Inter-rater reliability of Braden Scale was the lowest (ICC = 0,775; r = 0,776), followed by Norton Scale (ICC = 0,837; r = 0,948). The highest inter-rater reliability reached Waterlow Scale (ICC = 0,914; r = 0,916). Conclusion: Inter-rater reliability of Braden Scale was the lowest, followed by Norton Scale. We observed the highest inter-rater reliability at Waterlow Scale. Necessary for exploring the inter-rater reliability is working with the good translated scale. We recommend further testing of pressure ulcer risk assessment scales in Czech clinical settings.
- Klíčová slova
- Bradenové škála, Nortonové škála, Waterlowova škála,
- MeSH
- dekubity * diagnóza prevence a kontrola MeSH
- dlouhodobá péče MeSH
- hodnocení rizik MeSH
- lidé středního věku MeSH
- lidé MeSH
- prediktivní hodnota testů * MeSH
- prospektivní studie MeSH
- reprodukovatelnost výsledků MeSH
- senioři nad 80 let MeSH
- senioři MeSH
- stupeň závažnosti nemoci MeSH
- Check Tag
- lidé středního věku MeSH
- lidé MeSH
- senioři nad 80 let MeSH
- senioři MeSH
Cíl: Zjistit výsledky inter-rater reliability položek dvou screeningových měřicích nástrojů pro určení deliria (Delirium Observation Scale, Nursing Delirium Screening Scale). Design: Prospektivní srovnávací studie měřicích nástrojů. Metody: Sběr dat probíhal od srpna 2018 do srpna 2019 na oddělení Traumatologické kliniky Fakultní nemocnice Olomouc. Výzkumný vzorek tvořilo 50 pacientů s traumatem pohybového aparátu, posuzovaný dvěma posuzovateli - všeobecnými sestrami. Pro hodnocení inter-rater reliability byla použita statistická metoda Cohenova kappa (κ). Výsledky: V případě screeningového měřicího nástroje Delirium Observation Scale byla u dvou položek shoda mezi oběma posuzovateli 98 % (κ = 0,790), u ostatních položek byla shoda 100 % (κ = 1.0). Procentuální shoda obou posuzovatelů v případě screeningového měřicího nástroje Nursing Delirium Screening Scale byla 100 % (κ = 1.0) ve všech pěti položkách. Závěr: U obou screeningových měřicích nástrojů byla zjištěna vysoká míra reliability. Nejvyšší shodu mezi posuzovateli však dosahoval screeningový měřicí nástroj Nursing Delirium Screening Scale. Doporučujeme další testování screeningových měřicích nástrojů pro určení deliria v českém klinickém prostředí.
Objective: Determine the results for inter-rater reliability for items in two delirium screening measuring instruments (Delirium Observation Scale, Nursing Delirium Screening Scale). Design: Prospective comparative study of measuring instruments. Methods: Data were collected between August 2018 and August 2019 at the Trauma Clinic, Teaching Hospital, Olomouc, Czech Republic. Study sample included 50 patients with locomotive apparatus trauma, assessed by two raters - general nurses. To assess the inter-rater reliability the study used Cohen's kappa (κ) method. Results: For the Delirium Observation Scale, the agreement between the two raters for two of the items was 98% (κ = 0.790); for all other items the agreement was 100% (κ = 1.0). The percentage rate of agreement between both raters using the Nursing Delirium Screening Scale was 100% (κ = 1.0) for all five items. Conclusions: For both screening measuring instruments a high level of reliability has been established. Nevertheless, the highest agreement between the raters has been achieved for the Nursing Delirium Screening Scale. The recommendation is to further test the screening delirium measuring instruments in a Czech clinical setting.
Úvod: V poslední době se klade velký důraz na časnou diagnostiku Alzheimerovy choroby. Do nových diagnostických kritérií byly zařazeny nové diagnostické metody, které pomocí stanovení strukturálních a metabolických změn mozku tuto časnou diagnostiku umožňují. Patří mezi ně i vyšetření objemu hipokampů. Scheltens et al zavedli vizuální škálu na hodnocení atrofie hipokampů. Cílem studie bylo zjistit interrater variabilitu a ověřit praktické použití této škály. Metoda: Osmi hodnotiteli s různým stupněm erudice v užívání Scheltensovy vizuální škály bylo vyhodnoceno 70 magnetických rezonancí pacientů s kognitivní poruchou a zdravých kontrol vyšetřených v Kognitivním centru při Neurologické klinice FN v Motole. Po krátkém zaškolení vyšetřující vyhodnotili tréninkový vzorek 20 pacientů s následným rozborem nálezů u každého z hodnotitelů a poté provedli vlastní zaslepené hodnocení atrofie hipokampů Scheltensovou škálou za použití snímků MR v koronární rovině. Variabilita byla posuzována pro všech osm hodnotitelů dohromady a pak ještě po jejich rozdělení na čtyři zkušené a čtyři nezkušené (před účastí v této studii neměli se škálou žádnou zkušenost). Výsledky: Nalezli jsme velmi vysoký koeficient shody pro všechny hodnotitele dohromady pro pravý (K = 0,87) i levý (K = 0,88) hipokampus. Velmi vysoký koeficient shody byl nalezen i po rozdělení do skupin zkušený/nezkušený vyšetřující v obou skupinách, a to pro pravý i levý hipokampus. Závěr: Scheltensova vizuální škála je jednoduše zvladatelný nástroj k hodnocení atrofie hipokampů i při malé erudici vyšetřovatele. Výsledná variabilita hodnocení je relativně malá a umožňuje doporučit tuto škálu pro rutinní klinické využití.
Introduction: Recently, a great emphasis has been placed on early diagnosis of Alzheimer's disease (AD). The new diagnostic criteria for AD involve new methods such as detection of structural and metabolic changes in the brain. These include examination of hippocampal volume. Scheltens et al. introduced a visual rating scale for hippocampal atrophy assessment. Our aim was to determine inter-rater variability and to test practical application of this scale. Methods: MRI scans of 70 elderly persons with cognitive impairment and persons classified as cognitively normal were assessed by eight investigators. The investigators had a different degree of experience with Scheltens visual rating scale. Following a brief training, the investigators were asked to practice on 20 MRI brain scans in coronal plane. Correct scores were disclosed to all investigators. Subsequently, the investigators evaluated 70 study MRI scans. They were unaware of the participants' cognitive status. The variability was calculated for all investigators together and after dividing them into “experienced” (n = 4) and “inexperienced” (n = 4) group, where “inexperienced” refered to no previous knowledge of this visual rating scale. Results: Inter-rater agreement (kappa) was very high among all investigators for the right (K = 0.87) and left (K = 0.88) hippocampus. After dividing the raters into experienced and inexperienced, the inter-rater variability continued to be high in both groups for the right and left hippocampus. Conclusion: Scheltens visual rating scale is a simple and easy to use tool for hippocampal atrophy assessment even for inexperienced investigators. The final assessment variability was relatively low. We can recommend this visual rating scale for routine clinical use. Key words: atrophy – hippocampus – visual scale – dementia – Alzheimer disease The authors declare they have no potential conflicts of interest concerning drugs, products, or services used in the study. The Editorial Board declares that the manuscript met the ICMJE “uniform requirements” for biomedical papers.
Aim: Various screening scales are used to identify patients at risk of developing pressure ulcers; however, the information concerning the method of their translation into Czech has been incomplete. The aim was to develop the “official” Czech version of the Braden scale and to describe the method of its translation. Next, the aim was to determine, in a pilot study, its inter-rater reliability. Method and sample: The core of the translation method consisted in back translation. Two raters used the final Czech version for independent assessments of 20 patients in a neurology clinic. Their overall scores, the dichotomized results (risk versus no risk), and scores for individual categories were compared and the resulting inter-rater reliability was expressed using the kappa (ϰ) coefficient. Results: The ϰ coefficient was 0.123 (95% confidence interval [CI] = −0.093; 0.339) for the overall scores and 0.474 (95% CI = 0.045; 0.903) for the dichotomized results. For the individual categories, it ranged from 0.470 (95% IS = 0.196; 0.744) for the category „nutrition“ to 0.237 (95% CI = −0.086; 0.560) for “sensory perception”. Conclusion: Low to moderate inter-rater reliability was obtained. The accuracy of the calculation may have been affected mainly by the small sample size.
- Klíčová slova
- screeningová škála Bradenové,
- MeSH
- analýza párové shody MeSH
- dekubity * diagnóza ošetřování prevence a kontrola MeSH
- hodnocení rizik * metody normy MeSH
- lidé MeSH
- odchylka pozorovatele MeSH
- ošetřovatelské zhodnocení * metody normy statistika a číselné údaje MeSH
- pilotní projekty MeSH
- překládání MeSH
- reprodukovatelnost výsledků MeSH
- statistika jako téma MeSH
- terminologie jako téma MeSH
- Check Tag
- lidé MeSH
- Publikační typ
- hodnotící studie MeSH
- práce podpořená grantem MeSH