reproducibility in science
Dotaz
Zobrazit nápovědu
Tento článek má za cíl posloužit jednak jako seznámení se základními principy moderní podoby hnutí Open Science a rovněž jako úvaha k nejvýraznějším silným a slabým stránkám jeho vybraných složek. V hlavní části textu autor rozebírá tři klíčové aspekty Open Science. Jedná se o otevřený přístup k výzkumným článkům, datům a informacím o metodologických a analytických procedurách. Všechny tyto aspekty s sebou přinášejí nové praktické postupy s možnými výhodami a nevýhodami, z nichž ty nejvýznamnější jsou v textu popisovány a diskutovány. Článek navíc stručně popisuje propojení Open Science s replikační krizi v psychologii a možné techniky pro zlepšení replikovatelnosti výzkumu. Příspěvek končí krátkým shrnutím a zvážením vhodnosti přejímání vybraných principů Open Science do tuzemské výzkumné praxe.
The aim of this article is to introduce the basic principles of the modern Open Science movement and to deliberate the most important advantages and disadvantages of its selected components. In the main part of the article, the author analyzes three key aspects of Open Science. They are, as follows: open access to research articles, open access to data, and open access to the information regarding methodical and analytical procedures. Each one of these components brings forth new practical procedures with their own pros and cons. The author describes and discusses the most important ones of them. In addition, the Open Science movement and its connection to the replication crisis in psychology and possible techniques for enhancing research replicability is discussed. The article ends with a brief recapitulation and a consideration on the suitability of adapting the selected Open Science principles into the local research practices.
Východiska: Fenomén replikační krize ve vědě se týká dlouhodobé neschopnosti zopakovat výsledky dřívějších vědeckých studií. To pochopitelně vede ke snižování důvěry ve vědu. Ukazuje se, že i renomovaní vědci využívají pochybné vědecké praktiky (např. záměrné manipulace s datovými analýzami) tak, aby dosáhli kýžených, statisticky významných, tedy publikovatelných výsledků. Tato pochybení jsou spojována s problematickým nastavením pobídek ve vědě, které vytvářejí nepřiměřený tlak na vědce a ti jsou nuceni k produkci zajímavých výsledků. Naopak studie s negativními výsledky (výsledky, které nejsou v souladu se stanovenou hypotézou), nejsou obvykle publikovány, což vede k publikačnímu zkreslení. Cíle: Cílem tohoto článku je popsat hlavní faktory, které přispívají k replikační krizi a nabídnout možná řešení jak tyto faktory mírnit. Závěry: Domníváme se, že problémy spojené s replikační krizí jsou natolik závažné, že je nebude možno řešit jinak než významnými změnami v systému hodnocení a financování vědy. Zapotřebí bude také široká diskuze na toto téma spojená s hlubší edukací vědců v oblasti statistického zpracovávání dat, neboť mnohá pochybení jsou výsledkem neznalosti, nikoliv záměrné manipulace s daty. Nedílnou součástí těchto změn bude vedle apelu na morální integritu vědce, také nutná větší transparentnost vědeckých postupů v duchu tzv. Open Science.
Background: The phenomenon of the replication crisis in science refers to the long-term inability to replicate the results of earlier scientific studies. This naturally leads to a reduction in trust in science. It turns out that even reputable scientists use questionable scientific practices (e.g. deliberate manipulation of data analyses) to achieve the desired statistically significant, i. e. publishable, results. This misconduct has been linked to the problematic setting of incentives in science, which creates undue pressure on scientists to produce interesting results. Conversely, studies with negative results (results that are consistent with the hypothesis) are usually not published, leading to publication bias. Objective: This article aims to describe the main factors that contribute to the replication crisis and to offer possible solutions to mitigate these factors. Conclusions: : We believe that the problems associated with the replication crisis are so severe that they cannot be addressed except through significant changes to the science assessment system and funding. A broad discussion on this topic coupled with deeper education of scientists in statistical data processing will also be needed, as many errors are the result of ignorance, not deliberate manipulation of data. An integral part of these changes, in addition to the appeal to the moral integrity of the scientist, will be the need for greater transparency of scientific procedures in the spirit of Open Science.
Východiska: V posledních deseti letech otřásá světovou vědeckou komunitou (zejména v sociálně-vědním a biomedicínském výzkumu) neschopnost zopakovat výsledky dříve provedených vědeckých studií. Pro tento fenomén se vžil název replikační krize. Cíle: Cílem této eseje je uvedení čtenáře do problematiky takzvané replikační krize ve vědě a popsat její možné příčiny. V první části zmíníme důležitost replikací při vzniku vědeckých poznatků, rozebereme základní terminologii sledovaného fenoménu a představíme si mediálně nejznámější příklady neúspěšných replikací v psychologickém a biomedicínském výzkumu. V další části se zaměříme na možné příčiny replikační krize, jako jsou pochybné vědecké praktiky v analýze dat se zaměřením na nesprávné použití p hodnot. V poslední části uvedeme výzvy, které upozorňují na problematiku replikační krize v kinantropologii. Závěry: Přesto, že aktuálně nemáme přímé důkazy o existenci replikační krize v kinantropologii, existují pochybnosti o vědecké praxi při aplikaci inferenční statistiky, zejména v souvislosti s použitím p hodnot. Z tohoto důvodů je důležité problematiku sledovat a zahájit širokou diskusi. Naší snahou není podat detailní přehled o tématu, ale seznámit čtenáře se základními myšlenkami a zdroji z oblasti replikační krize tak, aby byl schopen si v případě zájmu najít více relevantních informací.
Background: Over the past decade, the global scientific community (particularly in social science and biomedical research) has been shaken by the inability to replicate the results of previously conducted scientific studies. This phenomenon has come to be known as the replication crisis. Objective: The aim of this essay is to introduce the reader to the so-called replication crisis in science and to describe its possible causes. In the first part, we describe the importance of replication in the emergence of scientific knowledge, discuss the basic terminology of the phenomenon under study, and present the most well-known examples of failed replications in psychological and biomedical research. In the next section, we will look at possible causes of the replication crisis, such as questionable research practices in data analysis with a focus on the misusing of p-values. Finally, we conclude with challenges that highlight the replication crisis in kinanthropology. Conclusions: Despite the fact that we do not currently have direct evidence for the existence of a replication crisis in kinanthropology, there are doubts about the scientific practice of applying inferential statistics, particularly in relation to the use of p-values. For these reasons, it is important to monitor the issue and initiate a broad discussion. Our aim is not to give a detailed overview of the topic, but to introduce the reader to the basic ideas and resources in the field of replication crisis, so that he/she will be able to find more relevant information if interested.
The distributed nature of modern research emphasizes the importance of collecting and sharing the history of digital and physical material, to improve the reproducibility of experiments and the quality and reusability of results. Yet, the application of the current methodologies to record provenance information is largely scattered, leading to silos of provenance information at different granularities. To tackle this fragmentation, we developed the Common Provenance Model, a set of guidelines for the generation of interoperable provenance information, and to allow the reconstruction and the navigation of a continuous provenance chain. This work presents the first version of the model, available online, based on the W3C PROV Data Model and the Provenance Composition pattern.
- MeSH
- biologické vědy * MeSH
- reprodukovatelnost výsledků MeSH
- Publikační typ
- časopisecké články MeSH
... Brief Contents -- Prologue xix -- Part I Principles of Environmental Science 1 -- 1 Environmental Science ... ... Text and Photo Credits 531 Index 533 -- Detailed Contents -- Part I -- Principles of Environmental Science ... ... 1 -- 1 Environmental Science: Meeting the Challenge 2 -- A Modem Response to the Environmental Crisis ... ... 3 -- What Is Environmental Science? ... ... -- Ecology is a Subversive Science/William Tucker 82 Ecology is a Neutral Science/Daniel D. ...
3rd.ed. 549 s.
PURPOSE: Ktrans$$ {K}^{\mathrm{trans}} $$ has often been proposed as a quantitative imaging biomarker for diagnosis, prognosis, and treatment response assessment for various tumors. None of the many software tools for Ktrans$$ {K}^{\mathrm{trans}} $$ quantification are standardized. The ISMRM Open Science Initiative for Perfusion Imaging-Dynamic Contrast-Enhanced (OSIPI-DCE) challenge was designed to benchmark methods to better help the efforts to standardize Ktrans$$ {K}^{\mathrm{trans}} $$ measurement. METHODS: A framework was created to evaluate Ktrans$$ {K}^{\mathrm{trans}} $$ values produced by DCE-MRI analysis pipelines to enable benchmarking. The perfusion MRI community was invited to apply their pipelines for Ktrans$$ {K}^{\mathrm{trans}} $$ quantification in glioblastoma from clinical and synthetic patients. Submissions were required to include the entrants' Ktrans$$ {K}^{\mathrm{trans}} $$ values, the applied software, and a standard operating procedure. These were evaluated using the proposed OSIPIgold$$ \mathrm{OSIP}{\mathrm{I}}_{\mathrm{gold}} $$ score defined with accuracy, repeatability, and reproducibility components. RESULTS: Across the 10 received submissions, the OSIPIgold$$ \mathrm{OSIP}{\mathrm{I}}_{\mathrm{gold}} $$ score ranged from 28% to 78% with a 59% median. The accuracy, repeatability, and reproducibility scores ranged from 0.54 to 0.92, 0.64 to 0.86, and 0.65 to 1.00, respectively (0-1 = lowest-highest). Manual arterial input function selection markedly affected the reproducibility and showed greater variability in Ktrans$$ {K}^{\mathrm{trans}} $$ analysis than automated methods. Furthermore, provision of a detailed standard operating procedure was critical for higher reproducibility. CONCLUSIONS: This study reports results from the OSIPI-DCE challenge and highlights the high inter-software variability within Ktrans$$ {K}^{\mathrm{trans}} $$ estimation, providing a framework for ongoing benchmarking against the scores presented. Through this challenge, the participating teams were ranked based on the performance of their software tools in the particular setting of this challenge. In a real-world clinical setting, many of these tools may perform differently with different benchmarking methodology.
- MeSH
- algoritmy MeSH
- kontrastní látky * MeSH
- lidé MeSH
- magnetická rezonanční tomografie * metody MeSH
- reprodukovatelnost výsledků MeSH
- software MeSH
- Check Tag
- lidé MeSH
- Publikační typ
- časopisecké články MeSH
[1st ed.] XII, 251 s. ; 24 cm
... 50 -- 1.7.6 Iterative calculation of pseudoinverse solutions 53 xxix -- XXX -- CONTENTS -- 1.8 REPRODUCING-KERNEL ... ... Irreducible subspaces 253 -- 6.6.4 Orthogonality of basis functions 255 -- 6.7 QUANTUM MECHANICS AND IMAGE SCIENCE ... ... 256 -- 6.7.1 Smattering of quantum mechanics 256 -- 6.7.2 Connection with image science 257 -- CONTENTS ... ... interferometer 1362 -- 19.2.4 Interferometers with multiple telescopes 1368 -- Epilogue: Frontiers in Image Science ...
Wiley series in pure and applied optics
[1st ed.] xli, 1540 s. : il.
The spinal cord plays a pivotal role in the central nervous system, providing communication between the brain and the body and containing critical motor and sensory networks. Recent advancements in spinal cord MRI data acquisition and image analysis have shown a potential to improve the diagnostics, prognosis, and management of a variety of pathological conditions. In this review, we first discuss the significance of standardized spinal cord MRI acquisition protocol in multi-center and multi-manufacturer studies. Then, we cover open-access spinal cord MRI datasets, which are important for reproducible science and validation of new methods. Finally, we elaborate on the recent advances in spinal cord MRI data analysis techniques implemented in the open-source software package Spinal Cord Toolbox (SCT).
There is great need for coordination around standards and best practices in neuroscience to support efforts to make neuroscience a data-centric discipline. Major brain initiatives launched around the world are poised to generate huge stores of neuroscience data. At the same time, neuroscience, like many domains in biomedicine, is confronting the issues of transparency, rigor, and reproducibility. Widely used, validated standards and best practices are key to addressing the challenges in both big and small data science, as they are essential for integrating diverse data and for developing a robust, effective, and sustainable infrastructure to support open and reproducible neuroscience. However, developing community standards and gaining their adoption is difficult. The current landscape is characterized both by a lack of robust, validated standards and a plethora of overlapping, underdeveloped, untested and underutilized standards and best practices. The International Neuroinformatics Coordinating Facility (INCF), an independent organization dedicated to promoting data sharing through the coordination of infrastructure and standards, has recently implemented a formal procedure for evaluating and endorsing community standards and best practices in support of the FAIR principles. By formally serving as a standards organization dedicated to open and FAIR neuroscience, INCF helps evaluate, promulgate, and coordinate standards and best practices across neuroscience. Here, we provide an overview of the process and discuss how neuroscience can benefit from having a dedicated standards body.
