Data for: Inter-rater reliability of risk of bias tools for non-randomized studies

PURPOSE: Currently, there is limited knowledge about the reliability of risk of bias (ROB) tools for assessing internal validity in systematic reviews of exposure and frequency studies. We aimed to identify and then compare the inter-rater reliability (IRR) of six commonly used tools for frequency (Loney scale, Gyorkos checklist, American Academy of Neurology [AAN] tool) and exposure (Newcastle-Ottawa scale, SIGN50 checklist, AAN tool) studies. METHODS: Six raters independently assessed the ROB of 30 frequency and 30 exposure studies using the 3 respective ROB tools. Articles were rated on a 3-level summary measure of ROB (low, intermediate, or high). We calculated an intraclass correlation coefficient (ICC) for each tool and category of ROB tool. We compared the IRR between ROB tools and tool type by inspection of overlapping ICC 95% CIs and by comparing their coefficients after transformation to Fisher Z values. We assessed criterion validity of the AAN ROB tools by calculating an ICC..., , , # GENERAL INFORMATION 1.    Title of Dataset: Inter-rater Reliability of Risk of Bias Tools for Non-Randomized Studies 2.    Author Information a.    Principal Investigator Contact Information Name: Mark Keezer Institution: Université de Montréal Address : Centre Hospitalier de l'Université de Montréal, Pavillon R R04-700 1000 Saint-Denis St., Montreal, QC, Canada, H2X 0C1 Email: [[e-mail]](mailto:[e-mail]) b.    Associate or Co-investigator Contact Information Name: Isabel Kalaycioglu Institution: Université de Montréal Email: [[e-mail]](mailto:[e-mail]) 3.    Date of data collection (single date, range, approximate date): 2020-2021 4.    Geographic location of data collection: Montréal, Québec, Canada SHARING/ACCESS INFORMATION 1.    Links to publications that cite or use the data: Kalaycioglu, I., Rioux, B., Briard, J.N. *et al.* Inter-rater reliability of risk of bias tools for non-r...研究目的：目前，针对暴露与频率研究的系统综述中，用于评估内部有效性的偏倚风险（Risk of Bias, ROB）工具的可靠性相关研究较为匮乏。本研究旨在识别六种常用工具，并比较其在频率研究（Loney量表、Gyorkos核查表、美国神经病学学会[American Academy of Neurology, AAN]工具）与暴露研究（纽卡斯尔-渥太华量表、SIGN50核查表、AAN工具）中的评定者间信度（Inter-rater Reliability, IRR）。 研究方法：6名评定者分别使用3款对应偏倚风险工具，独立评估30项频率研究与30项暴露研究的偏倚风险。纳入文献采用三级偏倚风险总结指标进行评定（低、中等或高风险）。我们针对每种工具及偏倚风险工具类别计算组内相关系数（Intraclass Correlation Coefficient, ICC）。通过观察重叠的ICC 95%置信区间（Confidence Interval, CI），以及将系数转换为Fisher Z值后进行比较，分析不同偏倚风险工具及工具类型间的评定者间信度差异。我们通过计算组内相关系数评估AAN偏倚风险工具的效标效度…… # 基本信息 1. 数据集名称：非随机研究偏倚风险工具的评定者间信度 2. 作者信息 a. 主要研究者联系方式 姓名：Mark Keezer 所属机构：蒙特利尔大学（Université de Montréal） 通讯地址：加拿大魁北克省蒙特利尔市圣丹尼斯街1000号R楼R04-700室，蒙特利尔大学附属中心，H2X 0C1 邮箱：[e-mail] b. 副研究者/合作研究者联系方式 姓名：Isabel Kalaycioglu 所属机构：蒙特利尔大学 邮箱：[e-mail] 3. 数据收集日期：2020年-2021年 4. 数据收集地理位置：加拿大魁北克省蒙特利尔市 # 共享与获取信息 1. 引用或使用本数据集的文献： Kalaycioglu, I., Rioux, B., Briard, J.N. 等. 非随机研究偏倚风险工具的评定者间信度……