临床经验 Open Access
Copyright ©The Author(s) 2012. Published by Baishideng Publishing Group Inc. All rights reserved.
世界华人消化杂志. 2012-10-18; 20(29): 2855-2859
在线出版日期: 2012-10-18. doi: 10.11569/wcjd.v20.i29.2855
慢性便秘患者报告临床结局评估量表条目池的建立和筛选
金洵, 丁义江, 丁曙晴, 王玲玲, 倪敏, 张华, 王丽雯, 刘妮妮, 王静
金洵, 王玲玲, 王丽雯, 刘妮妮, 南京中医药大学中医学一级学科 江苏省南京市 210046
丁义江, 丁曙晴, 倪敏, 王静, 南京中医药大学第三附属医院肛肠科 江苏省南京市 210001
张华, 东南大学公共卫生学院 江苏省南京市 210009
金洵, 主要从事盆底障碍性疾病的中医药治疗的研究.
基金项目: 江苏高校优势学科建设工程基金资助项目, No. YS2012ZYX412; 南京中医药大学中医学一级学科开放课题基金资助项目, No. 210046; 南京市卫生局青年启动基金资助项目, No. QYK11134.
作者贡献分布: 此课题由金洵、丁义江、丁曙晴及王玲玲设计; 临床数据采集由倪敏、王丽雯、刘妮妮及王静操作完成; 统计分析由金洵与张华完成; 论文撰写由金洵完成.
通讯作者: 丁义江, 主任医师, 210001, 江苏省南京市金陵路1号, 南京中医药大学第三附属医院肛肠科. jinxun917@sina.com
电话: 025-52276742
收稿日期: 2012-07-19
修回日期: 2012-09-10
接受日期: 2012-10-16
在线出版日期: 2012-10-18

目的: 建立慢性便秘报告临床结局(patient-reported outcome, PRO)评估量表(patient-reported outcome of chronic constipation rating scale, CC-PRO)条目池, 对条目池进行初步筛选.

方法: 以患者为中心, 遵循PRO量表制作指南(FDA, 2009), 在中医理论指导下建立病证结合的综合指标体系, 具体研究方法如下: (1)提出量表理论模型, 包括4个维度: 生理(慢性便秘特有症状和证侯效应指标)、心理、社会和满意度; (2)通过文献法和访谈法, 对慢性便秘患者自觉感受的相关描述进行典型收集, 共96个条目, 建立条目池初稿; (3)通过第一轮专家问卷和患者问卷对条目进行初次筛选, 剩余63个条目; (4)按照量表条目设定要求对条目进行合并、删除和修改, 实现条目池优化; (5)建立条目池, 含45个条目, 包括生理维度29项、心理维度9项、社会维度3项和满意度4项, 并对条目量化; (6)进行第二轮专家问卷, 根据专家意见修改条目及量化方法, 剩余43个条目; (7)量表语言调适和要素完善, 建立量表初稿; (8)量表初稿预调查, 通过条目分布法、离散程度法、相关系数法、因子分析法、判别分析法和克郎巴赫α系数法对条目二次筛选; (9)确定量表评分方法; (10)建立CC-PRO V2.0.

结果: 量表条目池由96条削减为32条. CC-PRO V2.0最终含32个条目, 其中生理维度慢性便秘特有症状指标10条, 生理维度证侯效应指标9条, 心理维度指标9条, 社会维度指标2条, 满意度指标2条.

结论: 量表条目池的建立和筛选按照多种方法进行, 全面反映慢性便秘的内涵, 且语言通俗易懂, 具有较好的内容效度, 为CC-PRO正式版的制定奠定基础.

关键词: 慢性便秘; 量表; 报告临床结局; 条目池; 条目筛选

引文著录: 金洵, 丁义江, 丁曙晴, 王玲玲, 倪敏, 张华, 王丽雯, 刘妮妮, 王静. 慢性便秘患者报告临床结局评估量表条目池的建立和筛选. 世界华人消化杂志 2012; 20(29): 2855-2859
Construction and screening of the item pool for the Patient-Reported Outcome of Chronic Constipation rating scale
Xun Jin, Yi-Jiang Ding, Shu-Qing Ding, Ling-Ling Wang, Min Ni, Hua Zhang, Li-Wen Wang, Ni-Ni Liu, Jing Wang
Xun Jin, Ling-Ling Wang, Li-Wen Wang, Ni-Ni Liu, Department of Traditional Chinese Medicine, Nanjing University of Chinese Medicine, Nanjing 210046, Jiangsu Province, China
Yi-Jiang Ding, Shu-Qing Ding, Min Ni, Jing Wang, Nanjing Hospital of Traditional Chinese Medicine, Nanjing 210001, Jiangsu Province, China
Hua Zhang, Southeast University, Nanjing 210009, Jiangsu Province, China
Supported by: the Priority Academic Program Development of Jiangsu Higher Education Institutions, No. YS2012ZYX412; the Open Project of Department of Traditional Chinese Medicine of Nanjing University of Chinese Medicine, No. 210046; and the Youth Fund of Nanjing Municipal Health Bureau, No. QYK11134.
Correspondence to: Yi-Jiang Ding, Chief Physician, Nanjing Hospital of Traditional Chinese Medicine, 1 Jinling Road, Nanjing 210001, Jiangsu Province, China. jinxun917@sina.com
Received: July 19, 2012
Revised: September 10, 2012
Accepted: October 16, 2012
Published online: October 18, 2012

AIM: To construct and screen the item pool for the Patient-Reported Outcome of Chronic Constipation rating scale (CC-PRO).

METHODS: Following the FDA guidelines on PRO, the synthetic index system combining symptom with syndrome was developed under the guidance of TCM theory. The theoretical mode of the questionnaire was established, including four domains: physiology (specific symptom of chronic constipation and effect index of syndrome), psychological, society and satisfaction. Through literature search and interview, typical feelings of patients with chronic constipation, which included 96 items, were collected to establish the first draft of item pool. After screening the items using the first expert and patient questionnaire, 63 items were retained. The item pool was then optimized by combining, deleting and revising the items according to the setting request of the questionnaire. The item pool containing 45 items, including physiology domain (29 items), psychological domain (9 items), society domain (3 items), and satisfaction domain (4 items), was obtained, and quantification of the item was performed. The presentation and quantification of the item were then modified using the second expert questionnaire, and 43 items were retained. After accomplishing language polishing and consummating the important elements of the questionnaire, the first draft of the questionnaire was obtained. Pre-investigation was then performed to screen the items for the second time on item distribution, dispersion degree, coefficient correlation, factor analysis, discriminating analysis and Cronbach α. The scoring method of the questionnaire was then determined, and the Patient-Reported Outcome of Chronic Constipation rating scale V2.0 was finally developed.

RESULTS: The item pool was composed of 96 items. After the preliminary screening, there were 32 items remained, which consisted of 10 items on specific symptom of chronic constipation, 9 for effect index of syndrome, 9 for psychological domain, 2 for society domain and 2 for satisfaction domain.

CONCLUSION: The establishment and screening of CC-PRO were implemented through a variety of ways. The preliminary items completely cover the body function, psychological function, and society function of patients and systematically reflect the connotation of chronic constipation, and the easy-to-understand language also contributes to good content-related validity.

Key Words: Chronic constipation; Rating scale; Patient-reported outcome; Item pool; Item screening


0 引言

慢性便秘发病率较高, 给患者造成巨大的精神和经济负担. 中医药在预防和治疗该疾病方面有一定优势, 且经济成本较低. 但目前中医药治疗慢性便秘的疗效评估缺乏公认标准, 且不能体现中医药治疗的有效作用点. 随着医学模式的改变, 综合评价患者主观感受、功能状态和生存质量的报告临床结局(patient-reported outcome, PRO)[1]指标成为疗效评价的热点, 慢性便秘适合运用PRO疗效评估方法. 但慢性便秘PRO和生存质量测评量表国内尚无研制, 国外量表经翻译引进, 尚需进行科学性考评和文化调适, 且有文化依赖性. 因此有必要研制符合中国文化背景、反映中医药治疗有效作用点、关注患者生存质量的慢性便秘PRO评估量表(patient-reported outcome of chronic constipation rating scale, CC-PRO). 条目是构成量表的重要元素, 条目的建立对构建量表具有非常重要的意义, 现将CC-PRO条目池的建立和筛选过程报告如下.

1 材料和方法
1.1 材料

研究工作组分为核心小组和议题小组. 核心小组主要由肛肠病学、公共卫生学、心理学等方面的7名专家组成, 负责具体的研究设计与实施工作; 议题小组由肛肠科、消化科和心理科高年资医师、临床流行病学人员、临床研究生、肛肠科护士、慢性便秘患者及家属、正常人群组成, 负责条目搜集和提出.

1.2 方法

1.2.1 备选指标的确定和条目池的形成 初步建立的条目池要求条目尽量全面, 研究方法包括: (1)文献法: 以"便秘"为关键词查阅1999/2009中国知识资源总库(CNKI)和PubMed上的相关文献; 查阅《结肠与直肠外科学》、《Constipation》等书籍的相关章节. 查阅患者报告临床结局和生存质量测评工具数据库[2](patient-reported outcome and quality of life instrument database, ProQolid)中关于便秘的量表, 包括CAS(constipation assessment scale, CAS)[3]、NBD score(neurogenic bowel dysfunction score, NBD)[4]、PAC-QOL(patient assessment of constipation quality of life questionnaire, PAC-QOL)[5]和PAC-SYM(patient assessment of constipation symptoms, PAC-SYM)[6,7]. 将文献中报道的关于慢性便秘的所有症状纳入条目池; (2)访谈法: 采用半结构化深度访谈, 从生理、心理、社会和满意度4个方面对慢性便秘患者自觉感受的相关描述进行典型收集. 访谈共涉及51例慢性便秘患者、10名慢性便秘患者家属和10名肛肠科医护人员, 每次访谈时间最短20 min, 最长1 h主要在门诊和病房进行. 结合临床实际, 经核心小组反复逐条讨论, 形成CC-PRO最初的条目池.

1.2.2 条目筛选方法: (1)专家问卷调查对象: 遴选条件为长期从事中医、中西医结合、西医肛肠专业的临床医师, 具有中级以上职称、经验丰富并有一定知名度. 遴选专家的地域分布包括东北、华北、华东、中南、西北, 具有广泛的地域代表性. 调查内容: 专家问卷为自填方式, 采用半封闭型, 请专家对相关条目在慢性便秘临床结局评估中的重要性作出判断. 分为3个等级: 不重要、重要、非常重要, 对应分值为1、2、3分. 问卷设计附加栏, 让专家充分发表自己的意见和提出建议; (2)患者问卷调查对象: 符合RomeⅢ诊断标准的慢性便秘患者, 病程>6 mo, 近3 mo有症状发作, 经肠镜、钡灌肠等检查排除肠道器质性疾病; 患者能理解并回答问题, 可表达自主意愿, 具备一定文字阅读能力; 患者知情同意并自愿参加本研究. 调查内容: 参照心理测量学研究方法[8], 设计半开放式问卷, 请患者对相关症状的出现频率作出判断. 分为3个等级: 没有、有时、经常, 对应分值为1、2、3分. 问卷设计附加栏, 让患者充分发表自己的意见; (3)核心小组专家讨论, 根据量表条目设定要求, 参考患者和专家反馈意见, 将条目归类、合并和删除, 使之代表性好、独立性强、敏感性高, 通俗易懂, 便于理解和操作, 形成条目池初稿. 对条目池进行量化, 采用频率和程度相结合的多参数综合量化, 包括: (1)以症状出现频繁, 反复发作者为重; 偶尔出现者为轻; (2)如果症状不是偶尔出现, 则结合考察症状的性质和程度. 难忍或明显者为重, 可耐受或隐作者为轻. 频率和程度所赋分值的总和即该指标的积分值. 具体量化方法以Likert 5点分级法为主, 辅以视觉模拟刻度法, 指标分级尽可能借鉴已有的公认标准. 完善量表基本要素, 如题目、卷首语、填写说明和条目编号等; 完成语言调适, 对难以理解或不同患者理解相差较大的条目进行修改, 整理形成《CC-PRO V1.0》, 用于临床预调查, 以进一步筛选条目; (3)《CC-PRO V1.0》预调查对象: 2010-05/2010-08南京市中医院、厦门市中医院、湖州市中医院肛肠科和沈阳市肛肠医院门诊及住院的慢性便秘初诊患者, 纳入标准同患者问卷. 调查方法采用《CC-PRO V1.0》进行临床调查, 删除条目的步骤包括: 首先用条目分布法、离散程度法、相关系数法、因子分析法、判别分析法和克郎巴赫α系数法进行条目筛选; 6种方法均选入的条目为必选条目, 入选5次的条目应用专家经验法进一步筛选. 具体如下: 条目分布法删除任一答案的选择率超过80%的条目; 离散程度法删除标准差<0.8的条目[9]; 相关系数法删除Pearson相关系数<0.3的条目[10]; 因子分析法; 删除各因子负荷系数<0.4的条目及因子负荷系数相近而无特异性的条目[9]; 判别分析法删除无统计学差异的条目(P>0.05). 再由课题组专家根据上述所有条目的分析与筛选结果, 结合专业意义进行综合判定.

统计学处理 调查资料进行整理和编码, 采用Epidata3.1软件进行资料数据的双录入, 采用SPSS16.0软件进行分析. 剔除数据缺失在5%以上的问卷.

2 结果
2.1 条目池建立结果

通过文献法和访谈法, 课题组综合归纳所有研究对象提供的信息, 形成CC-PRO最初的条目池, 含条目96条.

2.2 条目筛选结果

2.2.1 专家问卷: (1)一般情况: 共发放问卷120份, 回收98份, 其中合格问卷72份. 72位专家涉及8个省、直辖市, 平均年龄44.13岁±8.37岁, 副主任医师以上职称52位, 占72.2%; (2)条目筛选情况: 条目得分均数<2, 满分比<0.5, 变异系数>0.4, 将该指标删除, 包括大便带有黏液、排便时或排便后肛门出血.

2.2.2 患者问卷: (1)一般情况: 共发放问卷107份, 回收102份, 其中合格问卷93份. 93位患者中男30例, 女63例; 年龄19-73岁, 平均48.83岁±17.17岁; 病程0.6-35年, 平均7.99年±8.04年; (2)条目筛选情况: 条目均数<2, 满分比<0.5, 则将该指标删除, 如需要用手挤压阴道或直肠部位帮助排便、感到肛门疼痛和身体沉重像灌满了东西等. 患者问卷中均数接近2或满分比接近50.0%的条目交付课题组外肛肠科或消化科高年资医师, 每个条目征询3位专家意见, 如建议保留的专家数<2, 则将该指标删除, 如上完厕所后觉得全身无力手脚发软和对生活没有积极的态度等. 根据专家问卷和患者问卷结果, 从普遍性、代表性和重要性角度筛选指标, 量表剩余条目63项.

2.2.3 核心小组专家讨论: 根据量表条目设定要求, 参考专家和患者反馈意见, 经议题小组综合、分析、讨论, 量表条目优化如下: (1)修改条目: 如部分患者对排便存在错误认识, 认为必须每天排便, 否则就对排便频率不满意. 因此用"大便的次数太少"作为评估指标各患者尺度不同, 不能准确反映疗效, 改为"您的排便频率是多少?"; 部分患者对"频率"一次不能理解, 故改为"您的排便次数是多少?"; (2)合并条目: 如"排便费力, 需要用力挤出"和"越用力越解不出大便"均属排便费力, 只是对费力的程度描述不同, 故可合并为"您排便费力吗?"; (3)删除条目: 如"排便没有畅快感"和"排便不规律"是对诸多排便困难症状的总体描述, 有重复之嫌, 故可删除; (4)补充条目: 如部分充盈性溢粪或粪嵌塞实质是慢性便秘, 但表现为大便难控制, 故增加条目"您会控制不住大便而出现大便漏出的情况吗?".

经上述步骤, 量表剩余45个条目, 分为4个维度, 包括生理维度29项、心理维度9项、社会维度3项及满意度4项. 量表要素和语言调适完成后, 对条目及其量化方法进一步分析、比较、讨论、修改, 最终整理形成《CC-PRO V1.0》

2.3 《CC-PRO V1.0》预调查

共发放问卷433份, 回收433份, 其中合格问卷421份. 421位患者男114例, 女307例; 年龄18-75岁, 平均47.5岁±15.01岁; 病程1-30年, 平均7.5岁2±7.36年. 条目筛选情况如下: (1)条目分布法: 从答案选择来看, 3项的任一答案选择率超过80%, 答案呈偏态分布, 故删除条目; (2)离散程度法: 利用离散程度法删除标准差<0.8的条目7项; (3)相关系数法: 每个条目与量表总分进行相关性分析, 删除Pearson相关系数<0.3的条目9项. 每个条目与其所在维度总分进行相关性分析, 删除Pearson相关系数<0.3的条目, 按此法无删除条目; (4)因子分析法: 删除各因子负荷系数<0.4的条目及因子负荷系数相近而无特异性的条目5项; (5)判别分析法: 对便秘患者和正常人群的量表条目进行t检验, 删除无统计学差异的条目17项(P>0.05). 将量表总分高低排序, 得分最高的27%为高分组, 得分最低的27%为低分组, 对两组的量表条目进行t检验, 以考察量表条目的敏感性. 删除无统计学差异的条目3项(P>0.05); (6)克郎巴赫α系数法: 去掉条目后α系数上升, 说明此条目存在有降低该维度内部一致性的作用, 故予删除条目7项.

6种方法均选入的条目为必选条目, 入选5次的条目经研究小组及专家讨论保留5项; 2项治疗满意度评估条目, 部分患者填写时理解错误, 故测评存在误差, 但考虑其在患者问卷和第2轮专家问卷中权重较大, 故暂予保留. 以上入选条目共同组成CC-PRO V2.0.

2.4 《CC-PRO V2.0》

CC-PRO V2.0经上述方法指标筛选(表1), 最终含32个条目, 由4个维度、7个方面构成. 4个维度包括: 生理维度(19条)、心理维度(9条)、社会维度(2条)和满意度(2条). 其中生理维度分为慢性便秘特有症状和证侯效应指标2方面; 心理维度分为对疾病的调适、情绪和心境2方面; 满意度分为健康自我评价和治疗满意度2方面.《CC-PRO V2.0》尚需进行信度、效度和反应度等科学性考评.

表1 CC-PRO V2.0的指标筛选.
筛选次数方法 意义筛选后条目数
1文献法、访谈法建立最初的条目池96
2专家问卷、患者问卷删除意见集中程度和协调程度较差的指标63
3核心小组专家讨论修改理解困难或有歧义的条目;将测量内容类似的条目合并或删除;根据专业理论和实践, 删除非特异性指标45
4CC-PRO V1.0预调查分别从敏感性、代表性、独立性、区分能力和内部一致性角度筛选指标32
5CC-PRO V2.0性能评价信度、效度和反应度等科学性考评
3 讨论

CC-PRO是辨证与辨病相结合, 以患者为中心, 从多个侧面进行的综合评价指标体系, 其条目池由以下几方面构成: (1)"病"公认的常规疗效评定指标; (2)证侯效应指标[11]; (3)生存质量评定指标. CC-PRO条目池的建立和筛选过程按照FDA规定的PRO量表制作标准化进程完成. 条目池的筛选以患者为中心, 在既往文献和临床研究的基础上, 参考目前公认并广泛应用的疾病专用量表和普适性量表条目, 广泛听取研究小组意见, 保证量表条目的有效性和全面性. CC-PRO的条目均是通过医生观察采集或患者自我报告而得, 无法用仪器或其他手段直接进行精确测量, 属于软指标, 具有主观性、非线性、多维性、动态性和模糊性, 因此软指标的筛选和设计是课题研究的关键问题和难点, 宜根据指标初筛和优化的不同阶段采用适宜的方法进行. 所选指标必须具备以下特征[12]: (1)代表性: 各层次指标对所选各层次特征能较好表达; (2)确定性: 指标值确定, 且在评价中有确切含义; (3)区别能力: 指标值有一定波动范围, 不同评价等级间有差距; (4)互相独立: 选入的指标各有其用, 相互不能代替. 软指标筛选过程中需注意, 证侯相关指标包括效应指标和属性指标两大类. 属性指标与辨证诊断相关, 但不适宜参与疗效评价, 如体胖臃肿与痰湿证、齿落发脱与肾虚证等; 效应指标能敏感反映该疾病对患者生存质量的影响. 因此CC-PRO中的证侯相关指标必须是证侯效应指标, 才能体现中医疗效评估的客观性和真实性.

本研究通过专家问卷、患者问卷、核心小组专家讨论和量表初稿预调查条目分析法对量表条目进行综合筛选, 最终由96条削减为32条. 由于严格按照条目筛选步骤和统计学分析, 某些难于取舍的条目亦作出稳定、可靠的选择, 保证了条目筛选的科学性和合理性, 为《CC-PRO V2.0》的科学性考评奠定基础.

评论
背景资料

目前中医药对慢性便秘的疗效评价标准不统一, 主要存在以下问题: (1)缺乏统一标准, 研究结果无可比性; (2)缺乏量化指标, 疗效评价模糊; (3)引用西医疗效评价标准, 不能体现中医药治疗的优势; (4)出现很多自拟标准, 假阳性较高, 缺乏合理性, 难被国际公认. 因此有必要研制符合中国文化背景、反映中医药有效作用点、关注患者生存质量的慢性便秘PRO评估量表.

同行评议者

任粉玉, 教授, 主任医师, 延边大学附属医院消化内科

研发前沿

慢性便秘PRO和生存质量测评量表国内尚无研制, 国外已开发4篇, 其中CAS和NBD尚未有中文版; PAC-SYM虽经翻译和文化调适, 但尚未进行新量表的科学性考评; PAC-QOL中文版经Mapi Research Trust授权, 已完成效度、信度和反应度考评, 但不能体现中国文化背景和中医关注的内容, 其条目选择与量化方法亦存在一定问题, 尚不能准确反映中国慢性便秘患者的生存质量.

相关报道

Mapi Research Trust授权的便秘患者生存质量自评量表PAC-QOL中文版必须经过效度、信度及反应度等专业检测才可在国内使用. 但引进量表反映西方文化及价值观, 虽经文化调适, 仍不一定适用于中国患者, 且不能体现中医药治疗的优势, 所以尚有一定局限性.

创新盘点

患者为中心, 遵循PRO量表制作指南(FDA 2009), 在中医理论指导下建立病证结合的综合指标体系. 量表条目池的建立和筛选按照多种方法进行, 如文献法、访谈法、专家问卷、患者问卷及临床预调查等, 全面反映慢性便秘的内涵, 且语言通俗易懂, 具有较好的内容效度, 为CC-PRO正式版制定奠定基础.

名词解释

患者报告临床结局(PRO): 由患者报告反映其健康状况的临床结局指标, 所有信息均直接来源于患者, 而不受临床医生和研究者的影响.

同行评价

本研究目的明确, 方法可行, 具有一定的临床参考价值及使用价值.

编辑:翟欢欢 电编:鲁亚静

1.  1 Guidance for industry: patient-reported outcome measures: use in medical product development to support labeling claims: draft guidance Health Qual Life Outcomes. 2006;4:79.  [PubMed]  [DOI]
2.  Emery MP, Perrier LL, Acquadro C. Patient-reported outcome and quality of life instruments database (PROQOLID): frequently asked questions. Health Qual Life Outcomes. 2005;3:12.  [PubMed]  [DOI]
3.  McMillan SC, Williams FA. Validity and reliability of the Constipation Assessment Scale. Cancer Nurs. 1989;12:183-188.  [PubMed]  [DOI]
4.  Krogh K, Christensen P, Sabroe S, Laurberg S. Neurogenic bowel dysfunction score. Spinal Cord. 2006;44:625-631.  [PubMed]  [DOI]
5.  Wang JP, Duan LP, Ye HJ, Wu ZG, Zou B. Assessment of psychological status and quality of life in patients with functional constipation. Zhonghua Neike Zazhi. 2008;47:460-463.  [PubMed]  [DOI]
6.  Wicks P, Keininger DL, Massagli MP, de la Loge C, Brownstein C, Isojärvi J, Heywood J. Perceived benefits of sharing health data between people with epilepsy on an online platform. Epilepsy Behav. 2012;23:16-23.  [PubMed]  [DOI]
7.  Frank L, Kleinman L, Farup C, Taylor L, Miner P. Psychometric validation of a constipation symptom assessment questionnaire. Scand J Gastroenterol. 1999;34:870-877.  [PubMed]  [DOI]
8.  吴键, 石凤妍, 臧传丽, Marta Fulop, 白学军. 当代大学生对竞争认识的调查研究. 心理科学. 2007;30:293-296.  [PubMed]  [DOI]
9.  何 庆勇, 王 阶, 张 允岭, 王 师菡, 杨 戈. 基于患者报告的临床结局评价量表的条目筛选方法. 中华中医药杂志. 2011;26:112-114.  [PubMed]  [DOI]
10.  Kaplan RM 心理测验原理应用和问题. 北京: 机械工业出版社 2010; 149-150.  [PubMed]  [DOI]
11.  熊 宁宁, 罗 玫, 蒋 萌, 刘 芳, 邹 建东, 符 为民. 中药临床试验的适应证侯设计与疗效评价. 中国临床药理学与治疗学. 2003;6:715-716.  [PubMed]  [DOI]
12.  刘 建平 循证中医药临床研究方法. 北京: 人民卫生出版社 2009; 125-138.  [PubMed]  [DOI]