课题申请下来之后,医学工作者就可以按照科研计划收集数据,并进行整理、组织了。一般来说,临床医学数据预处理包括几个方面:明确数据分析的目标、数据的分布状态、数据清洗、数据变换、数据精简。
1、数据分析的目标
数据预处理的最重要的目的就是为了提高数据的质量。而我们通过以下几个方面去评价数据的质量:数据的完整性,就是指数据是否有缺失的情况;数据的合理性,就是指数据是否在合理正常的范围内;数据的一致性,就是指数据前后的逻辑关系是否合理。而对于这些存在各种质量问题的数据,我们亦称为脏数据。不同的质量问题有不同的处理方法,而是否能够解决这些问题,对研究来说至关重要。因为你很难从一份质量很差的数据得到任何有说服力的结果。
2、数据的分布状况
①均值
②中值
③众数
④全距
⑤四分位数
⑥标准差
⑦缺失数
3、数据清洗
数据清理就是指发现并纠正数据中可以识别的错误,包括检查数据的一致性、处理无效、缺失、重复值。而缺失值则是一个很常见的问题,在一些队列研究的随访记录,往往很难保证数据百分之一百的完成,因此缺失值的处理是一门艺术。限于篇幅,今天就先不展开。
数据一致性可以有不同理解,例如数据有两个变量,分别记录了研究对象的出生日期和年龄,这两个变量似乎是一样的,但是还是有细微的区别,例如,知道出生日期,不论什么时候用到这个变量,都可以很轻松的根据当前日期计算该对象的年龄,可以精确到日,而年龄则多数为收集信息时就定下来的,倒不是说年龄这个变量没有用,只是有些时候,这个变量更直接一点,对于临床医生也更容易掌握。但是如果这两者无法对应,则至少有一个是错误的。
4、数据变换
数据变换则是在完成数据清理之后的过程。所谓数据变换就是指原数据不能满足各方面的要求,将数据从一种形式变为另一种的过程。转换类型有分类型-数值型,数值型-分类型,例如,将日期转化为当前年龄、各种量表的计分、评分(格拉斯哥昏迷评分法、SCL90抑郁量表等)。一般我们在录入数据的时候,就是根据量表、问卷、病历来录入,有时候这些总分或者计分在原始的记录表格中可能会没有,所以在数据分析前,需要把这些衍生变量计算出来。还有一些数据类型的转换,如在做决策树分析的时候,一般需要用分类型的变量,但是如果需要研究的变量是一个数值型变量,可能就需要考虑专业意义,得到几个数据的截点,把他转化成一个分类变量。
5、数据精简
数据精简的含义主要包括两个方面,一是从样本数精简,二是从变量上精简。精简case可以理解成保留一些数据质量较好的case,而剔除质量欠佳的,或者选择更加平衡的子样本。变量精简则是根据研究目的来筛选一些需要用于分析或者更有利于分析的变量,剔除一些无关的变量。通过数据精简能使你的数据库更加小巧,更利于临床医生去控制。
医学数据预处理可以帮助接下来的分析工作顺利进行,相反,没有进行预处理的数据非常混乱,可能影响接下来的分析工作。所以,医学工作者一定要重视对数据进行处理。
如果你对科学论文的写作还什么不懂的地方,欢迎咨询医刊汇。医刊汇的服务囊括SCI期刊和中文期刊,可以协助投稿SCI论文和医学论文,致力于论文投稿、期刊投稿、期刊查询、期刊影响因子查询、期刊论文发表、期刊数据库、论文查重和论文检测等服务。