硅谷杂志：高校数据交换与共享平台的研究 |
| 2012-08-06 11:01 作者：陈倬昳 陈文杰 来源：硅谷网 HV： 编辑： 【搜索试试】
|
|
硅谷网8月6日消息 《硅谷》杂志2012年第12期刊文称,建立共享数据交换平台可以有效解决目前高校普遍存在的信息孤岛、数据不一致等问题，为学校决策分析提供支持。基于高校数据交换的总体需求，提出一个数据共享与交换的平台框架，对如何进行数据清洗和异构数据库的连接提供解决方案。
随着互联网的快速发展及应用，高校信息化建设经历了最早的单机、局域网、信息化校园等阶段。但高校在信息化校园建设过程中，由于诸多原因，应用系统数据的使用、集成和共享出现了瓶颈，随着应用的增多，“信息孤岛”也日渐突现，一定程度上制约着高校信息化建设的发展。因此，实现各应用系统之间的数据有机整合成为高校信息化校园建设急待解决的关键问题。【1】
1高校数据交换的总体需求
数据交换最重要的就是需求分析，搜集各业务子系统的数据交换需求，进行需求分析，每个业务系统的需求都形成一份需求文档。对需求进行详细地分析是进行数据交换十分重要的一点，能极大提高实施效率。高校数据交换的需求主要包括以下几点：
1）环境信息。包括共享数据库和各业务子系统数据库，记录这些数据库所在主机IP地址、操作系统、数据库的类型、版本信息、数据库用户名和密码、数据库用户的访问权限、数据库访问端口等。
2）总体需求信息。各业务系统与共享数据库之间需要交换的信息，包括需要描述业务系统提供哪些数据给共享数据库，以及共享数据库应该提供哪些数据给信息服务，并且要描述数据在集成到其他系统后的应用场景。
3）数据详细信息。需要详细记录交换中源表（或视图）和目标表的表结构、字段映射关系、字段详细信息、源与目标字段的转换关系、集成方式、数据集成周期等。
2数据共享与交换平台的架构
以校园网络为支撑，通过共享数据交换平台将物理上独立的各个业务系统有机联系起来，形成逻辑上的高度集成的数据共享和交换中心【2】。如图1所示。
图1数据共享与交换平台的架构
如上图所示，把数据共享与交换平台架构设计成五个层次：
1）基础设施层。该层提供底层的基础设施，包括服务器设备、运行的操作系统、存放数据的存储设备和网络环境等等。
2）原始信息层。该层为共享数据库提供学校内各类基础数据，由学校各部处和院系现有的各种业务处理应用系统组成。这些各类应用子系统中的数据就是共享集成所需的数据源。
3）公共数据层。该层存放用于共享的公共数据集，在学校统一信息标准规范下，这些公共数据集用于向上层提供信息服务。其中历史库通过学校统一的信息标准转换后导入到共享库中。数据仓库则是根据业务需求，对信息进行深加工，为管理部门提供数据挖掘和决策支持。
4）信息服务层。该层用于实现各种业务应用服务。高校可以根据需求，建立以人为中心或者以业务活动为中心的全局服务模型，这些全局性的信息可用于共享、查询、统计、决策支持和报表分析等。
5）服务展现层。该层主要通过校园信息门户网站来体现，校园信息门户是信息化校园的信息集中展示平台，可以整合集成学校业务范围的各种信息服务。
3数据清洗
基于信息化校园的大背景下，高校数据中心中的数据通常是从不同的数据源抽取后存入的。业务子系统越多，数据量越大，数据质量【3】的问题就越明显。数据清洗【4】的任务就是提高数据质量，从而保证数据的准确性、一致性、符合各类信息应用服务的需求。
数据清洗可以分为三个阶段：1）原始应用层：即在数据源所在的应用程序环境中进行数据清洗；2）ETL层【5】：即在数据进行整合转换时进行数据清洗；3）目标数据库层：即在数据装入目标数据库后进行清洗。本文在后续章节中主要讨论在ETL层中实现数据清洗。
4数据交换的实现
4.1异构数据库的连接
ODI是Oracle公司推出的一款数据集成工具，可以进行各种异构数据源的集成，目前大多数高校都使用ODI工具进行数据集成交换。ODI是通过JDBC连接上构数据库的。下面列举几种常用的JDBC：
1）Oracle数据库：
oracle.jdbc.driver.OracleDriver
url：jdbc:oracle:thin:@[IP]:[端口]:[SID]
2）SQLServer数据库：
com.microsoft.jdbc.sqlserver.SQLServerDriver
url：jdbc:microsoft:sqlserver://[IP]:[端口];DatabaseName=[库名]
3）MySQL数据库：
com.mysql.jdbc.Driver
jdbc:mysql://192.168.0.1:3306/[Mysql数据库名]?user=[用户名]
$password=[密码]
4）DB2数据库：
com.ibm.db2.jcc.DB2Driver
jdbc:db2://localhost:50000/sample
5）Sybase数据库：
com.sybase.jdbc2.jdbc.SybDriver
jdbc:sybase:Tds:localhost:5007/myDB
4.2数据清洗的实现
在ODI平台上进行清洗可以通过两种方法进行实现。第一种使用ODI自带的约束手段进行清洗；第二种方法，对于特殊要求的清洗，需要使用清洗算法进行实现的，可以使用Jython语言在ODI平台自定义开发一个KM【6】，即知识模块。
1）ODI自带的约束手段主要针对源表中数据，为了保证数据的实体完整性和参照完整性，常用的有PRIMARYKEY、NOTNULL、UNIQUE、FROEIGHKEY和CHECK等五种约束手段。在ODI的图形化模块里被可视化成三个条件约束，Reference（表关联），Key（主键），Conditon（筛选条件），这样操作可以更直观，更方便。其中，增加主键可以用来检测数据的唯一性，增加表关联可以用来检测数据的参照完整性，设置筛选条件可以用于过滤数据。
2）对于需要加入清洗算法进行清洗数据的，可以通过自定义开发CKM来实现。CKM主要用作数据记录一致性检查以及定义约束关系，主要用于两处：
①检查静态数据一致性：此类CKM作用于模型，通过设立约束条件，可以清洗、过滤数据，只按需集成所需数据，例如通过添加CKM，只取年龄大于21的学生数据。
②在加载过程中检查数据：此类CKM在接口中使用，做数据流程过程中的数据控制，通过将Designer中FLOW_CONTROL选项改为是，可以启用此CKM，另外CKM会在临时区域创建前缀为E$的错误表存放非法数据。
5结语
本文是以共享数据库与业务子系统之间的交换需求为出发，以提供高校高质量的数据进行统计和决策分析为目的，提出建立高校数据交换平台，设计了一个数据交换的平台框架，详细介绍了多数据源的连接方法，最后对如何进行数据清洗以提高数据质量提供了解决方案。（原文载于《硅谷》杂志2012年第12期，硅谷网及《硅谷》杂志版权所有，未经允许禁止转载）
|
|
|
|
【对“硅谷杂志：高校数据交换与共享平台的研究”发布评论】 |
版权及免责声明：
① 本网站部分投稿来源于“网友”，涉及投资、理财、消费等内容，请亲们反复甄别，切勿轻信。本网站部分由赞助商提供的内容属于【广告】性质，仅供阅读，不构成具体实施建议，请谨慎对待。据此操作，风险自担。
② 内容来源注明“硅谷网”及其相关称谓的文字、图片和音视频，版权均属本网站所有，任何媒体、网站或个人需经本网站许可方可复制或转载，并在使用时必须注明来源【硅谷网】或对应来源，违者本网站将依法追究责任。
③ 注明来源为各大报纸、杂志、网站及其他媒体的文章，文章原作者享有著作权，本网站转载其他媒体稿件是为传播更多的信息，并不代表赞同其观点和对其真实性负责，本网站不承担此类稿件侵权行为的连带责任。
④ 本网站不对非自身发布内容的真实性、合法性、准确性作担保。若硅谷网因为自身和转载内容，涉及到侵权、违法等问题，请有关单位或个人速与本网站取得联系（联系电话：01057255600），我们将第一时间核实处理。
|
|
|
|
