SSIS数据交换实施

SSIS数据交换实施

基于SSIS技术实现SAP、SQL Server、文件数据库的数据整合治理服务

数据仓库 企业信息化 制药 ETL 数据集成

 

SSIS数据交换实施

基于SSIS技术实现SAP、SQL Server、文件数据库的数据整合治理服务

SSIS(SQL Server Integration Services)是Microsoft SQL Server的一个组件,用于数据集成、转换和加载(ETL)过程。ETL代表提取(Extraction)、转换(Transformation)和加载(Loading),它是将数据从各种源系统提取出来,经过必要的清洗、转换和聚合后,加载到目标系统中的过程。

SSIS提供了一个平台和工具集,用于创建、管理和执行数据处理任务。它允许用户从不同的数据源中提取数据,并对数据进行转换、清洗和加载,然后将数据传送到目标系统中。这些数据源可以是各种关系型数据库(如SQL Server、Oracle、MySQL)、平面文件(如CSV、Excel)、XML文件、Web服务等。

在SSIS中,数据流任务(Data Flow Task)用于执行数据的转换和处理。数据流任务包括源组件(Source)、转换组件(Transformation)和目标组件(Destination),用户可以在其中配置不同的数据转换和操作。

此外,SSIS还提供了控制流任务(Control Flow Task),用于定义包的执行逻辑和流程控制。控制流任务包括顺序容器(Sequence Container)、条件分支(Conditional Split)、循环容器(Loop Container)等,用于指定任务的执行顺序、条件分支和循环。

SSIS还提供了丰富的功能和特性,如参数化配置、错误处理、包部署和调度、性能优化等。用户可以使用SQL Server Agent、SSMS(SQL Server Management Studio)或其他调度工具来调度和运行SSIS包。采用微软SQL Server数据库组件SSIS作为ETL工具,实现业务系统数据集成到数仓

  • 数据仓库采用SQL Server 2016,部署到本地IDC机房

  • SSIS部署到Azure云端,具有7*24监控机制

  • 数据源包括SQL Server, SAP, EXCEL

  • Portal导入数据、更新数据、日志管理,软件界面语言中文

  • 建设内容包括:

  • SSIS抽取EXCEL数据并分发到业务系统数据库

  • Portal管理建设

  • IDC数据库本机备份,异机备份,云端备份

Portal定制开发

  • 用户认证与鉴权。

  • SSIS任务管理。通过SSIS应用日志获取包运行情况,为管理员提供数据同步监控能力。

  • 数据库的数据导入与导出。可导入/导出数据,用于配置管理。注意,该功能不能用作数据库备份/恢复使用,导入/导出数据限于2000条以内。

  • 操作日志记录。

数据仓库 企业信息化 制药 ETL 数据集成