数据工程平台是实现数据完整价值链的,众多数据技术的集成、工程应用、组织与管理平台,介于传统与大数据基础技术平台与终端应用系统之间。 数据工程平台是借鉴工业革命的经验,秉承以“工程化”的组织方式与技术手段,集成数据、技术、人才三种资源,实现大数据处理技术标准化、生产流水化、流程组合化、调度自动化、管理一体化,最终形成“工程化”的平台。数据工程平台可实现数据到知识的(半)自动转化的生产组织管理体系;通过数据获取,数据清理、处理、分析、知识挖掘与应用的技术工具,工业化生产组织方式及业务知识挖掘改变数据产品生产组织管理方式,帮助银行等金融机构提高基于数据进行的知识生产标准化、抽象化、流程化的逻辑设计、运行、组织、管理效率,大大降低银行运营成本,高质量响应个性化数据产品需求。
从数据获取、清洗、处理、分析、挖掘到服务从开发、运行、管理到监控,实现数据完整的价值链。
标准化自治的抽象组件,屏蔽技术细节,可灵活拼接预置输出/输出、清洗、转换、统计分析、机器学习等组件,开箱即用;支持Python、R、Java、Shell等语言的自定义扩展。
面向业务、数据、技术人员,提供不同层次的抽象视角,视角之间保持一致积木式搭建数据流,基于全员参与的合理逻辑设计,可灵活应对复杂处理需求抽象层次包括:模板化业务、具体业务、参数化技术实现、具体化技术实现、执行实现。
基于各种事件(时间、数据、命令等)灵活调度处理;自主通用分布式调度执行引擎,可委托开源框架执行(通过技术适配对接),也可自行执行。
通过统一、标准的逻辑抽象,利用自动适配技术,透明对接各种传统及大数据技术生态,实现数据逻辑抽象化、实现技术中性化,充分利用各种技术红利,同时降低应用门槛。
从数据获取、清洗、处理、分析、挖掘到服务的完整数据处理链条,并且通过扩展可以不断丰富各个阶段的个性化功能。
提供丰富的、抽象化、标准化、原子化的数据生产能力,并可灵活组合形成复杂处理逻辑,快速对应各种业务场景及其变更,保证业务需求与技术实现的一致性。
将管理的关注点与技术实现在原子处理层进行融合,切实贯彻管理规范,保障数据工程过程与最终数据产品的可视、可管、可控。
通过标准化的数据逻辑抽象、技术适配及组件引擎式架构,快速实现新技术的融入,及处理功能的扩展,从而可以快速应对不断涌现的新需求。
© 2007-2020 金电联行(北京)信息技术有限公司 版权所有 京ICP备10041486号-1 京公网安备 11010502033676号