金融数据迁移

Overview

数据迁移是金电联行依托大数据、分布式机器学习、流式计算处理等先进的技术、结合银行、金融机构对于传统数仓迁移面临的诸多问题孵化的大数据服务，通过实时数据分析，规律预测分析结果，分发“消费”的形式以及图形化工具封装API输出下游的方式，帮助完成数仓完整平滑迁移，实现实时数据与大数据平台的完美融合，帮助银行大大降低硬件成本、提升在市场营销、客户画像、风险控制等多方面的决策效率和水平、提高技术人员开发效率及业务敏捷性，实现端到端元数据全流程追溯管理。

Features

保持向前兼容，平滑转换
无需编码图形化拖拽、自由选择Spark或MapReduce框架部署，在Hadoop中分布式进行质量管控和拉链等业务逻辑、高速SQL in Hadoop 方案交给下游报表或应用做交互式查询。
同时引入分布式机器学习框架
数据计算从简单SQL升级到算法分析、然图形化拖拽，无需代码部署、数据准备与算法计算一条流水处理、交由下游系统进行挖掘应用分析处理。
实时数据处理
引入流式计算处理框架、图形化拖拽，无需代码部署、复用批次逻辑自动部署、分布式环境下实时进行数据整合和数据算法计算。
交互数据分发

Highlights

高速的数据抽取能力: 工具统一抽取、批处理和流处理同时进行、记录级的回滚操作、实时验证准确性；批处理和流处理同时进行、记录级的回滚操作、实时验证准确性。

全流程治理整合: 数据的质量策划，管理，准备、添加上下文/语义、端到端数据质量全流程管控。

统一化管理工具链: 普遍的规程，如数据质量或屏蔽、单点管理与控制、所有集成样式/角色的单一平台。

Case

温州银行大数据平台

温州银行