易宝支付数据工程的“瘦身” 促进电子支付的技术发展

近年来，电子支付业务在全球蓬勃发展。电子支付已成为人们金融生活中占有重要地位的金融形势。易宝支付与支付宝，财付通一样，是中国领先的独立第三方支付平台。对于第三方支付公司要注重数据库的稳定性、安全性和高可用性。还要完美支持海量支付交易需求。如何保证数据研发、数据科学类的产品高效产出，这也是需要解决大多数计算逻辑清晰的产品底层技术实施。针对SQL成为数据工程与数据科学领域"瘦身"的问题，与易宝支付相关技术人士进行了探讨，并做了以下梳理。

SQL优化的意义

数据库性能优化是系统生命周期中不可缺少的一环，我们大多数的数据库都或多或少遇到一些性能问题。特别是随着业务的发展、数据量的增加、系统用户数的增多、以及系统之间越来越复杂的接口，都会导致系统的性能越来越恶化。怎么样去优化一套数据库，我们需要掌握很多的知识，包括存储子系统、操作系统、数据库甚至还有业务逻辑。很多人面对性能问题不知如何下手。

好在，数据库的性能问题至少有80%以上都是由于SQL性能较差所导致，同时随着硬件性能的提升和硬件价格越来越便宜，硬件所带来的系统瓶颈相对越来越小，所以在大多数情况下，我们优化数据库也就是优化SQL语句。这意味着只要我们做好了SQL优化，我们在大多数情况下就能保证应用系统在数据库端是没有明显性能问题的。

SQL--数据技术栈中的"瘦身"

在计算机网路中，有个关于“细腰”的概念，说的是从底层硬件到顶层软件的技术栈中，中间存在各种各样异构的底层网路硬件与顶层软件。

需要一种可以承上启下，以不变应万变的东西来屏蔽掉复杂的网络请求，提供一套统一的协议来确保网络之间可以相互连接与通信。

在如下协议栈中，IP层起到了通用语言的作用，上层协议“一切基于IP”，下层协议“IP兼顾一切”。

从 2013 年国内的大数据元年开始，大数据相关领域爆发式增长，围绕 Hadoop 生态圈的产品越来越多，如分布式存储层(HDFS)、分布式数据库(HBase, Mongodb, Cassandra等)、计算层中的MapReduce、Spark、Flink、消息总线(如 Kafka)、数据应用(如报表)、交互式分析即席查询、数据挖掘、可视化工具等等。

在这样一个各层级有多种技术选型的复杂技术栈中，SQL 已经成为一种公共语言，相当于数据行业的默认的标准协议，各个层次各个组件都尽力实现一套近乎支持标准 SQL 语义的 sql layer 层作为对外交互方式。

在数据技术栈中，SQL 起到了通用语言的作用，上层“一切基于 SQL”，下层" SQL 兼顾一切"。

在数据产品的设计中，无论是数据工程还是数据科学，无论 UI 做的多灵活自然，你都不可避免的向 SQL 靠近。

数据平台其实是个很大的概念，按照毕马威的说法，企业的数据平台等价于信息平台。涉及数据的整合(数据清洗加工等)、数据治理(数据标准等)、数据应用(数据报表、交互式分析、数据挖掘、机器学习等)、数据工程，还包括数据科学。

我们在构建一个数据平台的时候，应该借鉴前人的经验，少走弯路，需要一套指导手册起到这样的"细腰"的作用，比如关于数据工程与数据科学的大作《数据即未来》, 一定程度上提供了道、术、器可被我们借鉴。

(新媒体责编：shang080503)