网易猛犸发布最新版本:统一指标口径,提升接入效率

  • 时间:
  • 浏览:0

数字化时代,数据将会被其他企业视为核心资产,而对数据的使用也成为企业的核心能力之一,每家企业都希望通过数据产品支撑业务获取更大的发展空间。然而,其他企业在基础的数据平台建设上就将会面临种种挑战,网易猛犸大数据平台,依托网易大数据多年技术沉淀和实践积累,致力于为企业提供一站式大数据应用开发和数据管理平台。近日,网易猛犸最新版本正式可用,重点正确处理企业在数据系统建设过程中,遇到的指标口径不一致、数据接入波特率低、数据管理过高 灵活等难题。科技快报

集成指标系统,统一指标口径科技快报

其他企业的业务场景中,数据类型富于,应用种类繁多,然后数据指标命名却非常的自由,相同的指标名称会有多个不同的定义和口径。比如某新零售企业在供应链系统、VIPApp和商品运营系统中查询某款产品的毛利,看一遍的数据是一个 截然不同的数字,这给数据分析工作带来了极大的困扰。科技快报

网易猛犸的指标系统从业务口径、计算口径和数据来源一个 层面着手,采用统一的管理规范,含高统一入口登记、助力数据规范定义、助力数据模型规范设计等功能,并引入审批机制。一块儿,指标系统和应用系统打通,实现了多个不同的应用系统指标的管理一致性,显著提升了数据分析师的波特率。在客户的实际场景中,最终实现60 %消除指标口径不一致,指标数量减少60 %,一块儿理解一个 指标的含义时间缩短60 %。科技快报

统一查询服务,提升数据接入波特率科技快报

通过指标系统正确处理数据不一致、口径不一致的难题,指标系统创建维度、指标、模型和应用,而统一查询服务可用于构建我们之间的关系并支持调用接口查看数据。科技快报

网易猛犸的统一查询服务通过数据 API、访问日志、授权认证、支持多种查询引擎、支持逻辑模型等加持,一方面协助指标系统实现60 %消除指标口径不一致,每所他们面消除了数据字段变更与应用的强绑定,通过建立数据产品到指标的链路追踪,明确应用到表的访问链路,正确处理底层表暴露给数据产品,使得数据接入波特率提升10倍以上。科技快报

集成单点登录,实现子系统的全局登录和登出科技快报

网易猛犸的单点登录基于认证服务,实现了子系统的全局登录和登出。比如将会登录了猛犸平台,在登录指标系统时,不前要再次输入用户名和密码,而将会在指标系统执行登出操作,在猛犸平台也会占据 登出状况,一块儿,支持业务系统中其他子系统的登陆集成,实现多个子系统只需一套登录系统管理的目的,从而对登录状况一个 全局的把控。科技快报

自助分析功能不断完善科技快报

网易猛犸最新版的自助取数所支持的语法越发富于,在控制好每所他们权限的基础上,支持更多的SQL语法。此外,还支持SQL语法解析和表分析错误的页面行数可视化定位。自助取数的操作更加友好,由原来报错不知所云的状况,改变为对错误愿因分析定位和翻译,显著提高数据分析师的开发波特率。科技快报

查询日志中支持Yarn日志跳转。在Query的查询日志中,涉及Yarn的查询操作,提供Yarn日志链接,支持点击跳转至Yarn界面,通过App名称删剪查看执行过程。科技快报

进一步完善数据血缘的定义和查看科技快报

数据血缘是指数据产生的链路关系,有有利于帮助我们追溯数据质量产生难题的根源。网易猛犸一方面对数据血缘的定义做了进一步完善,比如支持sqoop任务数据血缘,支持MR、Spark、Script加上自定义血缘;每所他们面基于数据血缘,完善了调度的依赖功能,都前要快速推荐节点,也支持手动搜索加上,使得数据开发人员在任务调度设置时提高了工作波特率。科技快报

一块儿,在任务运维方面,任务列表支持快捷查看血缘,任务血缘支持按照层级选则,任务血缘的角度越大,更全面的展现与当前任务有关的其他任务的血缘关系。科技快报

此外,网易猛犸本次的产品更新还包括:结束了支持Spark 2.3版本,Hadoop也升级至2.9版本;数据质量稽核监控支持自定义SQL创建规则,且增加对表的质量评估功能;数仓管理页面改造,支持数仓主题域和层级的创建管理等。更多详情,请登录网易大数据官网下载白皮书了解。科技快报