dmp数据管理平台是什么


随着大数据的飞速发展,大数据应用已经融入各行各业,并在许多场景中得到了商业化实践。今天,我想和大家分享关于58同城商业站内DMP平台架构与实践的一些心得。希望能够借此机会探讨如何在大数据量的情况下进行实时数据挖掘,并为在线广告系统应用提供物料等数据支持。

主要内容涵盖:

一、DMP平台简介

DMP,其实是一个数据管理平台。它的任务是将分散的多方数据进行整合,纳入统一的技术平台,并对这些数据进行标准化和细分。这样,用户就可以将这些细分结果推向现有的互动营销环境。业界代表性的产品有腾讯广点通和阿里达摩盘,它们主要提供创建细分人群、分析用户画像、种子用户拓展等功能。在58商业中,我们需要一个DMP平台来满足我们对流量的变现需求,以及对特征挖掘和特征数据服务的需求。

二、DMP平台架构

商业DMP的定位是为我们商业站内的用户提供服务,主要提供特征挖掘和特征数据服务的能力。对于开发者来说,特征挖掘平台提供了简洁、易用的开发SDK,了实时计算、批量计算、海量存储等底层细节。商业DMP的标签体系主要分为C端标签和B端标签两类。针对这两种标签,我们提供了丰富的特征数据和元数据管理,并对外提供在线和离线特征数据服务。平台的逻辑架构主要分为数据层、存储层、计算层、服务层和监控层。从数据的产生到标签的加工再到业务应用,DMP平台在整个数据流中起到了承上启下的作用。

三、DMP应用

DMP的应用广泛,例如在在线推荐系统二手车Feed流中,我们需要快速捕捉到用户的行为变化并提取用户特征。这要求DMP具备秒级加工能力,以保障Feed流系统的实时性。DMP还应用于人群服务,为营销产品提供人群圈选功能,用于智能营销场景。创建人群包的过程支持标签组合和自定义上传两种模式。

四、未来规划

未来,我们希望通过商业DMP的能力进一步为公司赋能提效。我们计划构建OneService,通过服务升级,能够对外提供统一的用户画像服务、标签管理等功能。我们计划引入Doris计算引擎,支持人群包更实时和灵活的度分析功能。

结语:我是林鹏,是58同城的大数据架构师,主要负责58同城站内DMP平台和建设的项目管理和研发工作。对实时计算、OLAP分析有一定研究。曾在百度、去哪、小米任职。希望我的分享能为大家带来一些启示和帮助。