Clink: A linker between Flink/Alink feature engineering and C/C++ online feature serving

案例来源:360
会议地点:上海
分享时间: 2021-11-27 13:30-14:30

陈震  |

360 智能工程部总监

360智能工程部总监,负责建设360集团的AI基础设施,包括训练集群,机器学习平台和推理平台等。

课程概要

话题概述:
得益于Flink的批流一体机制和Alink的丰富算子库,基于Flink生态的特征生成和特征工程架构已在360多个业务线落地,但从基于Java栈的Flink生态上线到搜广推业务中常见的C/C++开发的特征服务的过程中,存在着语言不一致,代码重复开发,算子实现细节差异,一致性难以保证、调试困难等问题。在这个背景下,我们与阿里Flink/Alink团队合作开发了Clink。Clink主要包括两部分:使用C/C++开发了高性能的特征工程算子库libfg,可被Flink/Alink直接调用,解决编程语言和算子实现细节不一致的问题;Flink/Alink可直接导出Clink标准的特征处理模型和Pipeline,可被Clink-Serving,一个基于bRPC和libfg的高性能特征工程服务直接加载启动,避免代码重复开发和一致性问题。目前Clink已在360部分业务正式上线,基本上实现了“Batch-Steaming-Online”特征工程的一致性保证,较好地提升了算法迭代的效率。此外,Clink也将于近期正式开源,希望能帮助到有类似需求的团队和公司。

演讲题纲:
1. 基于Flink/Alink的“Batch-Streaming”特征工程方案
2. 上述方案在C++技术栈上的局限
3. Clink的解决方案
4. Clink libfg特征工程算子库
5. Clink Serving 开箱即用的高性能特征服务
6. 与Flink/Alink 的原生集成
7. Clink与在线机器学习
8. 业务应用方式和效果
9. Clink开源


话题亮点:
1. Flink和C++生态下的Batch-Steaming-Online 特征工程的一致性保证方案
2. Clink将于近期开源

听众收益

1. 为有类似需求的团队提供一种解决Batch-Steaming-Online 特征工程的一致性保证的思路
2. 为在线机器学习中复杂的实时特征工程提供一种方案
3. 提升机器学习算法的迭代效率,规范研发流程,减少线上问题

陈震  |

360 智能工程部总监

360智能工程部总监,负责建设360集团的AI基础设施,包括训练集群,机器学习平台和推理平台等。

课程概要

话题概述:
得益于Flink的批流一体机制和Alink的丰富算子库,基于Flink生态的特征生成和特征工程架构已在360多个业务线落地,但从基于Java栈的Flink生态上线到搜广推业务中常见的C/C++开发的特征服务的过程中,存在着语言不一致,代码重复开发,算子实现细节差异,一致性难以保证、调试困难等问题。在这个背景下,我们与阿里Flink/Alink团队合作开发了Clink。Clink主要包括两部分:使用C/C++开发了高性能的特征工程算子库libfg,可被Flink/Alink直接调用,解决编程语言和算子实现细节不一致的问题;Flink/Alink可直接导出Clink标准的特征处理模型和Pipeline,可被Clink-Serving,一个基于bRPC和libfg的高性能特征工程服务直接加载启动,避免代码重复开发和一致性问题。目前Clink已在360部分业务正式上线,基本上实现了“Batch-Steaming-Online”特征工程的一致性保证,较好地提升了算法迭代的效率。此外,Clink也将于近期正式开源,希望能帮助到有类似需求的团队和公司。

演讲题纲:
1. 基于Flink/Alink的“Batch-Streaming”特征工程方案
2. 上述方案在C++技术栈上的局限
3. Clink的解决方案
4. Clink libfg特征工程算子库
5. Clink Serving 开箱即用的高性能特征服务
6. 与Flink/Alink 的原生集成
7. Clink与在线机器学习
8. 业务应用方式和效果
9. Clink开源


话题亮点:
1. Flink和C++生态下的Batch-Steaming-Online 特征工程的一致性保证方案
2. Clink将于近期开源

听众收益

1. 为有类似需求的团队提供一种解决Batch-Steaming-Online 特征工程的一致性保证的思路
2. 为在线机器学习中复杂的实时特征工程提供一种方案
3. 提升机器学习算法的迭代效率,规范研发流程,减少线上问题

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2021 Msup

获取大会更多详情

立即参会
报名咨询
报名咨询
优惠门票
×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】

×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】