PB级结构化日志数据的高效处理

案例来源:涛思数据
会议地点:上海
分享时间: 2020-07-18 15:50-16:50

陶建辉  |

涛思数据 创始人

陶建辉,1986年考入中国科大,1994年到美国印第安纳大学攻读天体物理博士,曾在美国芝加哥Motorola、3Com等公司从事无线互联网的研发工作,在高可靠分布式系统、即时通信、消息队列等方面,是顶尖的技术专家。2008年回到北京创办和信,专注移动互联网IP Push和IP实时消息服务,2010年和信被台湾联发科收购。2013年再度创业,创办快乐妈咪,专注母婴智能硬件和母婴健康服务,2016年初快乐妈咪被太平洋网络收购。2017年5月又再次走向战场,创办涛思数据,专注时序空间数据的实时高效的处理,其自主研发的产品物联网大数据平台TDengine比其他业内标杆性能好10倍以上,可广泛运用于物联网、车联网、工业大数据等领域。2019年7月,TDengine开源,在GitHub全球趋势排行榜上连续几天排名第一。

课程概要

案例背景:
在IT运维、智能驾驶、工业互联网等场景,每天都要采集海量的结构化日志数据,这些数据采用传统的Hadoop系列工具来处理,都面临着开发成本高、运行效率低、运维复杂等问题。除互联网大厂外,一般传统企业都难以组建一支大数据团队来应对这些挑战,投入产出不成正比。

解决思路:
涛思数据针对结构化日志数据(时序数据)的特点,开发了独有的处理引擎TDengine,集时序数据库、缓存、消息队列、流式计算、订阅等系列功能于一体,而且无论是数据插入、简单查询还是数据聚合的性能,相对Hadoop系统,都是10倍以上的提升。

成果:
TDengine的核心代码已经开源,star超过11K,fork数2900,issues数接近2000,收到开发者的高度好评。目前上线的免费用户已经超过100家,付费客户超过30家。

听众收益

1:了解结构化日志数据的特点
2:如何高效的插入数据
3:如何高效的做实时聚合查询
4:分布式系统的设计
5:零运维管理是如何做到的

陶建辉  |

涛思数据 创始人

陶建辉,1986年考入中国科大,1994年到美国印第安纳大学攻读天体物理博士,曾在美国芝加哥Motorola、3Com等公司从事无线互联网的研发工作,在高可靠分布式系统、即时通信、消息队列等方面,是顶尖的技术专家。2008年回到北京创办和信,专注移动互联网IP Push和IP实时消息服务,2010年和信被台湾联发科收购。2013年再度创业,创办快乐妈咪,专注母婴智能硬件和母婴健康服务,2016年初快乐妈咪被太平洋网络收购。2017年5月又再次走向战场,创办涛思数据,专注时序空间数据的实时高效的处理,其自主研发的产品物联网大数据平台TDengine比其他业内标杆性能好10倍以上,可广泛运用于物联网、车联网、工业大数据等领域。2019年7月,TDengine开源,在GitHub全球趋势排行榜上连续几天排名第一。

课程概要

案例背景:
在IT运维、智能驾驶、工业互联网等场景,每天都要采集海量的结构化日志数据,这些数据采用传统的Hadoop系列工具来处理,都面临着开发成本高、运行效率低、运维复杂等问题。除互联网大厂外,一般传统企业都难以组建一支大数据团队来应对这些挑战,投入产出不成正比。

解决思路:
涛思数据针对结构化日志数据(时序数据)的特点,开发了独有的处理引擎TDengine,集时序数据库、缓存、消息队列、流式计算、订阅等系列功能于一体,而且无论是数据插入、简单查询还是数据聚合的性能,相对Hadoop系统,都是10倍以上的提升。

成果:
TDengine的核心代码已经开源,star超过11K,fork数2900,issues数接近2000,收到开发者的高度好评。目前上线的免费用户已经超过100家,付费客户超过30家。

听众收益

1:了解结构化日志数据的特点
2:如何高效的插入数据
3:如何高效的做实时聚合查询
4:分布式系统的设计
5:零运维管理是如何做到的

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2020 Msup