开源项目介绍 | Angel-高性能分布式机器学习平台

浅浅的花香味﹌ 2022-10-17 01:38 242阅读 0赞

2021腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

报名提交项目Proposal

a7c31aa8534ef7c632c05f1db4968ccf.gif

105b9561a8f40e2e7b49aa5175a4cdb6.png

Angel项目介绍

6c2644ce042e8a3d79dfc32e1255e3fe.png

Angel-高性能分布式机器学习平台,是腾讯研发并开源的面向企业级应用的高性能分布式机器学习平台。

Angel支持特征工程、模型构建、参数训练、AutoML、模型服务Serving等全栈机器学习服务,提供机器学习、深度学习、图神经网络等多种算法,支持级万亿级超大规模参数模型的训练,已在生产业务系统中大规模部署。

7d23deda9251eae04ec5c799593671d6.png

aa8ef5056e70376abe82d6da7e6347ff.png

Angel项目导师介绍

format_png

欧阳文、李晓森

Angel开源项目技术负责人

导师寄语:

“Angel是腾讯自研的高性能分布式机器学习和图计算平台。通过学习这个项目,你将了解顶级分布式机器学习平台架构设计原理以及AI算法落地细节,轻松玩转机器学习和图计算,对之后的学习和工作都大有益处。”

56b49bdd815bb9521fbfdca68e2f2f2e.png

d4c7d9af33c71fea1b70633943c4ff90.png

Angel相关资料

????*Angel项目地址:*https://github.com/Angel-ML/angel

????PyTorch on Angel:https://github.com/Angel-ML/PyTorch-On-Angel

????Angel简介、设计、算法文档:https://github.com/Angel-ML/angel/blob/master/README.md

60e5dc236a85b4193124aa62e159c342.png

33c5ead592bdf2bfbb359b9afa3facfa.png

Angel项目实战任务

编程任务

【题目一】

基于PyTorch On Angel实现S-GCN图神经网络算法;

参考论文 :https://arxiv.org/pdf/1902.07153.pdf

内容:
S-GCN通过简化GCN非线性计算从而提高训练速度,在许多超大规模图场景中得到了广泛应用。

预备知识:
1.S-GCN论文 https://arxiv.org/pdf/1902.07153.pdf
2.Java , Python, Scala
3.PyTorch /Spark / Angel

预期结果:
1.基于PyTorch On Angel实现S-GCN算法
2.在多种数据集如cora.cites上有高效的训练性能以及F1-Score等关键指标
3.文档和测试

你将收获:
1.理解图神经网络算法的实现逻辑,熟悉PyTorch、Angel、Spark等组件功能
2.分布式系统的性能优化实践经验

【题目二】

基于PyTorch On Angel实现MMoE多任务学习算法模型

内容:

MMoE模型可以从数据中学习建模任务间的相关性,在许多真实场景中得到大规模的应用,如在电影推荐中不仅推荐用户可能观看的电影,还需要优化用户对电影的喜爱程度的预估;结合两个任务推荐的电影,最有可能满足用户需求和推荐目的。

预备知识:
1.MMoE论文 https://dl.acm.org/doi/pdf/10.1145/3219819.3220007
2.Java , Python, Scala
3.PyTorch /Spark / Angel

预期结果:
1.基于PyTorch On Angel实现MMoE算法
2.在多种数据集(例如MMoE论文中的数据集)上有高效的训练性能、正确的AUC等关键指标

3.文档和测试

你将收获:
1.理解图神经网络算法的实现逻辑,熟悉PyTorch、Angel、Spark等组件功能
2.分布式系统的性能优化实践经验

cce761cdea036b0495d7ba4f01202e57.png

扫码填写问卷报名,提交项目proposal

加入开发实战

与导师一起成长这一夏

96c1d83c3f0aff2ff1296ba53ad920cd.png

Angel开源项目交流群

1635775689c4730a3b8ff91c9aeeb4cb.png

更多开源项目信息,

尽在“腾讯犀牛鸟开源人才社区”

扫码加入,解锁所有学习资料

00bcbaf73f6e50f5cc248390019678d5.png

????学生指南Q&A:https://github.com/Tencent/OpenSourceTalent/issues/14

????官方QQ群:859260607 (加群请备注学校+专业)


腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

(点击文末阅读原文直接访问)

合作或疑问欢迎联系:tencentopen@tencent.com

6c41587fc09550008a00e83a374ddc14.png

发表评论

表情:
评论列表 (有 0 条评论,242人围观)

还没有评论,来说两句吧...

相关阅读

    相关 机器学习的11个开源项目

    继机器学习与数据挖掘领域的十大经典算法在被提出之后,机器学习领域的十一个用的最多的开源项目也问世了。最近,在InfoWorld上,这十一个开源项目被公布出来,并且收到了广泛的关

    相关 开源机器学习项目

    一提到垃圾邮件过滤、人脸识别、推荐引擎,我们就会想到:当你有一个大数据集并且希望利用它们执行预测分析和模式识别,机器学习是必经之路。这门科学,计算机可以在没有事先规划的前提下自