天元MegEngine深度学习框架正式开源
Brain++ 新一代AI生产力平台
旷视Brain++是由旷视研究院自主研发的新一代 AI 生产力平台,致力于帮助企业和开发者提升AI生产效率、规范生产流程。Brain++的核心能力包括数据的处理、清洗和管理能力,算力的共享、调度和分布式能力,算法的训练、推理及部署能力,目前,旷视正通过逐步开源核心框架、开放算力和数据平台的形式,为企业客户和广大开发者提供规模化AI生产能力。
发展历程
旷视Brain++的核心深度学习框架天元(MegEngine)启动研发。为满足旷视日益增长的业务需求,MegData数据管理平台启动研发。
MegCompute深度学习云计算平台项目启动,解决不断增长的集群管理、算力调度等问题;MegEngine全量支持旷视内深度学习任务,多卡加速比较同期开源框架快10倍以上。
旷视深度学习研发业务的服务器全量切换至MegCompute深度学习云计算平台进行管理。
包含MegEngine、MegData、MegCompute的Brain++三位一体概念正式提出,并获得”世界互联网先进成果”称号。
Brain++启动开源、开放计划,并正式开源自研深度学习框架天元MegEngine,同时开放数据和算力平台,为客户提供一站式 AI 生产全流程服务。
全流程AI生产力平台
核心模块
天元MegEngine
天元MegEngine诞生于并于3月开源,是Brain++的最为核心组件,也是全新一代的工业级深度学习开源框架。天元可帮助开发者用户借助友好的编程接口,进行大规模深度学习模型训练和部署。架构上天元具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层,可极大简化算法开发流程,实现了模型训练速度和精度的无损迁移,支持动静态的混合编程和模型导入,内置高性能计算机视觉算子,尤其适用于大模型算法训练。
训练推理一体动静合一兼容并包灵活高效
MegData
旷视MegData是旷视研究院原创自研的人工智能数据管理平台,全面覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度。以数据生产为起点,支持不同业务场景和训练方式对数据进行处理和标注。平台提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程,同时对多种非结构化数据提供在线标注能力,通过标准化标注流程实现对标注数据、标注任务、标注人员、标注进度、标注质量和标注工具的统一管理,为AI模型训练提供高质量训练数据。同时,MegData设计了多重的数据安全功能,以保障数据的安全和隐私。
高效专业安全稳定
MegCompute
分布式深度学习平台MegCompute是旷视自主研发的大规模人工智能算力平台,提供E级算力资源调度、EB级海量数据存储管理、400G RDMA高速骨干网络。其中包含基础设施、数据存储、计算调度、上层服务等功能模块。通过分布式集群管理最大化提高资源利用率,算法生产全流程服务化使训练过程更加高效。
400G RDMA异构资源池灵活的任务调度算法生成全流程