中国
亚马逊云AWS官网:
Amazon SageMaker的模型构建、训练和部署,利用这些资源帮助您快速地从概念转向生产。
Amazon SageMaker 是一项完全托管的服务,可以帮助机器学习开发者和数据科学家快速构建、训练和部署模型。它完全消除了机器学习过程中各个步骤的繁重工作,让开发高质量模型变得更加轻松。
通过传统的方式创建机器学习模型,开发人员需要从数据准备过程开始,经过可视化、选择算法、设置框架、训练模型、调整数百万个可能的参数、部署模型并监视其性能,这个过程往往需要重复多次,非常繁琐且特别耗时。
Amazon SageMaker 的一些功能和组件:
- Amazon SageMaker Studio:这是首个适用于机器学习的集成开发环境(IDE)。您可以在统一的可视化界面中操作 Notebook、创建模型、管理模型试验、调试,以及检测模型偏差。
- Amazon SageMaker Notebooks:它可以加快构建和协作。许多用户使用单台服务器运行 Jupyter Notebook,但需要管理底层资源。Amazon SageMaker Notebook 可以一键启动 Jupyter Notebook,并由亚马逊云科技负责底层计算资源的托管。同时,它还支持一键共享 Notebook,方便机器学习团队协作。
- Amazon SageMaker Autopilot:这个功能实现了模型的自动构建与优化。在设计机器学习模型时,我们需要尝试不同的算法和参数集合,而找到有效的算法通常需要耗费大量时间。Amazon SageMaker Autopilot 可以自动检查原始数据、选择最佳算法参数集合、训练和调优多个模型,以及根据性能对模型进行排名,从而缩短寻找最佳模型所需的时间。
- Amazon SageMaker Debugger:它可以分析、检测和提醒与机器学习相关的问题。训练模型的过程通常是不透明的,而且耗时较长。Amazon SageMaker Debugger 可以在训练期间自动捕获实时指标,让训练流程更加透明,提高模型精度。它还会对常见问题发出告警并提供修复建议。
- Amazon SageMaker Model Monitor:它可以让模型保持精确。模型部署之后,概念漂移(concept drift)是一个常见问题。Amazon SageMaker Model Monitor 可以检测已部署模型的概念漂移,并提供详细的警报,帮助确定问题根源。
Amazon SageMaker 的功能包含模型构建、训练和部署三大部分
- 构建:Amazon SageMaker 提供了快速连接到您的训练数据所需的所有内容,从而可以轻松构建 ML 模型并为训练做好准备,并且还可以轻松为您的应用程序选择和优化最佳算法和框架。Amazon SageMaker 包含托管的 Jupyter 笔记本,您可以轻松浏览和可视化在 Amazon S3 中存储的训练数据。您可以选择直接连接到 S3 中的数据,或者使用 AWS Glue 将数据从 Amazon RDS、Amazon DynamoDB 和 Amazon Redshift 移动到 S3 ,然后在笔记本中进行分析。为了帮助您选择算法,Amazon SageMaker 包含 10 种最常用的机器学习算法,这些算法已预装好并进行过优化,与在任何其他地方运行这些算法相比,最多可以将性能提高 10 倍。Amazon SageMaker 默认配置了 TensorFlow 和 Apache MXNet,这是两种最常见的开源框架。您也可以选择使用自己的框架。
- 训练:只需单击一下,您就可以在 Amazon SageMaker 控制台中开始训练模型。Amazon SageMaker 可以管理所有底层基础设施,并且可以轻松以 PB 级扩展以训练模型。为了使训练过程更快更轻松,Amazon SageMaker 可以自动调整您的模型以达到最高的精度。
- 部署:在训练并调整模型后,Amazon SageMaker 可以轻松在生产环境中部署该模型,以便开始针对新数据运行和生成预测(该过程称为推理)。Amazon SageMaker 会在跨多个可用区的 Amazon EC2 实例自动扩展集群上部署模型以实现高性能和高可用性。Amazon SageMaker 还包含内置的 A/B 测试功能,以帮助您测试模型并试验不同的版本以获得最佳效果。
以下是创建机器学习模型的典型工作流程:
那么 Amazon SageMaker 是一项完全托管的服务,它提供了一站式的机器学习开发环境,从数据准备、模型训练到模型部署,所有这些都可以在云端完成,十分方便快捷,能够带来巨大的效能提升。
以下是 Amazon SageMaker 提供的几种机器学习开发环境:
- Amazon SageMaker Studio:允许您构建、训练、调试、部署和监控您的机器学习模型。
- 亚马逊 SageMaker 笔记本实例:允许您准备和处理数据,以及从运行 Jupyter Notebook 应用程序的计算实例训练和部署机器学习模型。
- Amazon SageMaker Studio Lab:Studio Lab 是一项免费服务,可让您在基于开源的环境中访问亚马逊云科技计算资源 JupyterLab,无需亚马逊云科技账户。
- Amazon SageMaker Canvas:使您能够使用机器学习来生成预测,而无需编写代码。
- Amazon SageMaker 地理空间:使您能够构建、训练和部署地理空间模型。
- Amazon rStud ioSageMaker:rStudio 是 R 的 IDE,它具有支持直接执行代码的控制台、语法突出显示编辑器以及用于绘图、历史记录、调试和工作区管理的工具。
对于不想处理硬件、软件和基础架构等方面问题,希望简化操作机器学习模型开发流程,灵活选择算法和模型及资源以满足不同业务需求的,可以放心的选择 Amazon SageMaker!