SageMaker 与 Hugging Face 深度合作,通过 JumpStart 一站式的 Portal 平台提供众多模型的一键集成和部署服务 SageMaker 使用流行的开源库维护深度学习容器(DLC),用于在 AWS 基础设施上托管大型模型,例如 GPT、T5、OPT、BLOOM 和 Stable Diffusion。借助这些 DLC,您可以使用 DeepSpeed、Accelerate 和 FasterTransformer 等第三方库,使用模型并行技术对模型参数进行分区,以利用多个 GPU 的内存进行推理。
- train-deploy-Llama-on-sagemaker2.ipynb
- sagemaker_endpoint_config.ipynb