英伟达AI Foundry:为全球企业打造专属Llama 3.1生成式AI模型
作者:房家瑶
来源:硬AI
企业可以定制自己的“超级模型”,训练出符合自己特定需求的生成式AI应用程序了?
美东时间7月23日周二,英伟达宣布推出全新服务,即英伟达AI Foundry和NVIDIA NIM™推理微服务。
此前Meta发布最大开源AI模型Llama 3.1,同时英伟达AI Foundry将为全球企业提供Llama 3.1模型的定制服务,英伟达与Meta联手以增强全球企业的生成式AI能力。
1)英伟达AI Foundry
企业和国家可以使用Llama 3.1模型及英伟达的软件、计算能力和专业知识,为其特定行业创建定制的“超级模型”。这些模型可以使用企业的专有数据以及从Llama 3.1 405B和英伟达Nemotron™奖励模型生成的合成数据进行训练。
2)英伟达NIM推理微服务
适用于Llama 3.1模型的NIM推理微服务现已可下载,能够显著提升模型的推理效率,比不使用NIM时提高2.5倍。企业可以将Llama 3.1 NIM微服务与英伟达NeMo Retriever NIM微服务结合使用,创建最先进的检索管道,用于AI助手和数字人类化身等应用。
这些服务是靠英伟达DGX™Cloud AI平台支持的,该平台是英伟达与全球领先的公共云服务商合作开发的,能给企业提供非常强大的计算资源,还能根据AI需求增长按需扩展规模。
Llama 3.1是Meta公司公开提供的一系列生成式AI模型。这些模型是开放源代码的,可以被企业和开发者用来构建先进的生成式AI应用。Llama 3.1模型包括80亿、700亿和4050亿参数规模,经过超过16000个英伟达H100 Tensor Core GPU的训练,优化后适用于数据中心、云端及本地设备。
而且企业可以将Llama 3.1 NIM微服务与全新的英伟达NeMo Retriever NIM微服务配对,还可助力企业可以构建最先进的检索管道,用于各种AI应用场景,如AI副驾驶、智能助手和数字人类头像等。
通过结合Llama 3.1 NIM微服务和英伟达NeMo Retriever NIM微服务,企业可以显著提升Llama 3.1模型在生产环境中的部署和使用效率。
当前,许多企业和国家希望定制大型语言模型,以构建具备领域特定知识和本地化特点的生成式AI应用。例如,医疗公司需要AI模型理解医学术语和医疗实践,而金融公司则需要AI模型具备金融领域的专业知识。
现在医疗保健、能源、金融服务、零售、交通和电信等领域的公司已开始使用英伟达NIM微服务支持Llama。首批使用Llama 3.1的新NIM微服务的公司包括阿美石油公司(Aramco)、美国电话电报公司(AT&T)和优步(Uber)。
英伟达创始人兼首席执行官黄仁勋表示:
“Meta公开的Llama 3.1模型对于全球企业采用生成式AI是一个关键时刻。Llama 3.1为每个企业和行业开启了大门,能让它们做出最先进的生成式AI应用。英伟达AI Foundry全面融合了Llama 3.1,随时能帮企业构建和部署定制的Llama超级模型。”
Meta创始人兼首席执行官扎克伯格表示:
“新的Llama 3.1模型是开源AI迈出的极其重要的一步。借助英伟达AI Foundry,公司可以轻松创建和定制人们想要的最先进的AI服务,还能通过英伟达NIM进行部署。我很高兴能把这个交到大家手中。”
全球专业服务公司埃森哲(Accenture)率先采用NVIDIA AI Foundry,利用其AI Refinery™框架构建定制的Llama 3.1模型,既供自己使用,也为客户提供服务。埃森哲董事长兼首席执行官Julie Sweet表示:
“生成式AI正在改变各个行业,企业渴望部署由定制模型驱动的应用程序。借助英伟达AI Foundry,我们可以帮助客户快速创建和部署定制的Llama 3.1模型,推动变革性AI应用。”
1)端到端服务与合作伙伴
英伟达AI Foundry是一个综合性服务平台,它通过整合英伟达的技术资源和开放社区的力量,为企业提供快速构建AI模型的能力。
企业利用这个服务,可以选择或定制Llama 3.1模型,并使用英伟达NeMo平台以及顶尖的Nemotron-4 340B模型(该模型在Hugging Face RewardBench上排名第一)来开发自己的AI模型。
开发完成后,企业可以进一步创建NIM推理微服务,这使得他们能够在各种云平台和硬件系统上部署和运行这些AI模型,以支持其业务运营。
企业在创建自定义模型后,可以利用英伟达NIM推理微服务,在其首选的云平台和英伟达A认证系统上部署和运行这些AI模型。英伟达提供专家支持和合作伙伴生态系统,帮助企业加速AI模型从开发到实际部署的整个过程。
2)英伟达Nemotron支持高级模型定制
需要额外训练数据的企业可以结合使用Llama 3.1 405B和Nemotron-4 340B生成合成数据,提高特定领域模型的准确性。拥有自身训练数据的客户,可以通过英伟达NeMo对Llama 3.1模型进行领域自适应预训练(DAPT),进一步提高模型准确性。
英伟达和Meta的合作提供了一种方法,让开发者能够创建更小、更高效的Llama 3.1模型,这些模型可以部署在多种设备上,包括AI工作站和笔记本电脑。
3)提升检索准确性的NeMo Retriever微服务
使用全新英伟达NeMo Retriever NIM推理微服务进行检索增强生成(RAG),组织可以在生产中部署定制的Llama超级模型时提高响应准确性。这一微服务为开放和商业文本问答提供最高的检索准确性。
4)广泛的企业生态系统支持
英伟达NIM合作伙伴可以在其AI解决方案中集成新的微服务,为超过500万开发人员和19000家初创企业提供生成性AI增强功能。英伟达AI Enterprise提供对Llama 3.1 NIM和NeMo Retriever NIM微服务的生产支持。英伟达开发者计划的成员很快将能免费访问NIM微服务,以便在他们喜欢的基础设施上进行研究、开发和测试。
本文来自微信公众号“硬AI”,关注更多AI前沿资讯请移步这里