亚洲永久免费/亚洲大片在线观看/91综合网/国产精品长腿丝袜第一页

每日經濟新聞
要聞

每經網首頁 > 要聞 > 正文

英偉達的生成式AI微服務有什么用?公司:在更小的GPU占用空間上放置相同大小的模型

每日經濟新聞 2024-03-19 19:20:02

每經記者 楊卉    實習生 卞昱媛    每經編輯 梁梟    

當地時間3月18日,在GTC(GPU Technology Conference)2024大會上,英偉達宣布推出生成式AI微服務,供開發者在已安裝NVIDIA CUDA GPU的系統中創建和部署生成式AI助手。企業可以利用這些微服務在自己的平臺上創建和部署定制應用,同時保留對知識產權的完整所有權和控制權。

據英偉達介紹,這些云原生微服務目錄在NVIDIA CUDA平臺上開發,其中包括NVIDIA NIM微服務,可適用于NVIDIA及合作伙伴生態系統中20多個熱門的AI模型進行推理優化。用戶將能夠從亞馬遜SageMaker、谷歌KubernetesEngine和微軟AzureAI中訪問NIM微服務,并與Deepset、LangChain和LlamaIndex等流行的AI框架集成;還能以NVIDIA CUDA-X微服務的形式使用NVIDIA加速軟件開發套件、庫和工具,用于檢索增強生成(RAG)、護欄、數據處理、HPC等。

根據英偉達的說法,包括Adobe、Cadence、CrowdStrike、GettyImages、SAP、ServiceNow和Shutterstock在內的諸多應用、數據和網絡安全平臺提供商已經率先使用了NVIDIA AI Enterprise5.0中提供的這些全新NVIDIA生成式AI微服務。

用更通俗的理解方式,英偉達的這些AI微服務能為企業帶來什么?3月18日,英偉達生成式AI軟件產品管理副總裁Kari Briski在媒體吹風會上提出,NIM為企業提供的是一個能夠迅速收集數據的預訓練模型,而不是預訓練數據,可以將它視為一種具有學習能力的模型。

由于在每一次優化和產品發布中,Nvidia都在大語言模型上進行一些新的優化或壓縮,NIM會幫助用戶公司節省一些成本。“舉個例子,比如我們首次發布NIM時采用的是FP16,Hopper推出后采用的則是FP8,這樣就可以在更小的GPU占用空間上放置相同大小的模型。”Kari Briski稱。

談及開源,Kari Briski還在回答《每日經濟新聞》記者提問時表示,2023年是關于探索開源模型的一年,但許多企業開發人員缺乏將開源模型以安全方式引入生產環境的能力。NIM的出現可以避免安全性漏洞,向開發人員提供簡單的API,縮短從探索到生產的時間。“我認為這將改變人工智能領域的格局,大部分企業在發現AGI后的第一年僅停留在概念驗證階段,但現在他們可以更快地將其轉化為生產。”

如需轉載請與《每日經濟新聞》報社聯系。
未經《每日經濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯系索取稿酬。如您不希望作品出現在本站,可聯系我們要求撤下您的作品。

GPU 英偉達

歡迎關注每日經濟新聞APP

每經經濟新聞官方APP

0

0