打造最強(qiáng)智能體平臺(tái),最大云巨頭狂堆猛料。作者 | ZeR0編輯 | 漠影智東西拉斯維加斯12月3日?qǐng)?bào)道,在年度云計(jì)算盛會(huì)AWS re:Invent大會(huì)上,AWS Agentic AI副總裁Swami Sivasubramanian發(fā)表主題演講,詳細(xì)闡述為什么是亞馬遜云科技(AWS)構(gòu)建和運(yùn)行智能體的最佳選擇,并發(fā)布多項(xiàng)智能體(agent)開(kāi)發(fā)新工具。Strands Agents SDK智能體框架新增對(duì)Typescript和邊緣設(shè)備的支持,讓智能體構(gòu)建更輕松,并拓展至更廣泛的汽車(chē)、游戲、機(jī)器人等邊緣領(lǐng)域。Amazon Bedrock AgentCore智能體平臺(tái)推出多項(xiàng)創(chuàng)新:策略功能支持團(tuán)隊(duì)為智能體的工具使用設(shè)定邊界,評(píng)估功能幫助團(tuán)隊(duì)了解智能體在實(shí)際場(chǎng)景中的表現(xiàn),情景記憶功能讓智能體能夠從經(jīng)驗(yàn)中學(xué)習(xí)并持續(xù)優(yōu)化。Amazon Bedrock全托管AI平臺(tái)新增強(qiáng)化微調(diào)功能,提供自動(dòng)化微調(diào)能力;Amazon SageMaker AI平臺(tái)新增模型定制功能,支持深度底層調(diào)整,簡(jiǎn)化高效AI的構(gòu)建流程。Amazon SageMaker HyperPod新增的無(wú)檢查點(diǎn)訓(xùn)練功能則實(shí)現(xiàn)了大規(guī)模、低成本的訓(xùn)練,整體目標(biāo)是最大化客戶在生產(chǎn)環(huán)境中這些工作負(fù)載的價(jià)值和投資回報(bào)率(ROI)。針對(duì)構(gòu)建智能體可靠性的Amazon Nova Act服務(wù),正式版全面可用,有助于實(shí)現(xiàn)智能體大規(guī)模生產(chǎn)部署。01.Strands Agents SDK新增兩大功能,支持Typescript和邊緣設(shè)備
Strands Agents SDK是一款開(kāi)源、模型驅(qū)動(dòng)的AI智能體框架,提供模型驅(qū)動(dòng)編排,自發(fā)布以來(lái)下載量已達(dá)到529.9萬(wàn)次。今日,亞馬遜云科技宣布兩項(xiàng)新功能:一是支持Typescript(預(yù)覽版)。Typescript是全球最受歡迎的編程語(yǔ)言之一,這將讓全棧智能體應(yīng)用的構(gòu)建變得更加輕松。Strands Agents對(duì)Typescript的核心特性提供全面支持,包括類(lèi)型安全、async/await異步語(yǔ)法,以及現(xiàn)代Javascript/Typescript編程范式。開(kāi)發(fā)者可借助AWS CDK(云開(kāi)發(fā)工具包),全程使用Typescript構(gòu)建完整的智能體技術(shù)棧。二是支持邊緣設(shè)備。客戶可通過(guò)Strands Agents SDK構(gòu)建能在小型設(shè)備上運(yùn)行的自主式AI智能體,落地汽車(chē)、游戲、機(jī)器人等領(lǐng)域的智能體應(yīng)用場(chǎng)景,在現(xiàn)實(shí)世界中交付智能服務(wù)。02.Amazon Bedrock AgentCore新增策略、評(píng)估、情景記憶功能,助力下一代智能體開(kāi)發(fā)
將智能體引入生產(chǎn)困難重重,需要快速規(guī)模化部署智能體,記住過(guò)去交互和學(xué)習(xí),識(shí)別和訪問(wèn)所有智能體和工具的控制,掌握用于執(zhí)行復(fù)雜工作流的智能體工具使用,最后觀察和調(diào)試問(wèn)題。而復(fù)雜性會(huì)拖慢創(chuàng)新。如何幫助客戶大規(guī)模構(gòu)建、部署安全的生產(chǎn)級(jí)智能體?這正是Amazon Bedrock AgentCore的核心價(jià)值所在。Amazon Bedrock AgentCore是一款專(zhuān)為安全、大規(guī)模構(gòu)建和部署智能體而設(shè)計(jì)的智能體平臺(tái),兼容各類(lèi)框架和模型,于今年7月在AWS紐約峰會(huì)上首次發(fā)布預(yù)覽版,隨后快速迭代,10月已正式全面可用。企業(yè)要將智能體從原型推向生產(chǎn)環(huán)境,需要一套安全、可靠、可擴(kuò)展且適配智能體非確定性特性的專(zhuān)用基礎(chǔ)設(shè)施。智能體需要?jiǎng)討B(tài)擴(kuò)展的底層支撐,能支持長(zhǎng)期運(yùn)行的工作負(fù)載,并可即時(shí)、安全地存儲(chǔ)和檢索上下文信息。然而,當(dāng)前早期采用者需要投入大量資源從零構(gòu)建這類(lèi)基礎(chǔ)設(shè)施,過(guò)程耗時(shí)費(fèi)力,嚴(yán)重拖慢開(kāi)發(fā)周期。Amazon Bedrock AgentCore則通過(guò)提供全托管服務(wù)來(lái)解決這一挑戰(zhàn)。它包含一系列關(guān)鍵組件,提供了大規(guī)模運(yùn)行生產(chǎn)級(jí)智能體所需的種種,包括:Runtime:無(wú)服務(wù)器、安全且隔離的運(yùn)行時(shí)計(jì)算資源;Observability:可觀測(cè)性工具(開(kāi)源且兼容OpenTelemetry協(xié)議),幫助客戶了解智能體的運(yùn)行狀態(tài);Memory:記憶功能,讓智能體能夠長(zhǎng)期與用戶互動(dòng),記住過(guò)往交互內(nèi)容,從而構(gòu)建智能、個(gè)性化的應(yīng)用;Code Interpreter:代碼解釋器,讓智能體能夠通過(guò)編寫(xiě)代碼訪問(wèn)以往無(wú)法使用的工具;Gateway:網(wǎng)關(guān)功能,支持連接AWS內(nèi)外系統(tǒng);Managed Browser與Identity:網(wǎng)絡(luò)使用權(quán)限和身份認(rèn)證功能,明確智能體的身份及其代表的主體,這與治理和可觀測(cè)性密切相關(guān)。客戶既可以使用Amazon Bedrock Agent構(gòu)建智能體,也可以結(jié)合任何開(kāi)源智能體構(gòu)建框架。目前該平臺(tái)已獲得廣泛采用,迄今開(kāi)發(fā)者下載量已超過(guò)200萬(wàn)次。在此基礎(chǔ)上,Bedrock AgentCore新增兩項(xiàng)新功能:一是Policy in AgentCore,策略功能,為智能體的操作設(shè)定明確邊界。通過(guò)獨(dú)立于智能體代碼的實(shí)時(shí)確定性控制,主動(dòng)攔截未授權(quán)的智能體操作。企業(yè)只需用自然語(yǔ)言描述規(guī)則即可創(chuàng)建精細(xì)化策略,可以為智能體定義策略(可訪問(wèn)的工具和數(shù)據(jù)、可執(zhí)行的操作、適用條件等),比如“當(dāng)報(bào)銷(xiāo)金額超過(guò)1000美元時(shí),拒絕所有客戶的退款申請(qǐng)” 之類(lèi)的策略。這些策略會(huì)在智能體執(zhí)行前進(jìn)行評(píng)估,確保智能體始終在設(shè)定的規(guī)則邊界內(nèi)運(yùn)行。二是AgentCore evaluation,評(píng)估功能,幫助開(kāi)發(fā)者基于智能體的行為持續(xù)檢測(cè)其質(zhì)量,確保其行為符合預(yù)期。AgentCore評(píng)估功能無(wú)需管理復(fù)雜基礎(chǔ)設(shè)施,提供了13種預(yù)置評(píng)估器,覆蓋正確性、實(shí)用性、工具選擇準(zhǔn)確性、安全性、目標(biāo)達(dá)成率、上下文相關(guān)性等常見(jiàn)質(zhì)量維度。開(kāi)發(fā)者還可靈活使用自己偏好的大語(yǔ)言模型和提示詞,編寫(xiě)自定義評(píng)估器。三是AgentCore Memory Episodic Functionality,情景記憶功能,自動(dòng)保存交互過(guò)程中的關(guān)鍵事件和狀態(tài),助力智能體從過(guò)往經(jīng)驗(yàn)中學(xué)習(xí),提升決策水平。它包含短期記憶和長(zhǎng)期記憶。短期記憶用于記錄當(dāng)前的交互過(guò)程,幫助智能體了解與用戶或操作者的實(shí)時(shí)互動(dòng)狀態(tài);長(zhǎng)期記憶用于追蹤長(zhǎng)期的交互歷史。情景記憶則能在這些記憶基礎(chǔ)上,疊加特定交互場(chǎng)景的上下文信息,讓智能體能夠給出更智能的建議。舉個(gè)實(shí)際例子:假設(shè)有一個(gè)預(yù)訂智能體,你第一次使用時(shí),它為你預(yù)訂了車(chē)輛,并預(yù)留了45分鐘的趕航班時(shí)間,但你當(dāng)時(shí)因照顧家人和孩子而錯(cuò)過(guò)了航班,不得不重新預(yù)訂。借助情景記憶,系統(tǒng)會(huì)記錄下這次交互經(jīng)歷。當(dāng)你6個(gè)月后再次預(yù)訂航班時(shí),智能體將記得你需要更多的準(zhǔn)備時(shí)間,會(huì)自動(dòng)為你預(yù)留2小時(shí)的車(chē)輛預(yù)訂窗口,而非45分鐘。這一功能已深度集成到AgentCore中。這些功能的核心目標(biāo),都是加速智能體從想法到大規(guī)模生產(chǎn)落地的進(jìn)程。03.Amazon Bedrock與SageMaker AI新功能:簡(jiǎn)化模型定制流程,構(gòu)建更快速高效的智能體
隨著智能體應(yīng)用的普及和生產(chǎn)環(huán)境中模型規(guī)模的擴(kuò)大,效率已成為客戶必須關(guān)注的核心問(wèn)題。企業(yè)客戶在使用現(xiàn)成模型時(shí)面臨一種挑戰(zhàn):這些模型功能強(qiáng)大,但往往未針對(duì)效率和規(guī)模進(jìn)行優(yōu)化,最終導(dǎo)致不必要的成本支出、響應(yīng)速度變慢以及資源浪費(fèi)。而效率并不僅僅關(guān)乎成本,它涉及多個(gè)關(guān)鍵因素:延遲(智能體能否快速響應(yīng),實(shí)現(xiàn)實(shí)時(shí)互動(dòng))、擴(kuò)展性(能否應(yīng)對(duì)預(yù)期的高負(fù)載)、敏捷性(能否根據(jù)應(yīng)用演進(jìn)和客戶交互快速迭代調(diào)整)。解決這一問(wèn)題的關(guān)鍵在于定制化:通過(guò)定制小型專(zhuān)用模型,處理智能體最常執(zhí)行的工作,以更低成本實(shí)現(xiàn)更快、更精準(zhǔn)的響應(yīng)。但在此之前,強(qiáng)化學(xué)習(xí)等先進(jìn)定制技術(shù)需要深厚的機(jī)器學(xué)習(xí)專(zhuān)業(yè)知識(shí)、龐大的基礎(chǔ)設(shè)施支持,且開(kāi)發(fā)周期長(zhǎng)達(dá)數(shù)月。對(duì)此,亞馬遜云科技宣布Amazon Bedrock與Amazon SageMaker AI推出全新功能,以便開(kāi)發(fā)者運(yùn)用先進(jìn)的模型定制技術(shù)。1、Reinforcement Fine-tuning in Amazon Bedrock:強(qiáng)化微調(diào),提升模型準(zhǔn)確率亞馬遜云科技宣布Amazon Bedrock的一項(xiàng)新的強(qiáng)化微調(diào)功能——Reinforcement Fine-Tuning(RFT)。該功能簡(jiǎn)化了模型定制流程,核心目標(biāo)是讓客戶無(wú)需具備深厚的機(jī)器學(xué)習(xí)和AI模型開(kāi)發(fā)專(zhuān)業(yè)知識(shí),就能輕松提升模型準(zhǔn)確率。其相比基礎(chǔ)模型平均可提升66%的準(zhǔn)確率,幫助客戶無(wú)需依賴龐大昂貴的模型,而是通過(guò)更小、更快、更具成本效益的模型,獲得更優(yōu)結(jié)果。操作流程很簡(jiǎn)便:開(kāi)發(fā)者選擇基礎(chǔ)模型,指定調(diào)用日志或上傳數(shù)據(jù)集,選擇獎(jiǎng)勵(lì)函數(shù),然后Amazon Bedrock中的自動(dòng)化工作流會(huì)全程處理微調(diào)流程,以最大化獎(jiǎng)勵(lì)函數(shù)的結(jié)果。如此一來(lái),客戶無(wú)需專(zhuān)業(yè)知識(shí),就能獲得更貼合自身需求的定制化模型。發(fā)布初期,Amazon Bedrock強(qiáng)化微調(diào)功能將支持Amazon Nova 2 Lite模型,后續(xù)將逐步兼容更多模型。2、Model Customization in Amazon SageMaker AI:模型速度更快、成本更低、準(zhǔn)確率更高還有一類(lèi)客戶是領(lǐng)域?qū)<遥M麑?duì)AI工作流擁有更多控制權(quán)。雖然Amazon Bedrock的強(qiáng)化微調(diào)功能非常便捷,但部分客戶希望深入底層進(jìn)行自定義調(diào)整,因此亞馬遜云科技在用于大規(guī)模訓(xùn)練和定制模型的平臺(tái)SageMaker AI中新增了Model Customization深度模型定制功能。SageMaker AI自2017年推出以來(lái),一直是客戶進(jìn)行AI和機(jī)器學(xué)習(xí)模型開(kāi)發(fā)的核心平臺(tái)。為了滿足客戶的深度定制需求,亞馬遜云科技讓這一過(guò)程在SageMaker中變得更加簡(jiǎn)單:客戶無(wú)需管理基礎(chǔ)設(shè)施,可為其生成合成數(shù)據(jù),助力提升應(yīng)用效果。亞馬遜云科技提供了兩種體驗(yàn)?zāi)J剑阂皇侵悄荏w驅(qū)動(dòng)模式(預(yù)覽版):通過(guò)智能體引導(dǎo)開(kāi)發(fā)者完成模型定制流程。客戶用自然語(yǔ)言描述需求后,智能體將全程引導(dǎo)完成定制流程,從生成合成數(shù)據(jù)到模型評(píng)估無(wú)一不包。二是自主引導(dǎo)模式:適合喜歡自主操作、希望獲得精細(xì)化控制和靈活性的開(kāi)發(fā)者。這種模式無(wú)需管理基礎(chǔ)設(shè)施,同時(shí)提供合適的工具供開(kāi)發(fā)者選擇定制技術(shù),并能調(diào)整相關(guān)參數(shù)。通過(guò)這兩種模式,開(kāi)發(fā)者都能運(yùn)用先進(jìn)的定制技術(shù),包括基于AI反饋的強(qiáng)化學(xué)習(xí)、帶可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)、監(jiān)督式微調(diào)及直接偏好優(yōu)化。SageMaker AI新增功能將支持Amazon Nova以及Llama、Qwen、DeepSeek、gpt-oss等熱門(mén)開(kāi)源模型。亞馬遜云科技希望通過(guò)多樣化的界面,為專(zhuān)業(yè)客戶提供所需的全部功能、控制權(quán)和靈活性,讓客戶能夠定制模型,以最低成本獲得最佳性能,并根據(jù)自身專(zhuān)業(yè)水平和偏好的工作模式提供適配的解決方案。04.SageMaker HyperPod無(wú)檢查點(diǎn)訓(xùn)練:數(shù)分鐘內(nèi)從模型訓(xùn)練故障中恢復(fù)
在與客戶合作進(jìn)行模型定制和訓(xùn)練的過(guò)程中,亞馬遜云科技意識(shí)到仍有改進(jìn)空間,模型訓(xùn)練成本高昂且流程繁瑣。通常,客戶需要運(yùn)行大型GPU集群,這些集群運(yùn)行時(shí)成本不菲,閑置或故障時(shí)損失更大,無(wú)法開(kāi)展有效工作。為解決這一問(wèn)題,亞馬遜云科技開(kāi)發(fā)了Amazon SageMaker HyperPod。它是SageMaker中的托管訓(xùn)練功能,是目前大規(guī)模模型訓(xùn)練成本最低的方案之一, 能最大化集群運(yùn)行時(shí)間,讓客戶在進(jìn)行訓(xùn)練和定制任務(wù)時(shí),充分發(fā)揮集群的價(jià)值。Amazon SageMaker HyperPod簡(jiǎn)化了模型訓(xùn)練與部署的基礎(chǔ)設(shè)施管理,最高可降低40%成本。當(dāng)訓(xùn)練規(guī)模擴(kuò)展至數(shù)百或數(shù)千個(gè)加速器時(shí),可能會(huì)出現(xiàn)硬件或軟件故障等問(wèn)題。傳統(tǒng)基于檢查點(diǎn)的恢復(fù)方式耗時(shí)最長(zhǎng)可達(dá)1小時(shí),不僅成本高昂、占用存儲(chǔ)資源,還會(huì)導(dǎo)致價(jià)值數(shù)百萬(wàn)美元的計(jì)算集群在恢復(fù)期間處于閑置狀態(tài)。對(duì)此,亞馬遜云科技宣布SageMaker HyperPod推出Checkpointless Training無(wú)檢查點(diǎn)訓(xùn)練功能。該功能無(wú)需人工干預(yù),即可在數(shù)分鐘內(nèi)自動(dòng)從基礎(chǔ)設(shè)施故障中恢復(fù),使包含成千上萬(wàn)張AI加速器的集群訓(xùn)練效率最高可達(dá)95%。對(duì)于大型長(zhǎng)期運(yùn)行的任務(wù),重啟和重跑極其痛苦。而無(wú)檢查點(diǎn)訓(xùn)練徹底改變了這一模式:系統(tǒng)自動(dòng)記錄所有操作,若發(fā)生故障,可在幾分鐘內(nèi)快速恢復(fù),客戶能迅速繼續(xù)工作。當(dāng)故障發(fā)生時(shí),系統(tǒng)會(huì)自動(dòng)替換故障組件,并通過(guò)從鄰近正常加速器進(jìn)行模型和優(yōu)化器狀態(tài)的點(diǎn)對(duì)點(diǎn)傳輸來(lái)恢復(fù)訓(xùn)練。這一機(jī)制大幅縮短了停機(jī)時(shí)間。這不僅降低了整體運(yùn)營(yíng)成本,還能讓客戶更快地將定制模型部署到生產(chǎn)環(huán)境。它真正實(shí)現(xiàn)了,無(wú)論客戶需要多大的規(guī)模,都能以簡(jiǎn)單、經(jīng)濟(jì)、可靠的方式完成訓(xùn)練。05.Amazon Nova Act正式發(fā)布:構(gòu)建可靠智能體,實(shí)現(xiàn)UI工作流程自動(dòng)化
當(dāng)智能體應(yīng)用和這些工作流部署運(yùn)行后,可靠性就成為了核心要求。每個(gè)企業(yè)都有希望自動(dòng)化的流程,但他們需要的,是可預(yù)測(cè)、可靠、可規(guī)模化的自動(dòng)化,而這一點(diǎn)靠企業(yè)自身很難實(shí)現(xiàn)。為了簡(jiǎn)化這一過(guò)程,亞馬遜云科技構(gòu)建了一套端到端服務(wù)Amazon Nova Act,幫助開(kāi)發(fā)者構(gòu)建、部署和管理大量可靠的智能體,實(shí)現(xiàn)生產(chǎn)環(huán)境用戶界面(UI)工作流程的自動(dòng)化。企業(yè)使用智能體進(jìn)行自動(dòng)化時(shí),通常都是針對(duì)屏幕和界面的自動(dòng)化操作,而Amazon Nova Act的設(shè)計(jì)初衷就是讓這類(lèi)開(kāi)發(fā)更簡(jiǎn)單,同時(shí)保障可靠性和規(guī)模化部署能力。今年早些時(shí)候,亞馬遜云科技發(fā)布了Amazon Nova Act研究預(yù)覽版。為了將智能體投入生產(chǎn)環(huán)境,亞馬遜構(gòu)建了一個(gè)完全集成的解決方案,用于實(shí)現(xiàn)可用于生產(chǎn)環(huán)境的可靠瀏覽器自動(dòng)化。今日,Amazon Nova Act正式版即日起全面可用。該服務(wù)與Amazon Nova、Bedrock和AgentCore深度集成,讓客戶能夠輕松構(gòu)建可靠的智能體。它能夠大規(guī)模地提供超過(guò)90%的任務(wù)可靠性,同時(shí)與其他AI框架相比,還能更快實(shí)現(xiàn)價(jià)值,并簡(jiǎn)化部署過(guò)程。客戶可在自己選擇的任何開(kāi)發(fā)環(huán)境中構(gòu)建這些應(yīng)用,系統(tǒng)支持部署大量并行的UI智能體,這些智能體依托模型,具備高可靠性。Amazon Nova Act基于定制的Amazon Nova 2 Lite模型,能夠出色地驅(qū)動(dòng)瀏覽器、支持API調(diào)用,并在必要時(shí)將問(wèn)題升級(jí)至人工處理。該服務(wù)具備Web質(zhì)量保證(QA)測(cè)試、數(shù)據(jù)錄入、數(shù)據(jù)提取和結(jié)賬流程等核心功能。如今大多數(shù)模型都是獨(dú)立訓(xùn)練的,與執(zhí)行任務(wù)的協(xié)調(diào)器和執(zhí)行器分離,這降低了可靠性。Amazon Nova Act采用不同的方法,利用強(qiáng)化學(xué)習(xí),讓智能體在模擬真實(shí)世界用戶界面的定制合成環(huán)境(Web Gym)中運(yùn)行。這種模型、協(xié)調(diào)器、工具和SDK的垂直集成,以及所有組件的同步訓(xùn)練,實(shí)現(xiàn)了規(guī)模化下更高的任務(wù)完成率。最終得到的智能體系統(tǒng)不僅偶爾有效,而且能夠大規(guī)模可靠運(yùn)行,并具備推理和適應(yīng)變化的能力。Amazon Nova Act將適配客戶使用的各種集成開(kāi)發(fā)環(huán)境(IDE)。它是一套可擴(kuò)展的框架,完全適配客戶的開(kāi)發(fā)習(xí)慣,同時(shí)讓客戶能夠輕松實(shí)現(xiàn)大規(guī)模生產(chǎn)部署。其核心適用場(chǎng)景是任何需要自動(dòng)化UI的場(chǎng)景。它包含一個(gè)動(dòng)作模型,亞馬遜云科技還針對(duì)該模型開(kāi)發(fā)了大量SDK和工作流,用于操控UI。06.結(jié)語(yǔ):構(gòu)建智能體的最佳平臺(tái),亞馬遜云科技志在必得








