更多

    AWS 趕上生成式 AI 競賽 發表語言模型 Titan 、自訂工具 Bedrock

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    科技企業陸續發表生成式 AI 工具,繼微軟Google 之後,公共雲平台龍頭 AWS 終於回應。 AWS 新發表語言模型 Titan 、自訂語言模型工具 Bedrock ,以及新增訓練模型的執行個體 Trn1n 和生成式程式碼工具 CodeWhisperer 。

    AWS 的語言模型 Titan 為基礎模型,現時包括兩個大型語言模型。第一個模型針對總結、生成文本、分類、開放式問答和資訊擷取等任務。第二個是嵌入文本(embeddings)大型語言模型,能夠將輸入的文本翻譯成包含語義的嵌入編碼。

    AWS 的生成式 AI 主要有三項服務,包括自訂工具 Bedrock、新執行個體 Trn1n、程式碼助理 CodeWhisperer 。

    AWS 未有提供這些預先訓練的語言模型資料,如參數、訓練數據量等。實際上,這正是 Amazon.com 產品搜尋所用的同類技術,幫助客戶尋找所需的商品。AWS 亦強調其生成式 AI 對個性化推薦和搜尋等程式有重要作用,編碼幫助模型產生更相關、更符合情境的結果。

    而 Bedrock 是從基礎模型建立生成式 AI 的服務,主要讓企業容易自訂模型,又保障私隱和數據安全。 Bedrock 可透過 API 存取多個大型語言模型,開發生成 AI:

    • AI21 Labs 的 Jurassic-2:用自然語言指令生成文本內容,目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。
    • Anthropic 的 Claude:為 Google 投資的 AI 創業公司,以誠實和負責任的 AI 系統執行多種對話和文本處理任務。
    • Stability AI 的 Stable Diffusion:為目前較熱門的文字生成圖像模型。

    Bedrock 以無伺服器服務方式,企業自訂適合業務需要的模型,通過 Amazon S3 標註好的資料範例,甚至可少至 20 個範例,建立針對特定任務微調模型。例如內容營銷經理以過去的營銷廣告案例,加上新產品描述,透過 Bedrock 就能自動生成有效的社交平台內容、產品網頁等。整個過程在虛擬私有雲內處理,確保料資安全和保護私隱。 Bedrock 目前提供有限預覽,只向部分客戶開放,數月內將進一步擴充可用範圍。

    新執行個體 Trn1n 、 Inf2 正式可用

    AWS 亦新增執行個體 Trn1n 用於訓練模型。這執行個體專為大型網絡密集型模型設計,採用該公司自行開發的訓練晶片 Trainium ,較 Trn1 的 800Gbps 頻寬多 1 倍至 1,600Gpbs ,效能比 Trn1 高 20% 。

    同時將去年 re:Invent 發表的推論執行個體 Inf2 正式可用。 Inf2 採用 AWS 研發的推論晶片 Inferentia2 ,為數千億參數級別的模型作優化,較上一代執行個體提高傳送量 4 倍,降低 10 倍時延,推論的成本效益提升 40%。

    CodeWhisperer 內建掃描程式碼安全

    生成程式碼是大型語言模型支援的重要功能,AWS 在 Amazon re:MARS 2022 已發表類似的 AI 助理 CodeWhisperer,一直只在預覽階段,如今正式開放給所有用戶。 CodeWhisperer 內嵌基礎模型,支援 10 種開發語言,如 Python、Java、PHP、SQL 等 10 種語言,在 VS Code、IntelliJ IDEA、AWS Cloud9 等開發平台通過 AWS Toolkit IDE 外掛程式使用。

    AWS 在預覽期間作生產力測試,使用 CodeWhisperer 的開發人員完成任務的速度平均快 57%,成功率高 27%。CodeWhisperer 較其他生成程式碼助理的不同之處,在於內建安全掃描功能,自動尋找難以檢查的漏洞,提出修改建議。例如十大開放式 Web 應用程式安全專案(OWASP)中的漏洞,以及不符合加密庫最佳實踐的漏洞等。CodeWhisperer 會過濾可能被認為有偏見或不公平的程式碼建議。

    該服務已開放給個人用戶免費使用,不設使用次數和時間限制。同時提供 CodeWhisperer 專業版加入高級管理功能,如整合 AWS IAM、更高程度的安全掃描。

    您會感興趣的內容

    相關文章