派歐雲計算申請用於大模型緩衝優化的視頻生成加速方法專利,使在處理大規模數據流時更加高效
金融界2024年12月5日消息,國家知識產權局信息顯示,派歐雲計算(上海)有限公司申請一項名爲“一種用於大模型緩衝優化的視頻生成加速方法”的專利,公開號CN 119071590 A,申請日期爲2024年8月。
專利摘要顯示,本發明涉及計算機技術領域提供了種用於大模型緩衝優化的視頻生成加速方法。包括,構建並初始化一個數據結構用於存儲聚類簇和對應的token值;對視頻流中提取的token進行實時聚類處理,根據其特徵分配至對應的聚類簇中;並基於預設規則保留和採樣聚類簇中的關鍵token;基於得到的數據信息進行矩陣向量積和配分函數的近似計算,用於降低大模型緩衝優化時的計算負擔,並根據近似計算的結果調整數據結構中的聚類簇和對應的token值。本發明採用在線聚類方法壓縮數據結構,減少冗餘數據的存儲,使得在處理大規模數據流時更加高效,基於關鍵token的在線聚類和採樣技術,降低了計算的時間複雜度,加速注意力機制的運算速度。
本文源自:金融界
作者:情報員