通義千問發佈首個千億級參數開源模型

觀點網訊：4月28日，通義千問宣佈推出1100億參數模型Qwen1.5-110B，標誌着其成爲全系列中首個達到千億級參數的開源模型。該模型繼續沿用了Qwen1.5系列的Transformer解碼器架構，並採納了分組查詢注意力方法，顯著提高了模型在推理過程中的效率。

此110B模型的一大亮點在於其能夠支持長達32K的上下文長度，並且擁有卓越的多語言處理能力。它能夠兼容包括中文、英語、法語、德語、西班牙語、俄語、日語、韓語、越南語以及阿拉伯語在內的多種語言，這一特性使其在全球化的應用場景中具有顯著優勢。