在人工智能領(lǐng)域，模型參數(shù)規(guī)模一直是衡量模型能力的重要指標(biāo)。最近，英特爾發(fā)布了一款名為Aurora genAI的AI大模型，該模型具備驚人的1萬(wàn)億參數(shù)，是目前領(lǐng)先的AI模型之一。然而，是否越大的參數(shù)就意味著越好的性能呢？本文將探討模型參數(shù)規(guī)模與實(shí)際表現(xiàn)之間的關(guān)系。
一、英特爾公布AI大模型Aurora genAI，具備1萬(wàn)億參數(shù)
近日，英特爾公布了其旗下生成式AI大模型Aurora genAI。據(jù)報(bào)道，Aurora genAI的參數(shù)量高達(dá)1萬(wàn)億，該模型的開(kāi)發(fā)依賴(lài)于Megatron和DeepSpeed框架，這些結(jié)構(gòu)增強(qiáng)了模型的強(qiáng)度和容量。與此相比，ChatGPT模型的參數(shù)量為1750億，這意味著Aurora genAI的參數(shù)量是ChatGPT的近6倍。
Aurora genAI模型是由英特爾與阿貢國(guó)家實(shí)驗(yàn)室和HPE合作開(kāi)發(fā)的，它是一個(gè)以科學(xué)為中心的生成式AI模型，將應(yīng)用于各類(lèi)科學(xué)應(yīng)用，包括分子和材料設(shè)計(jì)，甚至涵蓋數(shù)百萬(wàn)來(lái)源的綜合知識(shí)素材，為系統(tǒng)生物學(xué)、高分子化學(xué)、能源材料、氣候科學(xué)和宇宙學(xué)等領(lǐng)域提供值得探索的實(shí)驗(yàn)設(shè)計(jì)思路。這些模型還將用于加速癌癥及其他疾病相關(guān)生物過(guò)程的識(shí)別速度，并為藥物設(shè)計(jì)提供靶點(diǎn)建議。
除了科研應(yīng)用，Aurora genAI還具有在自然語(yǔ)言處理、機(jī)器翻譯、圖像識(shí)別、語(yǔ)音識(shí)別、金融建模等商業(yè)領(lǐng)域的潛在應(yīng)用價(jià)值。阿貢實(shí)驗(yàn)室副主任Rick Stevens介紹說(shuō)：“這個(gè)項(xiàng)目希望充分利用Aurora超級(jí)計(jì)算機(jī)的全部潛力，為能源部各實(shí)驗(yàn)室的下游科學(xué)研究和其他跨機(jī)構(gòu)合作計(jì)劃提供資源！
據(jù)介紹，Aurora genAI模型將通過(guò)對(duì)生物學(xué)、化學(xué)、材料科學(xué)、物理學(xué)、醫(yī)學(xué)等學(xué)科的常規(guī)文本、代碼、科學(xué)文本和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行訓(xùn)練而得。阿貢實(shí)驗(yàn)室正在組織國(guó)際合作推進(jìn)該項(xiàng)目，參與方包括英特爾、HPE、能源部各下轄實(shí)驗(yàn)室、美國(guó)及其他國(guó)際高校、非營(yíng)利組織以及RIKEN等國(guó)際合作伙伴。
Aurora genAI模型將在英特爾為阿貢國(guó)家實(shí)驗(yàn)室開(kāi)發(fā)的Aurora超算上運(yùn)行，其性能達(dá)到了200億億次，是當(dāng)前TOP500超算冠軍Frontier的2倍。最近，英特爾和阿貢國(guó)家實(shí)驗(yàn)室還公布了Aurora的安裝進(jìn)度、系統(tǒng)規(guī)格和早期性能測(cè)試結(jié)果：
英特爾已完成Aurora超級(jí)計(jì)算機(jī)1萬(wàn)多塊刀片服務(wù)器的交付。
Aurora的完整系統(tǒng)采用HPE Cray EX超算架構(gòu)，將擁有63744個(gè)GPU和21248個(gè)CPU，輔以1024個(gè)DAOS存儲(chǔ)Node。Aurora還將配備HPE Slingshot高性能以太網(wǎng)絡(luò)。
早期性能結(jié)果顯示，Aurora超算系統(tǒng)在實(shí)際科學(xué)和工程負(fù)載上具有領(lǐng)先性能，性能表現(xiàn)比AMD MI250 GPU高出2倍，在QMCPACK量子力學(xué)應(yīng)用程序上的性能提高了20%，并且能夠在數(shù)百個(gè)Node上保持近線(xiàn)性的算力擴(kuò)展。作為ChaGPT的有力競(jìng)爭(zhēng)者，Aurora genAI的公布預(yù)示著AI大模型賽道又迎來(lái)了新的重磅玩家，并有可能在未來(lái)對(duì)各種科學(xué)領(lǐng)域產(chǎn)生重大影響。然而，目前Aurora genAI更像是處于概念階段，英特爾的目標(biāo)是到2024年完成Aurora genAI模型的構(gòu)建。
對(duì)于英特爾的萬(wàn)億參數(shù)AI大模型Aurora genAI，一些網(wǎng)友表示：“我不相信僅僅增加參數(shù)數(shù)量就能改進(jìn)模型，我認(rèn)為我們不應(yīng)該發(fā)布新聞稿追逐增加參數(shù)數(shù)量。我在研究中還發(fā)現(xiàn)，較大的模型通常不會(huì)表現(xiàn)得更好，但由于不負(fù)責(zé)任的營(yíng)銷(xiāo)，這變得越來(lái)越難以向非技術(shù)人員解釋。如果我們對(duì)這些營(yíng)銷(xiāo)放任不管，我們會(huì)讓很多人失望，并降低大家對(duì)AI未來(lái)增長(zhǎng)潛力的信心——我們不想要另一個(gè)AI寒冬。訓(xùn)練這些大型模型會(huì)產(chǎn)生巨大的環(huán)境成本，而且理解、使用和控制這些非常大的模型（即使作為研究人員）也變得更加困難！
二、AI軍備競(jìng)賽進(jìn)入“萬(wàn)億參數(shù)模型”對(duì)抗時(shí)代？
近幾年，隨著AI大模型賽道的持續(xù)升溫，越來(lái)越多的科技巨頭加入其中，并不斷打破參數(shù)規(guī)模的記錄。
2021年1月，谷歌大腦團(tuán)隊(duì)推出了超級(jí)語(yǔ)言模型Switch Transformer，該模型擁有1.6萬(wàn)億個(gè)參數(shù)，當(dāng)時(shí)是規(guī)模最大的自然語(yǔ)言處理模型。同年6月，智源研究院發(fā)布了悟道2.0，該系統(tǒng)的參數(shù)數(shù)量已超過(guò)1.75萬(wàn)億，是當(dāng)時(shí)全球最大的大規(guī)模智能模型系統(tǒng)。同年11月，阿里達(dá)摩院發(fā)布了多模態(tài)大模型M6，其參數(shù)數(shù)量從萬(wàn)億級(jí)躍升至10萬(wàn)億，成為當(dāng)時(shí)全球最大的AI預(yù)訓(xùn)練模型。
有分析指出，中美之間的AI軍備競(jìng)賽的核心戰(zhàn)場(chǎng)正在逐漸轉(zhuǎn)向萬(wàn)億級(jí)參數(shù)的預(yù)訓(xùn)練模型。構(gòu)建千萬(wàn)億參數(shù)規(guī)模的預(yù)訓(xùn)練模型是一個(gè)超級(jí)工程，可能對(duì)國(guó)家甚至人類(lèi)社會(huì)產(chǎn)生重大影響。
模型參數(shù)越大是否就意味著越好呢？
判斷一個(gè)大模型是否優(yōu)秀不能僅僅看參數(shù)的大小，還需要考慮實(shí)際表現(xiàn)。只有當(dāng)模型在任務(wù)上表現(xiàn)良好時(shí)，我們才能認(rèn)為這是一個(gè)好模型。參數(shù)不是問(wèn)題，當(dāng)機(jī)器的存儲(chǔ)和計(jì)算能力足夠強(qiáng)大時(shí)，大模型也可以轉(zhuǎn)化為小模型。此外，還需要考慮模型的可解釋性以及對(duì)噪聲攻擊的容忍度。如果模型具有一定的解釋能力，并且不容易受到噪聲數(shù)據(jù)或其他因素的干擾，那么這也是一個(gè)好模型。
總而言之，隨著技術(shù)的不斷發(fā)展，AI大模型的參數(shù)規(guī)模不斷刷新紀(jì)錄，引發(fā)了關(guān)于參數(shù)大小與性能之間的辯論。雖然大模型在某些任務(wù)上表現(xiàn)出色，但參數(shù)規(guī)模并不是唯一的衡量指標(biāo)。我們應(yīng)該更加注重模型的實(shí)際表現(xiàn)、可解釋性和魯棒性，以確保其在實(shí)際應(yīng)用中的效果。通過(guò)不斷探索和研究，我們將能夠更好地理解模型參數(shù)與性能之間的關(guān)系，推動(dòng)人工智能技術(shù)的發(fā)展和應(yīng)用。
2025-4-02
2025-4-02
2025-3-29
2025-3-28
2025-3-28
2025-3-13
2025-3-21
2025-3-05
2025-3-16
2025-3-13