亚洲精品无码乱码成人|最近中文字幕免费大全|日韩欧美卡一卡二卡新区|熟妇性饥渴一区二区三区|久久久久无码精品国产AV|欧美日韩国产va在线观看|久久精品一本到99热动态图|99国产精品欧美一区二区三区

隨著人工智能快速發(fā)展迭代，一些企業(yè)開始押注小模型。相較大模型，低成本、上線快、易調試的小模型，以更高的性價比為中小企業(yè)和個人用戶提供了打開人工智能大門的鑰匙。

近兩年，人工智能快速發(fā)展迭代，大語言模型如雨后春筍般涌現(xiàn)，文本生成、文生圖、語音處理、代碼處理、視頻處理等生成式人工智能走進人們的生活。同時，一些企業(yè)開始發(fā)力研發(fā)可在電腦、手機端訓練的輕量化小模型。

“我們需要高鐵、飛機、游輪等大型交通工具，也需要私家轎車、公交車，以及摩托車、自行車等小型交通工具。因為在不同場景下，不同人群有不同需求。”在青島自然語義公司聯(lián)合創(chuàng)始人、首席架構師孫燕群看來，滿足特定市場的需求，是專而精的小模型興起的重要原因及其存在的價值。

今年3月，自然語義研發(fā)的Euler模型通過中央網(wǎng)信辦生成式人工智能服務備案。不同于大模型動輒千億級的參數(shù)量，Euler的參數(shù)量只有2.5B(25億)，是典型的輕量化小模型。相較于大模型，小模型有何特點？應用前景如何？記者對此進行了采訪。

【資料圖】

低成本、易調試的端側小模型興起

關于小模型，目前并沒有明確定義。孫燕群表示，在行業(yè)內，參數(shù)量低于100B的模型就算比較小的模型。在實際應用時，要想在筆記本電腦端實現(xiàn)微調，模型參數(shù)量一般在3B左右。

相較大模型，小模型在算力消耗、使用成本方面更具優(yōu)勢。具體來說，一是訓練和推理所需的硬件資源較少，使得成本較低；二是使用更便捷，可在手機、電腦、物聯(lián)網(wǎng)設備等計算場景中實時運行；三是結構簡單，開發(fā)者能快速定位問題，易于調試。

記者了解到，隨著大模型的比拼日益激烈，一些企業(yè)開始押注小模型。2024年8月，微軟和英偉達就相繼發(fā)布過小型語言模型。國內不少企業(yè)也開始研發(fā)在“斷網(wǎng)、弱網(wǎng)”環(huán)境下，讓各種智能終端具備自主思考能力的端側小模型。例如，在今年3月舉辦的中關村論壇年會期間，北京的面壁智能公司就發(fā)布了應用于汽車智能座艙的純端側超級智能助手。今年1月，廣東佛山移動牽頭聯(lián)合40家單位成立佛山市AI小模型產(chǎn)業(yè)聯(lián)合體，致力于通過人工智能小模型提供個性化服務，助力企業(yè)完成智能化升級。

“小模型讓我們實現(xiàn)了與科技巨頭們的錯位競爭。”提到小模型的具體應用場景，孫燕群舉例說，Euler通過備案后，已經(jīng)開始面向中小企業(yè)和個人用戶提供服務。如與山東某市級檔案館合作，上線了檔案模型；與青島當?shù)匾患覂x器儀表設備公司合作，開發(fā)了內網(wǎng)技術相關的模型。

退而求其次后的“主動作為”

“客觀來說，大模型的能力強于小模型，一個參數(shù)量2.5B的模型無論如何都不可能超過200B模型的算力。”孫燕群直言，這也是大公司都在做千億級模型的原因。模型小，神經(jīng)網(wǎng)絡參數(shù)就少，容納的知識量不夠，“體現(xiàn)在文本生成上，就是容易出現(xiàn)上下文不連貫的情況”。

自然語義最初的目標并不是小模型。2019年底，該公司考慮要做大模型，但由于發(fā)展方向不明朗，同時在購買高算力GPU上面臨資金和貨源壓力，因此未能實施。

“沒想到，僅過了兩年時間，國外的大模型就發(fā)布了。”孫燕群回憶說，后來隨著越來越多大企業(yè)涌入大模型賽道，作為基礎硬件的高算力GPU價格水漲船高。“那段時間，聽說哪里有GPU，我們就坐飛機去買，常常是提前交了定金也不一定能買到。”最終，公司用10多臺設備組成一個算力集群，能支撐做出7B參數(shù)的模型。

為了在現(xiàn)有設備基礎上盡可能提高參數(shù)，自然語義公司工程師經(jīng)過頭腦風暴，想出了新的分詞方式，以及將向量計算從實數(shù)空間轉換到復空間等各種辦法。“經(jīng)過模型訓練，這些技術都達到了比較好的效果，能讓一個3B參數(shù)的模型，達到了150B參數(shù)模型60%左右的能力。”孫燕群表示。

中國信息通信研究院人工智能研究所副總工程師王蘊韜告訴記者，小模型之所以能在“瘦身”后仍保持可觀性能，得益于一系列成熟的模型壓縮與高效架構技術，包括剪枝、量化、知識蒸餾、設計先天高效的網(wǎng)絡架構等。

讓“小身材”跑出“大能量”

“小模型發(fā)展大有可為。”在王蘊韜看來，未來面向特定應用場景的小模型，潛力將會進一步釋放。以AI終端為代表的應用形態(tài)及產(chǎn)品服務，將成為小模型釋放大能力的主戰(zhàn)場。

關于小模型的應用前景，王蘊韜進一步解釋，一是為離線辦公、文檔摘要、私密對話等場景鋪平道路；二是隨著處理器架構和神經(jīng)處理單元技術的應用，手機、車載和物聯(lián)網(wǎng)設備將成為小模型的天然舞臺；三是在垂直領域與“專精特新”行業(yè)，如金融、醫(yī)療、法律、教育等已出現(xiàn)6B及以下參數(shù)的定制模型，成本低、上線快，可在特定任務上反超通用大模型。

“市場關心的是能否解決實際問題，不關心背后模型細節(jié)，能夠與場景深度結合，擁有行業(yè)知識，尤其是可信的小模型至關重要。”王蘊韜說。

從用戶端來看，在實際應用中，小模型的性價比優(yōu)勢也十分明顯。北京某互聯(lián)網(wǎng)公司算法工程師張先生向記者表示，在現(xiàn)有技術條件下，想要在本地部署大模型存在一定難度。“專業(yè)GPU芯片價格太高，無法應用到低價格的終端上，如手機、機器人等配備的芯片就無法撐起大模型。另外，這些終端所配備的電池，往往也支撐不了高性能芯片的耗電等。”張先生表示，這些硬件性能有限的終端，更適合小模型施展。

王蘊韜分析認為，未來將是大小模型混合的系統(tǒng)范式。“云端大模型負責通用推理，端側小模型承擔即時響應與私域數(shù)據(jù)處理。”他還強調，小模型并非“大模型的低配版”，而是面向資源受限環(huán)境與專用任務的高性價比解法。通過配合端云混合部署和行業(yè)數(shù)據(jù)精調，企業(yè)完全可以讓“小身材”跑出“大能量”，在AI商業(yè)落地的下一程中獲得確定性收益。