證明生成的過程中,約有60%的時間花在MSM上,其余時間由NTT/FTT主導(dǎo)。MSM和NTT都存在性能挑戰(zhàn),通常的解決辦法:
●MSM可以在多線程上執(zhí)行,從而支持并行處理。然而,當(dāng)處理大型數(shù)據(jù)向量時,例如6700萬個參數(shù),乘法運(yùn)算可能仍然很慢,并且需要大量的內(nèi)存資源。此外,MSM存在可擴(kuò)展性方面的挑戰(zhàn),即使在廣泛并行化的情況下也可能保持緩慢。
●在算法過程中頻繁的數(shù)據(jù)混洗使得NTT難以在計算集群中分布,無法并行計算,并且由于需要從大型數(shù)據(jù)集中加載和卸載數(shù)據(jù),在硬件上運(yùn)行時需要大量帶寬。即使硬件操作很快,這可能也會導(dǎo)致速度變慢。例如,如果硬件芯片的內(nèi)存為16GB或更少,那么在100GB的數(shù)據(jù)集上運(yùn)行NTT將需要通過網(wǎng)絡(luò)加載和卸載數(shù)據(jù),這可能會大大降低操作速度。
綜上來看,內(nèi)存和帶寬是限制證明生成的主要瓶頸。對于顯卡來說,這里的內(nèi)存指的是顯存,并不是主板上的內(nèi)存,主板上的內(nèi)存主要是參與CPU的計算。當(dāng)然目前有些芯片技術(shù)可以打通主板上的內(nèi)存和顯存,讓內(nèi)存為顯存計算來用。
芯片的硬件指的是運(yùn)行指令的物理平臺,包括處理器、內(nèi)存、存儲設(shè)備等等。芯片數(shù)據(jù)中常出現(xiàn)的“晶體管數(shù)量”、“7nm制程”、“存儲”等,往往指的就是硬件參數(shù)。
軟件則包括固件、驅(qū)動程序、操作系統(tǒng)、應(yīng)用程序、算子、編譯器和開發(fā)工具、模型優(yōu)化和部署工具、應(yīng)用生態(tài)等等。這些軟件指導(dǎo)硬件如何響應(yīng)用戶指令、處理數(shù)據(jù)和任務(wù),同時通過特定的算法和策略優(yōu)化硬件資源的使用。芯片數(shù)據(jù)中常出現(xiàn)的“x86指令集”、“深度學(xué)習(xí)算子”、“CUDA平臺”等,往往指的就是芯片軟件。