硬件層面，也就是所謂的硬件加速， CPU、GPU、FPGA、ASIC。CPU與GPU相比在大數(shù)據(jù)多任務(wù)處理上，肯定GPU更占優(yōu)勢。FPGA與GPU相比，在兼顧了靈活性的基礎(chǔ)上，無論是計算能力和功耗性能上都要更強，缺點是性價比太低。ASIC是的，其他的硬件形態(tài)都是無法比擬的。

綜上來看，內(nèi)存和帶寬是限制證明生成的主要瓶頸。對于顯卡來說，這里的內(nèi)存指的是顯存，并不是主板上的內(nèi)存，主板上的內(nèi)存主要是參與CPU的計算。當(dāng)然目前有些芯片技術(shù)可以打通主板上的內(nèi)存和顯存，讓內(nèi)存為顯存計算來用。

為了打破英偉達一家獨大的局面，前任全球芯片老大英特爾和多年老對手AMD對標(biāo)CUDA都分別推出了OneAPI和ROCm，Linux基金會更是聯(lián)合英特爾、谷歌、高通、ARM、三星等公司聯(lián)合成立了民間號稱“反CUDA聯(lián)盟”的UXL基金會，以開發(fā)全新的開源軟件套件，讓AI開發(fā)者能夠在基金會成員的任何芯片上進行編程，試圖讓其取代CUDA，成為AI開發(fā)者的開發(fā)平臺。

早在2021年，英偉達就曾公開表示過“禁止使用轉(zhuǎn)換層在其他硬件平臺上運行基于CUDA的軟件”，2024年3月，英偉達更是將其升級為“CUDA禁令”，直接添加在了CUDA的終用戶許可協(xié)議中，已禁止用轉(zhuǎn)譯層在其他GPU上運行CUDA軟件