有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
上一篇 : 全班 43 人开家长会只来了 7 位爸爸,学校称未来准备策划爸爸家长会,如何看待这一现象?
下一篇 : 老板说我设计了一周的海报还是不行,我到底该怎么学啊?
你都见过什么样的电脑盲?...
哪款浏览器的综合性能最优?...
三次元中真的存在二次元中的超长头发吗?...
跟一对情侣合租的感受?...