简单说一下蒸馏训练这个事情，最近跟一些AI业内人士交流了一下，其实蒸馏现在国内基

简单说一下蒸馏训练这个事情，最近跟一些AI业内人士交流了一下，其实蒸馏现在国内基本绕不开，一开始训练自己的模型都会做，主要是现在人工标注成本高，质量低，速度慢，不如直接去那个装鱼的框子里面去钓鱼。但是这个方法不是直接去偷鱼，也是有局限的，一是你不知道这个框子有多深有多大，不知道这个装鱼的框子里面有什么鱼，你必须构建一套有自己的问题和答案的机构数据集去通用模型那蒸馏，这个也是有很高难度的，这就像必须找一根更牛逼的鱼竿和钓特定鱼的鱼饵。而同时，因为大模型其实是个黑箱凑数的实验科学，所以实验做的越多，knowhow积累越多，最终模型的效果可能越好，所以还需要继续堆算力，继续不停的下竿子钓鱼。另外蒸馏也是有成本的，比如去chatgpt蒸是需要付费的，也需要部署云端或本地模型后才能调用，但总体成本还是低一些。总之从以上情况分析，站在投资角度从第一性原理来看，算力的边际效用全球范围内在下降，但优质的数据要素还是越来越稀缺，越来越贵，长期来看可能比算力更重要。所以最近OpenAI以每个问题200美元的极高报酬招募超过300位来自医学、法律、语言学、计算机科学、物理学等多个领域的博士，为ChatGPT提供高质量的解答和训练数据，也就不足为奇了。