很多编程员，将ChatGPT作为提升办公效率的一个辅助工具。但是，近期普渡大学的研究人员发布了一份报告，ChatGPT给出答案的错误率非常高，达到52%。这是研究人员对IT问答网站Stack Overflow中的517问题进行分析得出的结果。

这个研究结果，表明教师和作家等终端用户在日常使用聊天机器人进行工作时，需要花费更多的时间去鉴别错误的信息或者答案。那么对于编程人员来讲，是否还能相信像ChatGPT这样的聊天机器人？

但是实际的研究结果，还是跟我们想的不一样。对ChatGPT回答的517个问题进行分析，研究人员发现，ChatGPT给出的答案中，有77%比人类更加详细，而78%的答案与人类给出的答案存在一定的差别。这样我们也就容易理解，为什么ChatGPT给出的答案会出现52%的错误率。

很多人会有一个疑问，是什么原因会导致ChatGPT在回答编程问题时，会出现如此高的错误率？

最核心的问题是大模型的智能水平。当用户提出非常复杂的编程问题时，ChatGPT可能无法正确解析这些问题，导致给出的问题存在大量的错误。尤其是处理复杂逻辑和多步骤解决方案时，ChatGPT的局限性会表现的更加突出。

训练所需的数据集也不能被忽视，在某些专业领域的训练数据不充分时，由于缺乏足够的知识量，导致AI模型无法给出准确的答案。

当使用ChatGPT进行较长的对话，或者涉及多个主题时，ChatGPT等AI工具可能会出现理解错误、跑题或者混淆上下文的情况。在连续对话中，如何保持上下文的一致性，对于很多聊天机器人来讲，都是一个挑战。

即使大家都知道ChatGPT有如此高的错误率，但是很多编程员仍然喜欢使用，到底是什么原因导致的？

普渡大学的研究人员给出了答案。研究人员随机抽取了2000个包含ChatGPT解答的问题，随后对其进行语言分析，这些回答与人类回答相比，分析的会更加详细，而且很少带有负面情绪。

研究人员对12名程序员进行了调查，35%的编程员更喜欢ChatGPT。但是具有丰富编程经验的编程员，仍有39%的概率无法发现ChatGPT给出了错误的答案。虽然研究人员研究的样本很小，但至少能说明一个问题，就是ChatGPT对于编程员的帮助非常大。

研究人员发现，ChatGPT给出的答案，以结构化的文本格式，更加礼貌的语言描述吸引了用户。相比于人类，ChatGPT给出的答案，在语言描述上会更让人感到舒服。因此从而让用户忽视了ChatGPT答案中存在的一些错误信息。

虽然ChatGPT在不断地迭代升级，但是研究人员的研究结果表明，ChatGPT仍然存在重大缺陷。对于从事修复工智能生成代码错误的程序员来讲，他们仍然会保住饭碗。