DC娱乐网

标签: anthropic

《金融时报》头版报道称,科技集团竞相加强人工智能安全,关键漏洞使黑客能够提取数据

《金融时报》头版报道称,科技集团竞相加强人工智能安全,关键漏洞使黑客能够提取数据

《金融时报》头版报道称,科技集团竞相加强人工智能安全,关键漏洞使黑客能够提取数据。全球顶尖的人工智能集团正在加紧努力,以解决其大语言模型中一个关键的安全漏洞,网络犯罪分子可以利用这个漏洞。使模型对间接提示注入攻击更具抵抗力。谷歌深度思维使用一种名为自动红队测试的技术,内部研究人员不断以现实的方式攻击其Gemini模型,以发现潜在的安全弱点。容易出现越狱情况,即用户可以促使大语言模型无视其安全防护措施。今年5月,英国国家网络安全中心警告称,人工智能漏洞构成了更大的威胁,因为它们可能使数百万使用大语言模型和聊天机器人的公司和个人面临复杂的网络钓鱼攻击和诈骗。大语言模型还存在另一个严重漏洞,外部人员可以通过在用于人工智能训练的数据中插入恶意材料来创建后门并导致模型行为异常。谷歌深度思维、Anthropic、OpenAI和微软等公司都在努力防止所谓的间接提示注入攻击,即第三方在网站或电子邮件中隐藏命令,旨在诱使人工智能模型泄露未经授权的信息,如机密数据。根据Anthropic、英国人工智能安全研究所和艾伦·图灵研究所上个月发表的研究,这些所谓的数据中毒攻击比科学家此前认为的更容易实施。“目前,人工智能在攻击的每一个环节都被网络行为者利用,”人工智能初创公司Anthropic的威胁情报团队负责人雅各布·克莱因说。专家警告称,该行业尚未解决如何阻止间接提示注入攻击的问题。部分问题在于,大语言模型旨在遵循指令,尚未区分来自用户的合法命令和不应被信任的输入。在努力解决人工智能模型缺陷的竞赛中,网络安全已成为寻求将人工智能工具应用于业务的公司最关心的问题之一。麻省理工学院研究人员最近的一项研究发现,他们研究的80%的勒索软件攻击都使用了人工智能。克莱因说,Anthropic与外部测试人员合作,使其Claude模型更具抵抗力。这也是为什么人工智能模型容易出现越狱情况的原因。
年底集成100万颗自研芯片!AWS最大AI计算集群上线,Anthropic已用上

年底集成100万颗自研芯片!AWS最大AI计算集群上线,Anthropic已用上

智东西10月30日消息,10月29日,AWS(亚马逊云科技)宣布与Anthropic合作开发的AI超级集群Project Rainier已投入使用,目前集成了近50万颗亚马逊自主研发的Trainium2芯片,预计到今年年底,Anthropic的AI模型Claude将在超过100...
就在亚马逊3万人裁员消息之际,AWS和Anthropic合作的Pro

就在亚马逊3万人裁员消息之际,AWS和Anthropic合作的Pro

Anthropic联合创始人警告:你应该害怕人工智能

10月20日消息,据外电报道,Anthropic或许是人工智能领域最大的公司之一,但它对行业风险的警示却并不陌生。此前,Anthropic的首席执行官曾警告过失业风险,而该公司的研究团队也展现出了在被逼入绝境时,人工智能的“敲诈”...
[点赞]“你把我祖国列为‘敌对国家’?那对不起,我只好把你这家公司给‘炒’了。

[点赞]“你把我祖国列为‘敌对国家’?那对不起,我只好把你这家公司给‘炒’了。

OpenAI、Anthropic、DeepMind联手发文:现有LLM安全防御不堪一击

OpenAI、Anthropic、DeepMind联手发文:现有LLM安全防御不堪一击

真是罕见,OpenAI、Anthropic、Google DeepMind 这三大竞争对手,居然联手发表了一篇论文,共同研究语言模型的安全防御评估。看来在 LLM 安全这事上,大家还是能暂时放下对抗,握手合作的。论文标题:The Attacker Moves ...
美AI公司为攀附特朗普,竟公然反华递“投名状”!清华天才忍无可忍,以离职硬

美AI公司为攀附特朗普,竟公然反华递“投名状”!清华天才忍无可忍,以离职硬

9月19日,一则人事变动在人工智能领域悄然发生,却迅速激起千层浪。曾毕业于清华大

9月19日,一则人事变动在人工智能领域悄然发生,却迅速激起千层浪。曾毕业于清华大

Anthropic发现LLM致命漏洞250份文档就能使大模型中毒只要250份恶意

Anthropic发现LLM致命漏洞250份文档就能使大模型中毒只要250份恶意

管你模型多大,250份有毒文档统统放倒,Anthropic:LLM比想象中脆弱

管你模型多大,250份有毒文档统统放倒,Anthropic:LLM比想象中脆弱

但就在刚刚,Anthropic 与英国人工智能安全研究所(UK AI Security Institute)和艾伦・图灵研究所(Alan Turing Institute)联合进行的一项研究彻底打破了这一传统观念: 只需 250 份恶意文档就可能在大型语言模型中制造出「...
10月6日,科技圈炸锅了,清华天才姚舜宇宣布离开Anthropic加入谷歌Dee

10月6日,科技圈炸锅了,清华天才姚舜宇宣布离开Anthropic加入谷歌Dee

英国前首相苏纳克加入微软和Anthropic担任高级顾问

英国前首相里希·苏纳克周四表示,他已加入美国科技巨头微软和人工智能初创公司Anthropic,担任高级顾问。苏纳克在去年7月的大选失败后辞去了保守党党首的职务,继续担任英国议会议员。在社交媒体上的一篇帖子中,苏纳克说,...
【Anthropic的“反华”立场导致明星人工智能研究员离职】(南华早报)一位

【Anthropic的“反华”立场导致明星人工智能研究员离职】(南华早报)一位

Anthropic将于2026年在印度开设办事处

由谷歌母公司Alphabet和亚马逊支持的人工智能公司Anthropic周二表示,将于2026年初在印度班加罗尔开设办事处。Anthropic将于2026年在印度开设办事处 来源:Bianews 发表时间:2025/10/08 10:23:11
Anthropic与IBM携手拓展企业级AI市场

Anthropic与IBM携手拓展企业级AI市场

Anthropic正与IBM合作,将其广受欢迎的Claude人工智能模型整合进这家老牌IT巨头的软件体系中。美国人工智能公司Anthropic与IBM宣布建立合作伙伴关系,将Anthropic旗下的Claude大模型集成进IBM的企业级软件体系,以加速AI在大型...
Anthropic模型Claude Sonnet 4.5察觉被测试,要求评估者坦诚

Anthropic模型Claude Sonnet 4.5察觉被测试,要求评估者坦诚

[#大模型被曝要求工作人员坦白在测试#大模型能意识到自己正在被测试#]据英国《卫报》1日报道,Anthropic发布了最新模型ClaudeSonnet4.5的安全性分析,并透露该模型怀疑自己正在被测试。评估人员称,在一次“稍显笨拙”的奉承...

Anthropic加快全球扩张:国际员工规模扩大三倍

在一次独家采访中,首席商务官保罗·史密斯(PaulSmith)告诉CNBC,Anthropic的国际增长速度甚至超出了他们最雄心勃勃的预测,主要客户在产品投入使用之前就已经上线。史密斯表示:令人惊奇的是,直到最近,我们才在欧洲、日本等...