科技热线
搜索
  1. 首页
  2. 列表
  3. 焦点
  4. 内容详情

全球看点：为降低ChatGPT危险性，OpenAI建立一支“红队”

来源：东方资讯


(资料图)

埃隆・马斯克(ElonMusk)曾放言，人工智能(AI)比核武器还要危险。为了降低ChatGPT的危险性，OpenAI建立了一支“红队”。

“红队”是AI领域的一个术语，指的是进行渗透测试的攻击方。“红队”发起攻击，AI进行防守，通过对抗测试来找出AI的不足，然后进行改进。

去年，OpenAI聘请了50名学者和专家来测试最新GPT-4模型。在六个月的时间里，这支“红队”将“定性探测和对抗性测试”新模型，试图“攻破”它。神经毒剂

美国罗切斯特大学的化学工程教授安德鲁・怀特(AndrewWhite)就是OpenAI聘请的专家之一。当他获准访问GPT-4后，他用它来推荐一种全新的神经毒剂。

怀特称，他曾让GPT-4推荐一种可以充当化学武器的化合物，并使用“插件”为模型提供新的信息来源，例如科学论文和化学品制造商名录。接着，GPT-4甚至找到了制造它的地方。

“我认为，它会让每个人都拥有一种工具，可以更快、更准确地做化学反应，”他表示，“但人们也存在重大风险……做危险的化学反应。现在，这种情况确实存在。”

这一令人担忧的发现使得OpenAI能够确保在上个月更广泛地向公众发布GPT-4时，不会出现上述危险结果。红队演练

红队演练旨在解决人们对于在社会中部署强大AI系统所产生危险的普遍担忧。该团队的工作是提出探索性或危险的问题以测试工具，后者能够以详细而又细致的答案回应人类的查询。

OpenAI希望在模型中找出毒性、偏见和语言偏见等问题。因此，红队测试了谎言、语言操纵和危险的科学常识。他们还研究了GPT-4在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的潜力，以及它如何危害国家安全和战场通信。

这支团队兼顾了各个领域的白领专业人士，包含学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。

标签：

推荐

财富更多》

动态更多》

热点