LLMs可以被恶意用于网络攻击，例如生成网络钓鱼电子邮件，自动化社交工程策略或创建恶意软件代码。它们生成高度令人信服的文本的能力使它们成为攻击者欺骗受害者或绕过检测系统的工具。例如，攻击者可以使用LLM来制作难以识别为欺诈性的个性化网络钓鱼消息。
它们还可以通过生成脚本或代码片段以供利用来协助自动化网络攻击。虽然llm本身并不是为恶意目的而设计的，但它们的滥用凸显了严格的访问控制和保护措施的必要性。
为了防止这种滥用，开发人员实施内容审核，监控API使用情况，并设置严格的服务条款。鼓励AI开发人员和网络安全专业人员之间的合作对于识别和减轻与LLMs恶意应用程序相关的潜在风险也至关重要。