生成AI的快速发展带来了强大的公开大型语言模型(LLMS),例如DeepSeek-R1,在创新的最前沿。现在可以通过Amazon Bedrock市场和Amazon Sagemaker Jumpstart,可以通过Amazon Bedrock定制模型导入。
访问入口:亚马逊云科技官网
根据deepseek ai,这些模型在推理,编码和自然语言理解方面具有很强的功能。但是,它们在生产环境中的部署(例如所有模型)会仔细考虑数据隐私要求,适当管理产出的偏见以及对强大的监视和控制机制的需求。比如,在一些高度受监管的行业(例如医疗保健,金融和政府服务)中尤为重要,在医疗保健,财务和政府服务中,数据隐私和内容准确性至关重要。他们在选用开放权重模型时,会比较看重:
-
加强安全措施以防止潜在的滥用
-
确保保护敏感信息
-
促进负责任的内容生成实践
-
努力遵守相关行业法规
这篇博客文章提供了使用Amazon Bedrock Guardrails实施DeepSeek-R1和其他开放式重量模型的强大安全保护的综合指南。我们将探索:
-
如何使用Amazon Bedrock提供的安全功能来保护您的数据和应用
-
实际实施Guardrails以防止及时攻击并过滤有害内容
-
实施强大的深入防御策略
您将学习如何使用DeepSeek模型的先进功能,同时保持强大的安全控制并促进道德AI实践。无论是开发面向客户的生成AI应用程序还是内部工具,这些实施模式都将帮助您满足安全和负责任的AI的要求。通过遵循这种逐步的方法,组织可以与AI安全和保障的最佳实践一起部署开放权重LLM,例如DeepSeek-R1。
第一步,在Amazon Bedrock上部署DeepSeek模型
为什么推荐在亚Amazon Bedrock上部署DeepSeek模型,Amazon Bedrock通过广泛的平台安全和合规性措施增强了这些功能:
-
使用静止和运输中的数据加密Amazon密钥管理服务(Amazon KMS)
-
通过Amazon身份和访问管理(IAM)
-
通过网络安全亚马逊虚拟私有云(Amazon VPC)部署,VPC端点, 和Amazon网络防火墙用于TLS检查和严格的政策规则
-
服务控制政策(SCP)对于Amazon帐户级治理
-
安全组和网络访问控制列表(NACLS)用于访问限制
-
合规认证包括HIPAA,SOC,ISO和GDPR
-
FedRamp高授权Amazon GovCloud(US-West)Amazon Bedrock
-
监视和登录Amazon CloudWatch和Amazon CloudTrail
组织在部署到生产环境时应根据其特定的合规性和安全需求来自定义这些安全设置。 Amazon作为其安全过程的一部分进行所有模型容器的脆弱性扫描,并仅接受模型Sapetsors格式以帮助防止不安全的代码执行。
使用入口:访问亚马逊云科技官网,
在为使用Amazon Bedrock自定义模型导入功能导入的模型设置Guardrails之前,请确保您遇到以下条件:
-
一个Amazon帐户,可访问Amazon Bedrock,并带有必要的IAM角色以及所需的权限。对于集中式访问管理,我们建议您使用Amazon IAM身份中心.
-
确保已经使用Amazon BedRock自定义模型导入服务导入自定义模型。为了进行插图,我们将使用DeepSeek-r1-Distill-lalama-8B,可以使用Amazon Bedrock定制模型导入。您有两个部署此模型的选项:
-
遵循说明部署DeepSeek-R1蒸馏骆驼模型部署DeepSeek的蒸馏骆驼模型。
-
使用可用的笔记本Amazon样本用于部署。
本笔记本执行以下操作:
-
安装所需的依赖项
-
使用BOTO3 API和过滤器创建Guardrails,以满足前面提到的用例。
-
为导入的模型配置令牌。
-
使用提示测试Amazon Bedrock Guardrails,以显示各种亚马逊基石Guardrails过滤器。
这种方法将Guardrails集成到用户输入和模型输出中。这可以确保在相互作用的两个阶段中截获任何潜在的有害或不适当的内容。对于使用Amazon Bedrock自定义模型进口进口的开放式蒸馏型号,Amazon Bedrock市场和亚马逊萨吉式启动器,要实施的关键过滤器包括用于及时攻击,内容审核,主题限制和敏感信息保护的关键过滤器。
第二步,启用Amazon Bedrock Guardrails核心功能配置关键策略
Amazon Bedrock Guardrails提供可配置的保障措施,以帮助安全地构建生成AI应用程序。可以通过两种方式使用。首先,可以将其直接与InvokeModel和Converse API调用进行集成,在推理过程中,将Guardrails应用于输入提示和模型输出。这种方法适合通过Amazon Bedrock市场和Amazon Bedrock定制型号导入在Amazon Bedrock上托管的型号。另外,Applagardrail API提供了一种更灵活的方法,可以独立评估内容不调用模型。第二种方法可用于评估应用程序的各个阶段的输入或输出,并在Amazon Bedrock之外使用自定义或第三方模型。两种方法都使开发人员能够实施根据其用例定制的保障措施,并与负责的AI策略保持一致,从而确保在生成AI应用程序中进行安全和合规的交互。
Amazon Bedrock Guardrails策略
Amazon Bedrock Guardrails提供以下可配置的Guardrails策略,以帮助安全地构建生成AI应用程序:
-
内容过滤器
-
有害内容的可调节过滤强度
-
预定义的类别:仇恨,侮辱,性内容,暴力,不当行为和迅速攻击
-
多模式内容,包括文本和图像(预览)
-
主题过滤器
-
限制特定主题的能力
-
在查询和响应中预防未经授权的主题
-
单词过滤器
-
阻止特定的单词,短语和亵渎性
-
攻击性语言或竞争者参考的自定义过滤器
-
敏感信息过滤器
-
个人身份信息(PII)阻止或掩盖
-
支持自定义的正则表达方式
-
标准格式的概率检测(例如SSN,DOB和地址)
-
上下文接地检查
-
通过源接地检测幻觉
-
查询相关性验证
-
自动推理预防幻觉(门控预览)
其他功能
模型不合时宜的实现:
-
与所有Amazon Bedrock基金会型号兼容
-
支持微调模型
-
通过ApplagerGuardrail API扩展到外部自定义和第三方模型
这个综合框架可帮助客户实施负责任的AI,维护各种生成AI应用程序的内容安全性和用户隐私。
解决方案概述
-
Guardrails配置
-
创建一个针对您的用例定制的特定策略并配置策略的Guardrails。
-
与InvokeModel API集成
-
在您的请求中,请使用GuardRail标识符致电Amazon Bedrock InvokeModel API。
-
当您进行API调用时,Amazon Bedrock将指定的Guardrails应用于输入和输出。
-
Guardrails评估过程
-
输入评估:在将提示发送到模型之前,Guardrails会根据配置的策略评估用户输入。
-
并行策略检查:为了改善延迟,对于每个配置的策略,并行评估输入。
-
输入干预:如果输入违反了任何Guardrails策略,则返回预先配置的阻止消息,并丢弃模型推理。
-
模型推断:如果输入通过了Guardrails检查,则将提示发送到指定模型以进行推理。
-
产出评估:在模型生成响应之后,Guardrails对配置的策略评估输出。
-
输出干预:如果模型响应违反了任何Guardrails策略,则它将被预先配置的消息阻止,或者根据策略的不同。
-
响应交付:如果输出通过所有Guardrails检查,则响应将返回应用程序而没有修改
第三步,通过亚马逊云科技的其他服务实施更高阶防御策略
尽管Amazon Bedrock Guardrails提供了必不可少的内容和迅速的安全控制,但在部署任何基础模型,尤其是诸如DeepSeek-R1之类的开放权重模型时,实施全面的防御策略至关重要。有关与OWASP在LLM的Top 10一致的深入防御方法的详细指南,
关键亮点包括:
-
从安全性开始,发展组织弹性
-
使用Amazon服务在安全的云基础上建立
-
在多个信托边界上应用分层的防御策略
-
解决LLM申请的OWASP十大风险
-
在整个AI/ML生命周期中实施安全最佳实践
-
将Amazon安全服务与AI和机器学习(AI/ML)结合使用(特定功能)
-
考虑各种观点,并使安全与业务目标保持一致
-
准备并减轻诸如及时注入和数据中毒之类的风险
模型级控件(Guardrails)与深入防御策略的结合创造了强大的安全姿势,可以帮助保护:
-
数据剥落尝试
-
未经授权访问微型模型或培训数据
-
模型实施中的潜在漏洞
-
恶意使用AI代理和集成
结论
对DeepSeek-R1等LLM实施安全保护对维护AI环境安全和道德至关重要。结合Amazon Bedrock Guardrails、InvokeModel API和ApplyGuardrails API可降低风险,同时利用模型功能。但需明白模型级保护仅为综合安全策略的一部分:
第一,使用Amazon Bedrock自定义型号进口、市场及Jumpstart时的常见安全问题,如注射攻击脆弱性、有害内容产生等。结合深度防御方法,组织可降低滥用风险,确保AI应用符合道德和监管要求。
第二,随着AI技术发展,安全性AI的使用需优先考虑。亚马逊Bedrock Guardrails提供可配置框架,让开发人员自定义保护措施。建议使用亚马逊云科技指南进行AI工作负载威胁建模,评估风险并实施控件。
第三,需定期审查和更新Guardrails及安全控制,以应对新漏洞和保护AI安全。Amazon Bedrock Guardrails结合Amazon安全服务和最佳实践,为当前和未来开放权重模型提供一致安全框架。将安全视为持续过程,组织可确保在强大安全控制下部署创新AI解决方案。
如果您对通过亚马逊云科技部署Deepseek感兴趣,大家可以访问亚马逊云科技官网,亚马逊云科技提供了不止AI大模型的部署能力,有着全球最完善、最安全、最先进的云服务生态,一定会成为你数字化飞跃上的V8引擎!
暂无评论内容