一、什么是Amazon Bedrock
Amazon Bedrock是亚马逊云科技推出的一项完全托管的AI平台,旨在帮助企业快速构建和部署生成式人工智能(AI)应用程序:
1、它通过统一的API提供来自多家领先AI公司的高性能基础模型(Foundation Models,FM),这些公司包括AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazon等。使用Amazon Bedrock,用户可以轻松试验和评估不同的基础模型,找到最适合其特定使用案例的模型。
2、Amazon Bedrock支持多种应用场景,包括但不限于图像和文本的生成。通过微调和检索增强生成(RAG)等技术,用户可以利用Amazon Bedrock构建使用企业系统和数据来源执行任务的代理,从而满足各种业务需求。
3、Amazon Bedrock提供了无服务器体验,用户无需管理任何基础设施,可以使用已经熟悉的亚马逊云服务将生成式AI功能安全地集成和部署到应用程序中。
如何访问到Amazon Bedrock服务呢?您可以参考下方链接和示意图,轻松访问亚马逊云科技Amazon Bedrock。
二、利用Amazon Bedrock部署DeepSeek-R1有什么优势呢?
亚马逊网络服务(亚马逊云科技)是第一个将DeepSeek-R1作为通用的、完全的云服务提供商(CSP),亚马逊云科技在AI大模型云端部署方面也拥有其他竞品难以匹敌的沉淀和优势。
1、无需管理基础设施
Amazon Bedrock是一项完全托管的服务,用户无需担心底层基础设施的复杂性,包括模型的部署、扩展、监控及维护。这使得企业可以专注于AI应用的创新,而无需投入大量资源在管理底层基础设施上。
2、高性能与高精度
亚马逊云科技,拥有更强的云服务实力,能够让DeepSeek-R1模型在计算效率和模型精度发挥得更加淋漓极致,借助这一强大模型,Amazon Bedrock将帮助企业加速智能化转型,提升创新速度,推动更加复杂的AI应用场景的实现。
3、灵活部署与即时调用
Amazon Bedrock不仅提供了多种方式来部署DeepSeek-R1模型,而且正如前文所言,用户可以通过API或控制台轻松整合模型至应用程式中,实现即时调用。同时,Amazon Bedrock还支持多种数据格式的输入,包括文本、图像和音频等,能够满足不同场景下的数据处理需求。
4、安全与合规
Amazon Bedrock在提供DeepSeek-R1托管服务的同时,也为企业用户提供了强大的安全保障。所有数据均经过加密存储和传输,并可通过严格的访问控制机制,确保只有授权人员可以访问关键数据:
l 数据安全- 您可以访问企业级安全性Amazon Bedrock的监视和成本控制功能,这对于负责任地部署AI,同时保留对数据的完全控制。用户的输入和模型输出均未与任何模型提供商共享。您可以使用这些关键安全功能默认情况下,包括REST和运输中的数据加密,细粒度的访问控制,安全连接选项和下载各种合规认证在与Amazon Bedrock中的DeepSeek-R1型号进行交流时。
l 负责的AI- 您可以实施根据您的申请要求定制的保障措施,并通过Amazon Bedrock护栏。这包括内容过滤,敏感信息过滤和可自定义的安全控制的关键功能,以防止使用上下文接地和自动推理检查。这意味着您可以通过过滤AI应用程序中生成的不良和有害内容,来控制用户与Amazon Bedrock中DeepSeek-R1模型的交互,并依据定义的策略集进行管理。
l 模型评估- 您可以通过使用自动或人类评估的几个步骤来评估和比较模型,以通过几个步骤来确定包括DeepSeek-R1在内的用例(包括DeepSeek-R1)的最佳模型Amazon Bedrock模型评估工具。您可以选择具有预定义指标的自动评估,例如准确性,鲁棒性和毒性。
我们强烈推荐整合亚马逊基石护栏,并使用Amazon Bedrock模型评估功能与您的DeepSeek-R1型号结合,为您的生成AI应用程序提供坚实保障。要了解更多信息,
三、如何在Amazon Bedrock上部署DeepSeek-R1
如果您不熟悉DeepSeek-R1型号,请转到Amazon Bedrock控制台。
选择模型访问在下面在左导航窗格中。要访问完全管理的DeepSeek-R1模型,请求访问DeepSeek-R1在DeepSeek。然后,您将被授予Amazon Bedrock中的型号。
接下来,要测试Amazon Bedrock中的DeepSeek-R1型号,请选择聊天/文字在下面操作在左菜单窗格中。然后选择模型在左上方,然后选择DeepSeek作为类别和DeepSeek-R1作为模型。然后选择申请。
使用选定的DeepSeek-R1模型,我运行以下备注示例:
一个家庭计划明年用5000美元来储蓄度假基金。他们可以选择将钱存入年利率为2%的储蓄账户,或者存入年利率为4%但直到度假前都无法动用的定期存单。
该提示需要一个复杂的思想链,并产生非常精确的推理结果。
您可以使用us.deepseek.r1-v1:0作为模型ID。
这是亚马逊云科技 CLI命令的示例:
Amazon Bedrock-runtime invoke-model
–model-id us.deepseek.r1-v1:0
–body “{“prompt”: “<|begin_of_sentence|><|User|>Type_Your_Prompt_Here<|Assistant|><think>n”, “max_tokens”: 512, “temperature”: 0.5, “top_p”: 0.9}”
–cli-binary-format raw-in-base64-out
–region us-west-2
invoke-model-output.txt
bash
import boto3
from botocore.exceptions import ClientError
Create a Bedrock Runtime client
client = boto3.client(“bedrock-runtime”, region_name=”us-west-2″)
Set the model ID, e.g., DeepSeek-R1 Model.
model_id = “us.deepseek.r1-v1:0”
Start a conversation with the user message.
user_message = “Type_Your_Prompt_Here”
conversation = [
{
“role”: “user”,
“content”: [{“text”: user_message}],
}
]
try:
Send the message to the model, using a basic inference configuration.
response = client.converse(
modelId=model_id,
messages=conversation,
inferenceConfig={“maxTokens”: 512, “temperature”: 0.5, “topP”: 0.9},
)
Extract and print the response text.
response_text = response[“output”][“message”][“content”][0][“text”]
print(response_text)
except (ClientError, Exception) as e:
print(f”ERROR: Can’t invoke ‘{model_id}’. Reason: {e}”)
exit(1)
Python
要在DeepSeek-R1型号上启用Amazon Bedrock护栏在下面保障在左导航窗格中,并通过配置任意数量的过滤器来创建护栏。例如,如果您过滤掉‘政治’一词,护栏将在提示中识别并显示被封锁的相关消息。
您可以使用不同的输入来测试护栏,以评估护栏的性能。您可以通过设置拒绝主题,单词过滤器,敏感信息过滤器和阻塞消息来完善护栏,直到它符合您的需求为止。
暂无评论内容