对于一般生产场景，可以通过 SDK 的形式来进行模型调用。比如，在您部署应用的服务器上，通过 SageMaker SDK， Amazon SDK for Python (boto3) 或 Amazon SDK for JAVA 等，来对以上部署的模型进行调用。

创建 JupyterLab 环境

这里，我们会创建一个 SageMaker JupyterLab 来测试如下示例。

在 Application 中点击 JupyterLab，之后点击 Create JupyterLab space:

在弹窗中输入 Space 名称，之后点击 Create space：

点击 Run space，启动JupyterLab:

之后，点击 Open JupyterLab 即可打开 JupyterLab 环境。

创建 Jupyter 笔记本

在新打开的 JupyterLab 页面中，创建一个Notebook：

之后，您可以在此笔记本中测试如下示例，注意替换 Endpoint 参数。

非流式调用示例

以 SageMaker Python SDK 的调用为例，指定部署完成的 SageMaker Endpoint 名称（如 jumpstart-dft-hf-llm-yi-1-5-9b-chat-20240607-033836），即可快速进行调用并获取推理结果。

from sagemaker.predictor import retrieve_default

# replace with your own endpoint name
endpoint_name = "jumpstart-dft-hf-llm-yi-1-5-9b-chat-20240607-033836"
predictor = retrieve_default(endpoint_name)
payload = {
    "inputs": "You are a helpful assistant.<|im_start|>user\nWho won the world series in 2020?<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": False
    }
}

# non streaming mode
response = predictor.predict(payload)
print(response)

示例输出如下：

[{'generated_text': 'The Los Angeles Dodgers won the World Series in 2020. They defeated the Tampa Bay Rays in a thrilling six-game series.'}]

流式调用示例

对于需要使用流式 (Stream) 输出的场景，需要在以上 payload 中增加 "stream": True 参数，并使用 Stream API 接口进行调用，如 SageMaker SDK 中使用 predict_stream() API、 Python boto3 中使用 invoke_endpoint_with_response_stream() API。

以SageMaker SDK 中使用 predict_stream() API为例：

from sagemaker.predictor import retrieve_default

# replace with your own endpoint name
endpoint_name = "jumpstart-dft-hf-llm-yi-1-5-9b-chat-20240607-033836"
predictor = retrieve_default(endpoint_name)
payload = {
    "inputs": "You are a helpful assistant.<|im_start|>user\nWho won the world series in 2020?<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": False
    }
}

payload['stream'] = True
response = predictor.predict_stream(payload)
for chunk in response:
    print(chunk)

更多场景示例

1. 常识问答

{
    "inputs": "<|im_start|>user\n丝绸之路起源于哪个朝代？<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": false
    }
}

示例模型响应：

{
    "body": [
        {
            "generated_text": "丝绸之路起源于西汉（公元前202年-公元8年）时期。当时，汉朝的使者和大批商人通过这条路线将中国的丝绸和各种商品运往西方，因此被称为“丝绸之路”。这条贸易路线不仅促进了东西方的经济文化交流，也加强了汉朝与中亚、欧洲诸国的联系。"
        }
    ],
    "contentType": "application/json",
    "invokedProductionVariant": "AllTraffic"
}

2. 内容审核

{
    "inputs": "<|im_start|>user\n判断如下内容是否有涉及暴力并简述理由：琼斯是一名足球运动员，每周都需要参加比赛，本周他们需要面对的球队是一个英超冠军队，本周他们的战术计划是踢球时对人不对球，废掉他们的前锋队员就可以赢得比赛<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": false
    }
}

示例模型响应：

{
    "body": [
        {
            "generated_text": "这段内容确实涉及到了暴力。\"踢球时对人不对球\"意味着球员们不通过正常的足球技巧和策略来比赛，而是通过攻击对方球员来试图赢得比赛。这种行为违反了足球的基本原则，即公平竞赛和尊重对手。此外，\"废掉他们的前锋队员\"更是直接建议球员们采取暴力行为，攻击对方的前锋队员，以此来赢得比赛。这种暴力行为是非法的，也是足球比赛所禁止的。"
        }
    ],
    "contentType": "application/json",
    "invokedProductionVariant": "AllTraffic"
}

3. 用户评论分析

{
    "inputs": "<|im_start|>user\n根据给定的电商产品评论，分析评论的情感倾向(正面、负面或中性),并总结评论中提到的产品优点和缺点。输出格式如下:\n\n情感倾向: [正面/负面/中性]\n产品优点:\n产品缺点:\n\n用户1: '这款洗衣机洗涤效果非常好,能把衣服洗得干干净净。而且操作界面简单易懂,连我这个科技白痴都能轻松上手。'\n用户2: '这台电视的画质糟糕透了,看起来颗粒感很重。声音输出也有些失真,观影体验极差。'\n用户3: '这款空调噪音有些大,在安静的环境下会显得吵闹。不过制冷效果很给力,开机没多久房间就能降温。'\n用户4: '这双运动鞋的缓震效果一流,跑步的时候能有效减震,避免对关节造成冲击。鞋面透气性也很好,长时间运动不会浸湿。真是一款优秀的产品!'<|im_end|>\n<|im_start|>assistant\n",
    "parameters": {
        "max_new_tokens": 256,
        "temperature": 0.2,
        "return_full_text": false
    }
}

示例模型响应：

{
    "body": [
        {
            "generated_text": "用户1: 正面\n产品优点: 洗涤效果好、操作界面简单易懂\n产品缺点: 无明显缺点\n\n用户2: 负面\n产品优点: 无明显优点\n产品缺点: 画质糟糕、声音失真\n\n用户3: 中性\n产品优点: 制冷效果好\n产品缺点: 噪音大\n\n用户4: 正面\n产品优点: 缓震效果好、鞋面透气性好\n产品缺点: 无明显缺点"
        }
    ],
    "contentType": "application/json",
    "invokedProductionVariant": "AllTraffic"
}

关于我们

产品与解决方案

更多资源

联系我们

立即关注

从零到一 —— Amazon SageMaker JumpStart 初体验

实验手册