模型评估

评估模型

  • 接口描述

    根据模型在测试集上的表现,做为模型的评价标准。

  • 请求(Request)

    • 请求语法:
    POST /v{version}/modelEvaluate HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: {utc-date-string}
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization:{bce-authorization-string}
    
    • 请求头域:无特殊Header参数

    • 请求参数:

参数名 参数类型 必要性 参数描述
version String 必选 API版本号,当前取值1
modelId String 必选 模型ID
datasetId String 必选 评估数据集的ID
evaluatePara AlgoPara 必选 模型的评估参数,具体模型的评估参数参考对应算法的算法文档
若该模型对应的算法没有特殊的评估参数,可以为空
  • 响应(Response)

    • 响应头域:无特殊Header参数

    • 响应参数:

参数 参数类型 参数描述
evaluateId String 模型评估ID
  • 示例

    • 请求示例
    POST /v1/modelEvaluate HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: 2015-03-24T13:02:00Z
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:04:26Z/1800/host;x-bce-date/b1ad7075b37616b846a356d1db86e73abba1aed51b4d7b0d95321f69f17250b1
    {
        "modelId": "model-fdslkj454jd3",
        "datasetId":"dataset-cgfd32fdmt01",
        "evaluatePara": {
        }
    }
    
    • 响应示例
    HTTP/1.1 200 OK
    x-bce-request-id:73c4e74c-3101-4a00-bf44-fe246959c05e
    Cache-Control: no-cache
    Server: BWS
    Date: Tue, 24 Mar 2015 13:02:01 GMT
    Content-Type: application/json;charset=UTF-8 
    {
        "evaluateId": "evaluate-a0x532fdmt01",
    }
    

查询模型评估信息

  • 接口描述

    查询模型评估详细信息

  • 请求(Request)

    • 请求语法:
    GET /v{version}/modelEvaluate/{evaluateId} HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: {utc-date-string}
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization:{bce-authorization-string}
    
    • 请求头域:无特殊Header参数

    • 请求参数:

参数名 参数类型 必要性 参数描述
version String 必选 API版本号,当前取值1
evaluateId String 必选 模型评估ID
  • 响应(Response)

    • 响应头域:无特殊Header参数
    • 响应参数:
参数 参数类型 参数描述
evaluateId String 模型评估ID
modelId String 被评估的模型ID
datasetId String 用来评估的数据集ID
evaluatePara AlgoPara 模型的评估参数,具体模型的评估参数参考对应算法的算法文档
若该模型对应的算法没有特殊的评估参数,可以为空
status Status 当前评估状态, status的value大0为正在进行评估,等于0为评估成功,小于0为评估失败
history List<Status> 评估历史状态
result ModelEvaluateResult 模型的评估结果,未评估成功时为空。
每种算法模型的评估结果说明参考对应算法的算法文档
createTime String 创建时间,符合日期时间格式约束
finishTime String 完成时间,符合日期时间格式约束,未完成时为空
  • 示例

    • 请求示例
    GET /v1/modelEvaluate/evaluate-a0x532fdmt01 HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: 2015-03-24T13:02:00Z
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:04:26Z/1800/host;x-bce-
    date/b1ad7075b37616b846a356d1db86e73abba1aed51b4d7b0d95321f69f17250b1
    
    • 响应示例
    HTTP/1.1 200 OK
    x-bce-request-id:73c4e74c-3101-4a00-bf44-fe246959c05e
    Cache-Control: no-cache
    Server: BWS
    Date: Tue, 24 Mar 2015 13:02:01 GMT
    Content-Type: application/json;charset=UTF-8 
    {
        "evaluateId": "evaluate-a0x532fdmt01",
        "modelId": "model-fdslkj454jd3",
        "datasetId": "dataset-cgfd32fdmt01",
        "evaluatePara": {
        },
        "status": {
            "value": 0,
            "message": "BML job completed successful",
            "time": "2015-07-09T15:00:38Z"
        },
        "history": [
        {
            "value": 1,
            "message": "BML job submit successful",
            "time": "2015-07-09T14:53:53Z"
        },
        {
            "value": 2,
            "message": "BML job startup",
            "time": "2015-07-09T14:55:13Z"
        },
        {
            "value": 4001,
            "message": "LR evaluate:startup",
            "time": "2015-07-09T14:55:15Z"
        },
        {
            "value": 4002,
            "message": "LR evaluate:loading configure data",
            "time": "2015-07-09T14:55:17Z"
        },
        ......
        {
            "value": 0,
            "message": "BML job completed successfull",
            "time": "2015-07-09T15:00:38Z"
        }           
        ],
        "result": {
            "auc": 0.74,
            "roc": "0.0,0.0;0.000054057,0.000420875;......;0.419816,0.499579;0.580203,0.746212;0.860184,0.924663",
            "pr": "0.000420875,0.0833333;0.000420875,0.0769231;......;0.746633,0.0147892;0.924663,0.0123772"
        },
            "createTime" : "2015-07-09T14:53:53Z",
            "finishTime" : "2015-07-09T15:00:38Z"
    
    }
    

查询模型评估列表

  • 接口描述

    查询用户某个模型的评估信息列表

  • 请求(Request)

    • 请求语法:
    GET /v{version}/modelEvaluate?&modelId={modelId}&marker={marker}&maxKeys={maxKeys} HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: {utc-date-string}
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization:{bce-authorization-string}
    
    • 请求头域:无特殊Header参数

    • 请求参数:

参数名 参数类型 必要性 参数描述
version String 必选 API版本号,当前取值1
modelId String 必选 要查询评估列表的模型ID
marker String 可选 批量获取列表的查询的起始位置,是一个由系统生成的字符串
maxKeys Int 可选 每页包含的最大数量,最大数量不能超过1000。
大于1000的会被修正为1000。缺省值为1000
  • 响应(Response)

    • 响应头域:无特殊Header参数

    • 响应参数:

参数名 参数类型 参数描述
marker String 标记查询的起始位置
truncated Boolean true表示后面还有数据,false表示已经是最后一页
nextMarker String 获取下一页所需要传递的marker值。当truncated为false时,该域不出现
modelEvaluateList List 返回的该模型的评估信息列表
  • 示例

    • 请求示例
    GET /v1/modelEvaluate?modelId=model-fdslkj454jd3&marker=9e0c8cf1-690c-444a-8727-04241f3beaa5&maxKeys=30 HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: 2015-03-24T13:02:00Z
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:04:26Z/1800/host;x-bce-date/b1ad7075b37616b846a356d1db86e73abba1aed51b4d7b0d95321f69f17250b1
    
    • 响应示例
    HTTP/1.1 200 OK
    x-bce-request-id:73c4e74c-3101-4a00-bf44-fe246959c05e
    Cache-Control: no-cache
    Server: BWS
    Date: Tue, 24 Mar 2015 13:02:01 GMT
    Content-Type: application/json;charset=UTF-8 
    {
        "modelEvaluateList": [
        {
            "evaluateId": "evaluate-a0x532fdmt01",
            "modelId": "model-fdslkj454jd3",
            "datasetId": "dataset-cgfd32fdmt01",
            "evaluatePara": {
            },
            "status": {
                "value": 0,
                "message": "BML job completed successful",
                "time": "2015-07-09T15:00:38Z"
            },
            "createTime" : "2015-07-09T14:53:53Z",
            "finishTime" : "2015-07-09T15:00:38Z" 
        },
        {
            "evaluateId": "evaluate-b3y822dzcy25",
            "modelId": "model-fdslkj454jd3",
            "datasetId": "dataset-zxd2a5f5329a",
            "evaluatePara": {
                "realCommDatasetId": "dataset-laq3e4bee37b"
            },
            "status": {
                "value": 12001,
                "message": "CF evaluate:startup",
                "time": "2015-07-09T17:03:21Z"
            },
            "createTime" : "2015-07-09T14:53:53Z",
            "finishTime" : ""
    
        },
        ...... 
        ],
        "truncated": false,
        "marker": "9e0c8cf1-690c-444a-8727-04241f3beaa5"
    }
    

终止模型评估

  • 接口描述

    对于正在评估中的模型评估,进行终止操作。

  • 请求(Request)

    • 请求语法:
    PUT /v{version}/modelEvaluate/{evaluateId} HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: {utc-date-string}
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization:{bce-authorization-string}
    
    • 请求头域:无特殊Header参数

    • 请求参数:

参数名 参数类型 必要性 参数描述
version String 必选 API版本号,当前取值1
evaluateId String 必选 要终止评估的模型评估ID。
该模型评估必须为正在评估中的状态,即当前status的value字段大于0
  • 响应(Response)

    • 响应头域:无特殊Header参数
    • 响应参数:
参数 参数类型 参数描述
evaluateId String 模型评估ID
  • 示例

    • 请求示例
    PUT /v1/modelEvaluate/evaluate-uust14dkpt23 HTTP/1.1
    accept-encoding: gzip, deflate
    x-bce-date: 2015-03-24T13:02:00Z
    connection: keep-alive
    accept: */*
    host: bml.bj.baidubce.com
    content-type: application/json
    authorization: bce-auth-v1/46bd9968a6194b4bbdf0341f2286ccce/2015-03-24T13:04:26Z/1800/host;x-bce-date/b1ad7075b37616b846a356d1db86e73abba1aed51b4d7b0d95321f69f17250b1
    
    • 响应示例
    HTTP/1.1 200 OK
    x-bce-request-id:73c4e74c-3101-4a00-bf44-fe246959c05e
    Cache-Control: no-cache
    Server: BWS
    Date: Tue, 24 Mar 2015 13:02:01 GMT
    Content-Type: application/json;charset=UTF-8
    {
        "evaluateId" : "evaluate-uust14dkpt23"
    }