千帆模型升级流式输出体验
更新时间：2024-09-24
文心大模型ERNIE-3.5、ERNIE-4.0、ERNIE-4.0-Turbo主线接口，升级优化了流式输出逻辑，流式输出更接近打字机效果，体验更加流畅，升级前后效果对比可参考本文内容。本文以ERNIE-3.5-8K为例，进行说明。
升级前
使用sdk打印包间延时
import os
import qianfan
# 使用安全认证AK/SK认证，即使用安全认证Access Key、Secret Key
#os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
#os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
# 使用千帆应用AK/SK接入认证，即使用千帆应用API Key、Secret Key
os.environ["QIANFAN_AK"] = "应用API Key"
os.environ["QIANFAN_SK"] = "应用Secret Key"
# 指定模型ERNIE-3.5-8K
chat = qianfan.ChatCompletion(model="ERNIE-3.5-8K")
resp = chat.do(messages=[{
"role": "user",
"content": "推荐一条上海旅游路线"
}], stream=True)
for r in resp:
print(r.statistic['request_latency'],repr(r['result']))升级前效果
[INFO][2024-07-25 11:23:25.961] oauth.py:228 [t:8020548672]: trying to refresh access_token for ak `F191Xc***`
[INFO][2024-07-25 11:23:26.054] oauth.py:243 [t:8020548672]: sucessfully refresh access_token
2.700159 '**上海'
4.9627740000141785 '旅游路线推荐**\n\n**第一天：历史文化与现代交融**\n\n* **上午**：\n\n\t+ **广富林遗址**：位于上海市松江区广富林路'
0.553929416986648 '，是新石器时代遗址，具有深厚的文化底蕴。'
1.9472450840403326 '参观过程中，可以深入了解“广富林文化”与中原“龙山文化”和浙江“良渚文化”的渊源。'
3.8743575839907862 '\n\n* **下午**：\n\n\t+ **外滩**：漫步在外滩，欣赏黄浦江两岸的风光，特别是夜晚的外滩，灯光璀璨，美不胜收'
0.05884149996563792 '。'
1.3557952090050094 '同时，可以近距离观赏到“外滩万国建筑博览群”，感受上海独特的城市风貌。'
3.405650916043669 '\n\n**第二天：文艺与时尚体验**\n\n* **上午**：\n\n\t+ **徐汇老洋房区**：游览徐汇区的老洋房区，包括永福'
1.1673279579845257 '路、复兴西路、五原路、武康路等。'
2.6124807079904713 '这里曾是法租界，有许多历史建筑和名人故居，可以感受到老上海的韵味。'
1.5825263329898007 '\n\n\t+ **武康大楼**：作为地标式建筑，武康大楼是必打卡之地。'
2.0759432910126634 '这座典型的法国文艺复兴建筑式样的大楼，是上海最早的外廊式公寓建筑。'
2.9777757080155425 '\n\n* **下午**：\n\n\t+ **田子坊**：从武康路出发，前往田子坊。'
1.8770414580358192 '这里是由上海最具特色的石库门里弄演变而来，是文艺青年的聚集地，有很多小店和咖啡馆，适合悠闲地逛逛。'
3.8647846250096336 '\n\n**第三天：乐园与美食之旅**\n\n* **上午**：\n\n\t+ **上海迪士尼乐园**：体验童话世界，尽情享受迪士尼的欢乐氛围。'
0.6889234170084819 '记得提前购买门票和规划好游玩路线。'
2.3091887909686193 '\n\n* **下午**：\n\n\t+ **南京路步行街**：从迪士尼返回市区后，前往南京路步行街逛逛，这里有很多品牌老店和'
0.1929511249763891 '特色小吃。'
3.7045983750140294 '\n\n\t+ **美食体验**：在上海的最后一天，不妨品尝一下上海的特色美食，如小笼包、生煎包、红烧肉、酱鸭'
0.1348226250265725 '等。'
1.132838833029382 '这些美食都能在上海的各大餐馆和小吃店找到。'
1.2778665410005488 '\n\n以上就是推荐的上海三日游路线，希望你在上海度过一个愉快的假期！'
0.062321499979589134 ''升级后
使用sdk打印包间延时
import os
import qianfan
# 使用安全认证AK/SK认证，即使用安全认证Access Key、Secret Key
#os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
#os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
# 使用千帆应用AK/SK接入认证，即使用千帆应用API Key、Secret Key
os.environ["QIANFAN_AK"] = "应用API Key"
os.environ["QIANFAN_SK"] = "应用Secret Key"
# 指定模型ERNIE-3.5-8K
chat = qianfan.ChatCompletion(model="ERNIE-3.5-8K")
resp = chat.do(messages=[{
"role": "user",
"content": "推荐一条上海旅游路线"
}], stream=True)
for r in resp:
print(r.statistic['request_latency'],repr(r['result']))升级后效果
[INFO][2024-08-01 16:58:43.319] oauth.py:228 [t:8646042176]: trying to refresh access_token for ak `iHvWvW***`
[INFO][2024-08-01 16:58:43.569] oauth.py:243 [t:8646042176]: sucessfully refresh access_token
2.387778 '推荐一条'
0.11582841700874269 '为期四'
0.009211374999722466 '天的上海'
0.06351425001048483 '旅游路线'
0.07006691599963233 '，这条'
0.07123833301011473 '路线将'
0.06696470800670795 '涵盖上海'
0.09819170800619759 '的经典景点'
0.04125983398989774 '、历史文化'
0.10425408399896696 '区域以及'
0.029571208986453712 '现代娱乐'
0.07051774999126792 '设施，'
0.07268237500102259 '确保您能'
0.0668886250059586 '充分体验'
0.07086399997933768 '上海的多元'
0.06639141699997708 '魅力。'
0.16447545800474472 '\n\n### 上海'
0.04807858300046064 '四日游'
0.07409112498862669 '路线推荐'
0.1400592910067644 '\n\n#### '
0.0676024169952143 '第一天：'
0.06523533401195891 '外滩与'
0.11459166699205525 '老城文化'
0.09190170798683539 '探索\n\n-'
0.06486204199609347 ' **上午'
0.07410741702187806 '**：'
0.0649150829995051 '从**'
0.07160804100567475 '外滩**'
0.15794404098414816 '开始您的'
0.00023100001271814108 '旅程，'
0.04962091601919383 '这里是上海的'
0.0703154579969123 '标志性景点'
0.0682404580002185 '，黄'
0.07004529199912213 '浦江畔'
0.06799508302356116 '的风光'
0.07311112497700378 '与对岸'
0.13036883299355395 '的摩天'
0.006885250011691824 '大楼相映'
0.0698195000004489 '成趣'
0.08398799999849871 '。您'
0.054258499993011355 '可以在此'
0.07196233398281038 '漫步，'
0.06597441699705087 '欣赏到'
0.1624240829842165 '东方明珠'
8.275001891888678e-05 '、金'
0.05016375001287088 '茂大厦'
0.06443208400742151 '等标志性'
0.06904829200357199 '建筑的壮丽'
0.070253457990475 '景色。'
0.14206262500374578 '\n \n-'
0.12831200001528487 ' **中午'
0.009784041991224512 '**：'
0.06640004098881036 '在外滩'
0.06882479198975489 '附近的餐厅'
0.3808249169960618 '享用午餐'
0.019228374992962927 '，体验'
0.05882404200383462 '上海本'
0.06115687501733191 '帮菜'
0.06451391699374653 '或国际'
0.06237825000425801 '美食。'
0.12695316699682735 '\n\n- **'
0.13062549999449402 '下午**'
9.441698784939945e-05 '：前往'
0.06221870900481008 '**老城'
0.16358074999880046 '隍庙旅游区'
0.06059904201538302 '**，参观'
0.06415329201263376 '历史悠久的城'
0.1752647910034284 '隍庙，'
0.05427600000984967 '感受古老的'
0.08267445900128223 '宗教文化氛围'
0.04593220801325515 '。随后'
0.06624666700372472 '，漫步'
0.059106500004418194 '至**'
0.06513991698739119 '豫园'
0.1502155830094125 '**，这里'
7.816700963303447e-05 '不仅有精美的'
0.05594312498578802 '古典园林'
0.05080745799932629 '，还有'
0.06803412499721162 '众多特色'
0.059909625008003786 '小吃店'
0.06241883401526138 '，让您'
0.06404974998440593 '在品味'
0.06364345800830051 '美食的同时'
0.10039691600832157 '，体验'
0.029049834003672004 '江南园林'
0.0663625419838354 '的韵味'
0.12801233300706372 '。\n\n-'
0.06237458297982812 ' **傍晚'
0.06482554200920276 '**：'
0.06381862499983981 '前往**'
0.10788025002693757 '南京路'
0.026903624995611608 '步行街**，'
0.05773500000941567 '这里是上海的'
0.06876108300639316 '购物天堂'
0.06351820900454186 '，拥有'
0.06465625000419095 '众多国际'
0.06161375000374392 '品牌和老字号'
0.06477687499136664 '店铺，'
0.11389874998712912 '适合购物'
0.016376708023017272 '和休闲'
0.1262611249985639 '。\n\n####'
0.06464870800846256 ' 第二天'
0.0651761670014821 '：文化'
0.06492812500800937 '艺术与历史'
0.20255879100295715 '遗迹\n\n-'
7.174999336712062e-05 ' **上午'
0.056955167005071416 '**：'
0.06538858299609274 '参观**'
0.136777792009525 '上海博物馆'
0.037154250021558255 '**，这里'
0.018515250005293638 '收藏了大量'
0.06487574998755008 '珍贵的文物'
0.12906679100706242 '，是'
0.0064793750061653554 '了解中国古代'
0.05867145798401907 '文化艺术的'
0.07085966700105928 '绝佳场所'
0.14903270799550228 '。\n\n-'
0.05818037499557249 ' **中午'
0.05907720798859373 '**：'
0.18945520801935345 '在附近'
0.00020108299213461578 '的餐厅'
0.00012087501818314195 '享用午餐'
0.14920487502240576 '，尝试'
0.02977316701435484 '更多上海'
0.004806791985174641 '特色美食'
0.13212779199238867 '。\n\n-'
0.14232495898613706 ' **下午'
0.0039053749933373183 '**：'
0.04681341702234931 '前往**'
0.06722962501225993 '武康'
0.061685958004090935 '路**'
0.06468874998972751 '和**'
0.062129958998411894 '安福'
0.06680729100480676 '路**，'
0.15929524999228306 '这两条充满'
0.00028100001509301364 '法式风'
0.03534329202375375 '情的街道'
0.05901312499190681 '是拍照'
0.0638698750117328 '和街'
0.06571716701728292 '拍的好'
0.06272149999858811 '去处。'
0.0630199589941185 '您可以漫步'
0.06774749999749474 '在这些街道上'
0.17422529100440443 '，感受'
0.017111458990257233 '上海的文艺'
0.02710370800923556 '气息，'
0.06218466701102443 '同时探访'
0.07170387500082143 '一些名人'
0.07011245799367316 '故居和历史'
0.06666833400959149 '建筑，'
0.13716974999988452 '如武'
0.00018170897965319455 '康大楼'
0.13957904200651683 '。\n\n-'
0.07392716701724567 ' **傍晚'
0.061861166992457584 '**：'
0.08688175000133924 '前往**'
0.16137508300016634 '复兴公园'
0.00017616699915379286 '**，这是一'
0.029616457992233336 '座保留'
0.06853975000558421 '法国古典'
0.0673333750164602 '式风格的'
0.0751190000155475 '园林，'
0.07086804101709276 '适合散步'
0.06453583302209154 '和休息'
0.14698874999885447 '。\n\n####'
0.0630016670038458 ' 第三天'
0.07107095798710361 '：现代'
0.06213945901254192 '都市体验'
0.20125016698148102 '\n\n- **'
0.00902745799976401 '上午**'
0.11807062500156462 '：前往'
0.2951115000178106 '**陆家'
0.06404595798812807 '嘴金融'
0.06670179098728113 '区**，'
0.11087291699368507 '参观**'
0.021064833010314032 '东方明珠'
0.06420495800557546 '广播电视塔'
0.06953237499692477 '**和'
0.06027300001005642 '**上海'
0.06348520799656399 '中心大厦'
0.06750637499499135 '**观景台'
0.0652532080130186 '，俯'
0.17594491699128412 '瞰整个上海'
0.04823879199102521 '的城市风光'
0.13947187500889413 '。\n\n-'
0.05373391599277966 ' **中午'
0.06661316601093858 '**：'
0.14118291597696953 '在陆家'
8.1458012573421e-05 '嘴地区的'
0.06060216698097065 '餐厅享用'
0.05233891698298976 '午餐，'
0.07335895800497383 '体验高'
0.054007041006116197 '端餐饮'
0.06574245897354558 '文化。'
0.2170955000037793 '\n\n- **'
0.0015724579861853272 '下午**'
0.05399379099253565 '：前往'
0.04914541699690744 '**田'
0.06576279198634438 '子坊'
0.06461704199318774 '**，这是一个'
0.07420241701765917 '充满艺术'
0.060050792002584785 '气息的创意'
0.06008079097955488 '园区，'
0.10035095800412819 '由旧'
0.07651458299369551 '弄堂'
0.01725308399181813 '改造而成'
0.0600346669962164 '，现在'
0.06307720800396055 '聚集了'
0.0729732499748934 '众多艺术家'
0.06319962500128895 '工作室、'
0.0576850000070408 '咖啡馆、'
0.11583504200098105 '小店等'
0.04223049999563955 '，是'
0.03540741701726802 '体验上海'
0.06959987498703413 '现代都市'
0.06360195801244117 '文化的好'
0.06715133300167508 '去处。'
0.12426308399881236 '\n\n- **'
0.12025033301324584 '傍晚**'
0.013278083002660424 '：如果'
0.06058745799236931 '时间允许'
0.061949499999172986 '，可以'
0.06678175000706688 '前往**'
0.06615125000826083 '新天'
0.06606758400448598 '地**，'
0.061983207997400314 '这是一个集'
0.12056658300571144 '时尚、'
0.05620462499791756 '餐饮、'
0.026066708989674225 '娱乐于一体的'
0.06254237500252202 '休闲区'
0.06164179201005027 '，晚上'
0.06306462499196641 '更加热闹'
0.1514555829926394 '。\n\n####'
0.1015297909907531 ' 第四天'
0.007782791013596579 '：迪士尼'
0.06647650001104921 '乐园奇幻'
0.12585908299661241 '之旅\n\n-'
0.06282875000033528 ' **全天'
0.06565841598785482 '**：'
0.06441779198939912 '前往**'
0.1318075410090387 '上海迪士尼'
0.00020433301688171923 '乐园**，'
0.05922262501553632 '这是一个'
0.06974741700105369 '充满欢乐'
0.061490500025684014 '和梦想'
0.0632249999907799 '的地方。'
0.06631424999795854 '在这里，'
0.062212082993937656 '您可以与'
0.14615449999109842 '迪士尼的'
0.00022829099907539785 '卡通人物'
0.04852116698748432 '亲密互动'
0.06540875000064261 '，体验'
0.062345624988665804 '各种刺激的'
0.06576033399323933 '游乐设施'
0.061999249999644235 '，观看'
0.06691258301725611 '精彩的表演'
0.1515458329813555 '和巡'
0.00035958399530500174 '游，'
0.039382874994771555 '度过一个'
0.06595966700115241 '难忘的童话'
0.06711891599115916 '日。'
0.12484699999913573 '\n\n这条路线'
0.06510333399637602 '覆盖了上海'
0.06577129199285991 '的经典景点'
0.09282262498163618 '、历史文化'
0.054538583994144574 '区域和现代'
0.04653433299972676 '娱乐设施'
0.06512458299403079 '，希望能'
0.06450220799888484 '为您的'
0.06604029098525643 '上海之旅'
0.06138216602266766 '带来愉快的'
0.06836145900888368 '体验。'
0.10241079202387482 ''