logo

作业4:复现SQLCoder 调优过程

对比SQLCoder-7B和ERNIE-Bot 4.0,使用提取SFT训练数据集中某一个问题回答,SQLCoder和ERNIE都回答错误,SQLCoder没有加筛选调解,ERNIE加了筛选条件但没有取平均和求和,ERNIE可以认为是对没有源数据库数据所以对数据内容不理解导致,而SQLCoder的错误完全不应该;另外又问了一个同比和环比问题,ERNIE回答的SQL简练而SQLCoder冗长;测试了,在实际业务中表命名以表中数据日期结尾的命名方式,SQLCode无法理解而ERNIE能正常理解并回答正确。
总体,测试下来ERNIE完胜。
评论
用户头像