语言处理技术

    常见问题

    Q:自然语言处理能力是否支持英文或其他外文?
    A:因训练语料大多为中文,故目前在中文领域内效果较好,英文或其他外文暂不支持。

    Q:输入编码是什么?
    A:目前仅支持输入GBK编码,需要您在输入前进行转码处理。

    Q:词向量表示具备多少维度?
    A:我们提供1024维的词向量表示,后续版本会考虑提供降维版本以适用于不同场景。

    Q:中文DNN语言模型对文本个数有什么限制?输入编码是什么?
    A:最大长度10240字节,大约为5120个汉字,支持GBK编码输入,不需要切词。

    Q:中文DNN语言模型中英文混杂怎么办?
    A:模型词表中包含常用高频英文单词,也可以进行匹配。

    Q:为什么很多词的词义相似度都是1?
    A:尽管词向量的词表在百万量级,但仍有可能出现不在词表中的词,不在词表中的词统一映射到OOV(out-of-vocabulary)中,所以当词对中的两个词都是OOV的时候,相似度为1。

    Q:短文本相似度对文字字数有什么限制?
    A:最大长度512字节,大约为266个汉字,但字数过多或过少会对效果略有影响。

    Q:短文本相似度计算,中英文混杂怎么办?
    A:模型词表中包含常用高频英文单词,对中文语境中的“中英混排”文本可以很好的进行匹配。

    Q:为什么有时短文本相似度计算没有返回结果?
    A:有结果返回的前提条件是文本中的单词被词表收录,尽管模型词表很大(百万级),但仍然偶尔会出现不在词表的问题,当文本所有单词都不在词表中的时候,会得不到结果。

    Q:评论观点抽取对输入的评论长度有限制么?
    A:最大长度10240字节,大约为5120个汉字。

    Q:评论观点抽取可以标记挖掘出观点的文本位置吗?
    A:可以的,输出结果中包含观点标签在原始文本中的位置。例如可以标记出:这家旅店服务还是不错的。

    Q:评论观点抽取支持自定义词典上传吗?
    A:评论观点抽取定制版已于2018.7月正式开放,可支持用户自行上传扩展13个垂类的表述观点词表内容,以保证定义和抽取更丰富的评论内容,具体可参见官网文档介绍与功能介绍。

    Q:评论观点抽取可以批量上传并总结好标签及个数吗?
    A:可以利用接口实现该功能。接口可以实现对每个评论的评论观点标签抽取和极性分析,多次调用即可实现多评论的标签挖掘和分析。

    Q:情感倾向分析可以分析哪些情感类型?
    A:目前分析的情感极性分为积极、消极、中性。

    Q:情感倾向分析与对话情绪识别有何差异?
    A:对话情绪识别是对用户对话场景下的语言是正向/中性/负向(如:你好厉害啊/烦死啦)的一种直观检测,而情感分析更倾向于分析对某个客体(如:电影、书籍)所表达出来的喜好/讨厌程度,两者在对应场景下的效果最优,否则将会一定程度影响识别准确率。

    更多问题,这里交流:https://ai.baidu.com/forum/topic/list/169