文本向量表征工具：从Word2Vec到BERT：RankBM25与CoSENT

文本向量表征工具，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT，开箱即用
随着人工智能和自然语言处理技术的快速发展，文本向量表征已成为许多应用场景中的关键技术。文本向量表征工具可以将文本信息转化为高维度的向量表示，从而支持文本相似度计算、文本分类、情感分析等任务。本文介绍一种文本向量表征工具，它实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等多种算法，并具有开箱即用的特点。
Word2Vec是一种经典的文本向量表征算法，它通过训练语料库学习单词的语义信息，将每个单词表示为一个高维度的向量。Word2Vec分为Skip-Gram和Continuous Bag of Words两种模型，可以有效地计算文本相似度。然而，Word2Vec只能考虑单词级别的信息，无法利用句子或文档级别的语义信息。
RankBM25是一种基于信息检索的文本向量表征算法，它通过学习一个排序模型来优化检索结果。RankBM25可以学习句子或文档级别的语义信息，并用于文本分类、情感分析和推荐系统等任务。与Word2Vec不同，RankBM25通过考虑上下文信息来学习文本向量，可以更准确地表示文本的语义信息。
近年来，Transformer结构在自然语言处理领域取得了巨大的成功。BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的深度学习模型，可以学习文本的深层次语义信息。BERT分为Token-BERT和Sentence-BERT两种模型，可以有效地表示单词和句子级别的语义信息。
CoSENT（Consensus-based Sentence Embedding）是一种基于多任务学习的文本向量表征算法，它通过训练多个不同的任务来学习句子级别的语义信息。CoSENT可以应用于文本分类、情感分析、摘要生成等任务，并取得了优秀的性能。与Token-BERT和Sentence-BERT不同，CoSENT可以同时考虑多个任务的训练信号，从而更好地表示文本的语义信息。
本