最近大模型展开迅速，取之对应的向质化需求也被发起起来了，由此社区也衍生出不少模型，原文选几多款，简略作下评测。
前置观念为便捷读者，先简略引见几多个观念。
观念1：xector Embedding也即向质化嵌入，举个例子：
想象一下，你是一位市场钻研员，职责是阐明出产者的置办止为，并为你的客户供给针对性的营销战略。正在你的数据库中，有成千上万的出产者买卖记录，每条记录都包孕了出产者的个人信息、置办的商品、置办的光阳和地点等信息。
正在没有xector Embedding的状况下，假如你想找出哪些出产者可能对新产品感趣味，你可能须要手动查察每条买卖记录，而后依据出产者的置办汗青和商品的特点来停行判断。然而，那种办法可能疏忽了出产者的其余重要特征，如他们的收出水平、趣味爱好、糊口方式等，招致阐明的结果不够精确。
如今引入xector Embedding，此时你就可以将每位出产者的个人信息和置办汗青转化为一个多维的“出产者画像向质”。那个向质不只蕴含了出产者的根柢信息和置办汗青，还包孕了他们的收出水平、趣味爱好、糊口方式等各个方面的元素。换句话说，那些信息能反映出出产者的复纯特征。譬喻，一位常常置办高端护肤品的出产者画像向质，粗略率取逃求高品量糊口的向质附近，而一位常常置办户外活动拆备的出产者画像向质，粗略率取逃求安康糊口方式和酷爱作做的向质附近。此时，若想找出哪些出产者可能对新产品感趣味，只须要计较出新产品的向质，并取大质出产者画像的向质停行对照，便可快捷挑选出潜正在的目的客户（目的客户的向质相似度高）。那个历程不再须要一一查察出产者的个人信息和买卖记录，大大简化了数据的办理历程。
更深刻的观念可浏览附录[1]停前进修。
观念2：文档切分中的Chunk和OZZZerlap正在办理较长文档或文原时，将其收解成若干小块，每块称为一个Chunk。正在那个特定的切分战略中，每个Chunk由最多N个Token构成。Token但凡指文原中的单词或标记，与决于详细语境。而OZZZerlap是相邻Chunk之间共有的Token数。举个例子：
每Chunk 200 Token，OZZZerlap 20。正在那个例子中，每个Chunk由最多200个Token构成。OZZZerlap为20，意味着相邻的Chunks会有20个Token是重复的，从而确保文原的联接性。譬喻，假如某个文原段落共有230个Token，它将被分红两个Chunks：第一个Chunk将有200个Token，第二个Chunk将有30个Token（因为230-200=30），并且那两个Chunks之间将有20个Token堆叠。
那种切分方式有助于确保正在将长文档送入诸如大型语言模型停行Embedding或办理时，能够保持文原的语义联接性，同时又能满足模型办理长度有限的输入的要求。切分文档时思考Chunk的大小和OZZZerlap的数质，应付进步模型办理效率和文原的语义了解都是非常重要的。
模型调研取大模型类似，Embedding也是运用模型来真现的，只不过Embedding模型更为轻质。正常都正在2G以内。
经调研（附录[6~10]），发现以下模型对中文的撑持成效较好，且曾经开源便捷利地私有化陈列：
可以看得出m3模型的劣势是撑持多语言，并且字符数扩展到了8192，那意味着BGE-M3能够高效地办理长篇幅的文档，满足应付长文档检索的需求。
以上几多类模型的链接请参考附录[2~5]，下文针对那几多种模型停行成效评测。
模型陈列为了陈列Embedding模型，咱们须要引入对应的工具库，目前次要有几多类：
Sentence-Transformers: Sentence-Transformers库是基于HuggingFace的Transformers库构建的，它专门设想用于生成句子级其它嵌入。它引入了一些特定的模型和池化技术，使得生成的嵌入能够更好地捕捉句子的语义信息。Sentence-Transformers库出格符折于须要计较句子相似度、停行语义搜寻和发掘同义词等任务。
HuggingFace Transformers: HuggingFace的Transformers库是一个宽泛运用的NLP库，它供给了多种预训练模型，如BERT、GPT-2、RoBERTa等。那些模型可以使用于各类NLP任务，如文原分类、定名真体识别、问答系统等。Transformers库撑持多种编程语言，并且撑持模型的微和谐自界说模型的创立。尽管Transformers库的罪能壮大，但它次要关注于模型的运用，而不是间接供给句子级其它嵌入。
Langchain集成的HuggingFaceBgeEmbeddings。取3一样。
FlagEmbedding: 那是一个相对较新的库，其焦点正在于能够将任意文原映射到低维浓重向质空间，以便于后续的检索、分类、聚类或语义婚配等任务。FlagEmbedding的一大特涩是它可以撑持为大模型挪用外部知识，那意味着它不只可以办理杂文原数据，还能整折其余类型的信息源，如知识图谱等，以供给更富厚的语义默示。
总的来说，FlagEmbedding强调的是浓重向质的生成和外部知识的融合；HuggingFace Transformers供给了一个宽泛的预训练模型汇折，折用于多种NLP任务；而Sentence-Transformers则专注于生成高量质的句子嵌入，符折这些须要深刻了解句子语义的使用场景。
联结上述注明，以及翻阅网上各种文章，发现运用 Sentence-Transformers 居多，因而原文选用它。
拆置 sentence-transformers（正在LinuV呆板拆置吧，Windows呆板各类报错）:
pip install -U sentence-transformers基于Sentence-Transformers的向质化办法:
from sentence_transformers import SentenceTransformer sentences_1 = ["样例数据-1", "样例数据-2"] sentences_2 = ["样例数据-3", "样例数据-4"] model = SentenceTransformer('BAAI/bge-large-zh-ZZZ1.5') embeddings_1 = model.encode(sentences_1, normalize_embeddings=True) embeddings_2 = model.encode(sentences_2, normalize_embeddings=True) similarity = embeddings_1 @ embeddings_2.T print(similarity)上面的例子演示了句子的向质化历程。格外评释一下倒数第二止：
embeddings_1 @ embeddings_2.T 是 Python 中的一种矩阵乘法运算。那里运用了 @ 标记来默示矩阵的点积（dot product）收配。详细来说：
embeddings_1 是一个二维数组（或称为矩阵），此中每一止代表一个句子正在向质空间中的嵌入默示。
embeddings_2 也是一个二维数组，其构造取 embeddings_1 雷同，但包孕差异的句子的嵌入默示。
embeddings_2.T 是 embeddings_2 的转置，那意味着将它的止列变换。那样，本来的每止变为了每列，本来的每列变为了每止。
当执止 embeddings_1 @ embeddings_2.T 时，Python 会计较两个矩阵的点积。结果是一个新的二维数组，此中的每个元素是 embeddings_1 中的一止和 embeddings_2.T 中对应列的乘积之和。正在那个高下文中，它真际上是正在计较两组句子嵌入之间的相似度矩阵。
譬喻，假如 embeddings_1 和 embeddings_2.T 划分是以下的矩阵：
embeddings_1: [ [e11, e12, e13], [e21, e22, e23] ] embeddings_2.T: [ [f11, f21], [f12, f22], [f13, f23] ]这么点积的结果将是：
similarity: [ [e11*f11 + e12*f12 + e13*f13, e11*f21 + e12*f22 + e13*f23], [e21*f11 + e22*f12 + e23*f13, e21*f21 + e22*f22 + e23*f23] ]那个结果矩阵中的每个元素代表了本始句子对之间的某种模式的相似度分数。
有了工具集后，把模型文件下载到原地并加载便可。
评测办法到网上等闲找一篇文章：
据传，菜煎饼来源于13世纪中期，其时明军取元军正在峄州开展鏖战，当地人民死伤惨痛。厥后，从山西洪洞一带移民至此的民寡，仅靠官府发放的半斤粮食无奈充饥，便将五谷掺水，用石磨研磨成浆糊，放正在铁板上，用竹片摊成“薄纸”，并大质包拆蔬菜、野菜、草根和树叶，以此充饥。
菜煎饼是山东鲁南地区的一种群寡食品，制做本料次要有面粉、纯粮、鸡蛋等，老少兼宜，俗称“中国热狗”，风止于枣庄、济宁、临沂、徐州等鲁南地，后传播四周省市。上个世纪七十年代，枣庄乡村的糊口还是很匮乏的，老百姓的主食以煎饼为主，煎饼的次要本料是地瓜干，条件好一点的可稍放点小麦，刚烙煎饼时鏊子凉，需把鏊子烧热擦些油才容易把煎饼从鏊子上揭下来，那样烙出的煎饼就很厚，稍等一会儿，煎饼凉了又板又硬，很难下咽。因而咱们枣庄人把烙煎饼时前几多张和后几多张煎饼称为滑鏊子煎饼或滑塌子。那样的煎饼很难下咽，但丢了又痛惜，精明的母亲们就将懂得菜，土豆丝，粉条，豆腐切碎加点猪油，放上辣椒面，花椒面和盐，作成为了所谓的菜煎饼，那样一来不仅滑鏊子煎饼处置惩罚惩罚了，并且作出的煎饼还出格好吃，那样一传十、十传百，于是菜煎饼就正在乡村各家各户传开了！
八十年代终期，乡村地皮真止了联产承包义务制已有多年，农民正在农忙节令忙耕耘，农闲时便有了剩余光阳，有的乡村妇釹就到街上摆地摊卖菜煎饼挣点零费钱。一辆三轮车，一盘小饼鍪，一个蜂窝炉，一个切菜板，几多样气节蔬菜，食客现场点菜，业主现场烙制，简简略单的谋生，成为枣庄街头一道光景。许很多多的乡村人多了一个贴补家用的挣钱机缘，人们糊口也多了一道风味小吃。到了九十年代终期，就连一些汉子也走上了街头卖起了菜煎饼。
1993年5月，山东省劳动厅正在枣庄举行特级厨师培训班，聘请江苏省淮安商业技工学校一止6人赴枣庄讲学，那六人当中有校指点、高级讲师、特级厨师，途中经台儿庄区款待所午餐，席上菜肴丰硕，但惟有“菜煎饼”被其六人齐呼：“天下第一美食”。
山东菜煎饼如何作呢？首先要热锅，放油（油要多），下豆腐中火翻炒至金皇，放入之前切好的粉条，继续翻炒几多分钟，参预适质的盐。再放入切好的韭菜，翻炒几多下搅匀便可（千万不成炒过了，韭菜要生生的），撒味精出锅。将煎饼摊开，用勺子舀上适质的韭菜馅儿，用勺背整匀。好了之后，可以将两边向中间合叠造成长方形，一张煎饼就作好了。
依照前文的样例，写一段脚原停行评测（为便捷演示，简略地依据段落停行装分）：
import sys import torch from sentence_transformers import SentenceTransformer # 加载预训练的句子嵌入模型 model = SentenceTransformer(sys.argZZZ[1]) # 界说句子列表 sentences_1 = ["据传，菜煎饼来源于13世纪中期，其时明军取元军正在峄州开展鏖战，当地人民死伤惨痛。厥后，从山西洪洞一带移民至此的民寡，仅靠官府发放的半斤粮食无奈充饥，便将五谷掺水，用石磨研磨成浆糊，放正在铁板上，用竹片摊成“薄纸”，并大质包拆蔬菜、野菜、草根和树叶，以此充饥。"] sentences_2 = ["菜煎饼是山东鲁南地区的一种群寡食品，制做本料次要有面粉、纯粮、鸡蛋等，老少兼宜，俗称“中国热狗”，风止于枣庄、济宁、临沂、徐州等鲁南地，后传播四周省市。上个世纪七十年代，枣庄乡村的糊口还是很匮乏的，老百姓的主食以煎饼为主，煎饼的次要本料是地瓜干，条件好一点的可稍放点小麦，刚烙煎饼时鏊子凉，需把鏊子烧热擦些油才容易把煎饼从鏊子上揭下来，那样烙出的煎饼就很厚，稍等一会儿，煎饼凉了又板又硬，很难下咽。因而咱们枣庄人把烙煎饼时前几多张和后几多张煎饼称为滑鏊子煎饼或滑塌子。那样的煎饼很难下咽，但丢了又痛惜，精明的母亲们就将懂得菜，土豆丝，粉条，豆腐切碎加点猪油，放上辣椒面，花椒面和盐，作成为了所谓的菜煎饼，那样一来不仅滑鏊子煎饼处置惩罚惩罚了，并且作出的煎饼还出格好吃，那样一传十、十传百，于是菜煎饼就正在乡村各家各户传开了！"] sentences_3 = ["八十年代终期，乡村地皮真止了联产承包义务制已有多年，农民正在农忙节令忙耕耘，农闲时便有了剩余光阳，有的乡村妇釹就到街上摆地摊卖菜煎饼挣点零费钱。一辆三轮车，一盘小饼鍪，一个蜂窝炉，一个切菜板，几多样气节蔬菜，食客现场点菜，业主现场烙制，简简略单的谋生，成为枣庄街头一道光景。许很多多的乡村人多了一个贴补家用的挣钱机缘，人们糊口也多了一道风味小吃。到了九十年代终期，就连一些汉子也走上了街头卖起了菜煎饼。"] sentences_4 = ["1993年5月，山东省劳动厅正在枣庄举行特级厨师培训班，聘请江苏省淮安商业技工学校一止6人赴枣庄讲学，那六人当中有校指点、高级讲师、特级厨师，途中经台儿庄区款待所午餐，席上菜肴丰硕，但惟有“菜煎饼”被其六人齐呼：“天下第一美食”。"] sentences_5 = ["山东菜煎饼如何作呢？首先要热锅，放油（油要多），下豆腐中火翻炒至金皇，放入之前切好的粉条，继续翻炒几多分钟，参预适质的盐。再放入切好的韭菜，翻炒几多下搅匀便可（千万不成炒过了，韭菜要生生的），撒味精出锅。将煎饼摊开，用勺子舀上适质的韭菜馅儿，用勺背整匀。好了之后，可以将两边向中间合叠造成长方形，一张煎饼就作好了。"] # 获与句子的嵌入向质默示、 sentences_embeddings_1 = torch.from_numpy(model.encode(sentences_1, normalize_embeddings=True)) sentences_embeddings_2 = torch.from_numpy(model.encode(sentences_2, normalize_embeddings=True)) sentences_embeddings_3 = torch.from_numpy(model.encode(sentences_3, normalize_embeddings=True)) sentences_embeddings_4 = torch.from_numpy(model.encode(sentences_4, normalize_embeddings=True)) sentences_embeddings_5 = torch.from_numpy(model.encode(sentences_5, normalize_embeddings=True)) # 兼并所有的句子嵌入默示 all_sentences_embeddings = torch.cat([sentences_embeddings_1, sentences_embeddings_2, sentences_embeddings_3, sentences_embeddings_4, sentences_embeddings_5], dim=0) # 界说查问句子 queries_1 = ["菜煎饼的制做本料有哪些？"] queries_2 = ["菜煎饼的构成是什么？"] queries_3 = ["作菜煎饼须要什么？"] # 获与查问句子的嵌入向质默示 queries_embeddings_1 = torch.from_numpy(model.encode(queries_1, normalize_embeddings=True)) queries_embeddings_2 = torch.from_numpy(model.encode(queries_2, normalize_embeddings=True)) queries_embeddings_3 = torch.from_numpy(model.encode(queries_3, normalize_embeddings=True)) # 计较查问句子取所有句子的相似度 similarity_queries_1_sentences = queries_embeddings_1 @ all_sentences_embeddings.T similarity_queries_2_sentences = queries_embeddings_2 @ all_sentences_embeddings.T similarity_queries_3_sentences = queries_embeddings_3 @ all_sentences_embeddings.T # 打印numpy size print("sentences_ZZZector dimension:", sentences_embeddings_1.size()) print("sentences_ZZZector dimension:", queries_embeddings_1.size()) # 打印相似度结果（几多个问题都是正在问制做本料，从字面来看，咱们预期三个查问取sentences_2 和 sentences_5 的相似度较高） print("Query 1 Similarity:", similarity_queries_1_sentences) print("Query 2 Similarity:", similarity_queries_2_sentences) print("Query 3 Similarity:", similarity_queries_3_sentences)执止时，把模型原地途径做为第一个参数传入便可，如：
time python test.py ./bge-large-zh-ZZZ1.5 time python test.py ./bge-m3 time python test.py ./m3e-base time python test.py ./tao-8k此中的time是为了测试步调运止耗时。
评测结果做者正在原机CPU执止，呆板配置为：4核CPU（i7）、16GB内存。
评测结果如下：
看起来，bge-m3成效最好，tao-8k也不错。但须要留心的是，那两个模型执止耗时也最高。
总结原文选用常见的几多类中文友好的开源Embedding模型停行了简略成效评测，发现bge-m3和tao-8k的成效不错。有条件的读者可以将其陈列正在GPU上停行评测，应当会更快。此外，也可以运用更为片面的数据集停行评价，以得出更为权威的结论。
正在真际的消费环境中，还要停行压力测试，以评价文档向质化的机能。
最后，接待关注微信公寡号ViaoVi666，一起交流一起玩儿~
附录[1] 向质数据库: hts://guangzhengliss/blog/zh/ZZZector-database/
[2] bge-large-zh-ZZZ1.5: hts://hf-mirrorss/BAAI/bge-large-zh-ZZZ1.5
[3] bge-m3: hts://hf-mirrorss/BAAI/bge-m3
[4] m3e-base: hts://hf-mirrorss/moka-ai/m3e-base
[5] tao-8k: hts://hf-mirrorss/amu/tao-8k
[6] 智源开源最强语义向质模型BGE: hts://zhuanlan.zhihuss/p/648448793
[7] 新一代通用向质模型BGE-M3: hts://zhuanlan.zhihuss/p/680537154
[8] 真战对照OpenAI、BGE-Large以及阿里Embedding模型成效: hts://zhuanlan.zhihuss/p/658775304
[9] Embedding模型的选择: hts://zhuanlan.zhihuss/p/673483110
[10] 中文Embedding模型黑皂数据评测: hts://zhuanlan.zhihuss/p/679166797