GanymedeNil

/

text2vec-large-chinese

like 739

自己搭建了ChatGLM+text2vec-large-chinese的demo，但是使用时提示
No sentence-transformers model found with name /mnt/chatGLM/embedding/text2vec-large-chinese. Creating a new one with MEAN pooling.
虽然能够运行，但是还有几个问题想要请教大家。
1、这种情况是没有用text2vec-large-chinese而使用了其他的embedding模型吗
2、这个问题怎么解决，在文件夹下确实有模型，该怎么解决呢

以下是我的代码

import os

from langchain.document_loaders import UnstructuredFileLoader
from langchain.embeddings.huggingface import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS

embedding_model_name = '/mnt/chatGLM/embedding/text2vec-large-chinese'
docs_path = '/mnt/chatGLM/embedding'
embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name, model_kwargs={'device': 'cpu'})

# 遍历指定路径下的文本文件，并使用UnstructuredFileLoader加载文档。然后将加载的文档添加到一个列表中。
docs = []
for doc in os.listdir(docs_path):
    if doc.endswith('.txt'):
        print(doc)
        loader = UnstructuredFileLoader(f'{docs_path}/{doc}', mode="elements")
        doc = loader.load()
        docs.extend(doc)

# 使用FAISS模块将文档转换为向量，并将向量存储到vector_store对象中。然后将向量存储保存到本地。
vector_store = FAISS.from_documents(docs, embeddings)
vector_store.save_local('vector_store_local')