基于LangChain和百度 ElasticSearch的QA问答使用

  
  
  
  
  
  

   
   
   
   
   
   

    from langchain.vectorstores import BESVectorStore
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    ! pip install langchain 
   
   
   
   
   
   
   
   
   
   
   
   

    ! pip install qianfan 
   
   
   
   
   
   
   
   
   
   
   
   

    ! pip instann elasticsearch == 7.11.0
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    from langchain.document_loaders.unstructured import UnstructuredFileLoader
   
   
   
   
   
   
   
   
   
   
   
   

    from langchain.text_splitter import RecursiveCharacterTextSplitter
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    loader = UnstructuredFileLoader("test.pdf")
   
   
   
   
   
   
   
   
   
   
   
   

    document_data = loader.load()
   
   
   
   
   
   
   
   
   
   
   
   

    text_splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=0)
   
   
   
   
   
   
   
   
   
   
   
   

    split_docs = text_splitter.split_documents(document_data)
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    from langchain.embeddings.huggingface import HuggingFaceEmbeddings
   
   
   
   
   
   
   
   
   
   
   
   

    import sentence_transformers
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    embeddings = HuggingFaceEmbeddings(model_name="shibing624/text2vec-base-chinese")
   
   
   
   
   
   
   
   
   
   
   
   

    embeddings.client = sentence_transformers.SentenceTransformer(embeddings.model_name)
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    from langchain.vectorstores import BESVectorStore
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    db = BESVectorStore.from_documents(
   
   
   
   
   
   
   
   
   
   
   
   

      documents=split_docs, embedding=embeddings, bes_url="http://user:password@host:ip", index_name=INDEX_NAME, vector_query_field='vector'
   
   
   
   
   
   
   
   
   
   
   
   

    )
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    db.client.indices.refresh(index=INDEX_NAME)
   
   
   
   
   
   
   
   
   
   
   
   

    retriever = db.as_retriever()
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    from langchain.llms.baidu_qianfan_endpoint import QianfanLLMEndpoint
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    llm = QianfanLLMEndpoint(model="ERNIE-Bot", qianfan_ak="your_ak", qianfan_sk="your_sk")
   
   
   
   
   
   
   
   
   
   
   
   

    qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever)
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    query = "xxxxxxx"
   
   
   
   
   
   
   
   
   
   
   
   

    print(qa.run(query))
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    > 问题:
   
   
   
   
   
   
   
   
   
   
   
   

    人工智能在落地过程中面临的挑战性问题有哪些?
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    > 回答:
   
   
   
   
   
   
   
   
   
   
   
   

    人工智能在落地过程中面临的挑战性问题有：
   
   
   
   
   
   
   
   
   
   
   
   

    
   
   
   
   
   
   
   
   
   
   
   
   

    1. 现有 AI 技术使用门槛高，依赖于 AI 从业者选择合适模型、设计合理参数。
   
   
   
   
   
   
   
   
   
   
   
   

    2. 无法保证一定能从数据中找到有价值的信息，例如面对大量的无用或者无关的信息，AI 算法并不能完全保证从中找出真正有价值的信息。
   
   
   
   
   
   
   
   
   
   
   
   

    3. 现有的模型大多数在训练时用的是单台设备或者单机集群，无法很好的扩展到大规模的集群中去，在算力上也无法满足大规模数据处理的需求。
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    问题:
   
   
   
   
   
   
   
   
   
   
   
   

    本文从哪些层次介绍数据管理技术如何支持和优化人工智能技术?
   
   
   
   
   
   
   
   
   
   
   
   

    回答:
   
   
   
   
   
   
   
   
   
   
   
   

    根据原文信息得出，本文从行优化、物理执行优化、数据管理四个层次介绍数据管理技术如何支持和优化人工智能技术。
文中提到，行优化、物理执行优化、数据管理四个方面综述数据库技术如何优化人工智能的使用和执行效率，并给出未来人工智能技术与数据库内核结合的挑战和机遇。
   
   
   
   
   
   
  
  
  
  
  
  

  
  
  
  
  
  

   
   
   
   
   
   

    问题:
   
   
   
   
   
   
   
   
   
   
   
   

    面向AI的数据管理技术研究展望与未来趋势有哪些?
   
   
   
   
   
   
   
   
   
   
   
   

    回答:
   
   
   
   
   
   
   
   
   
   
   
   

    很抱歉，我无法回答面向AI的数据管理技术研究展望与未来趋势有哪些，但我可以提供一些相关信息。
   
   
   
   
   
   
   
   
   
   
   
   

    目前，面向AI的数据管理技术已经成为研究的热点之一，随着人工智能技术的不断发展，数据管理技术也面临着越来越多的挑战和机遇。未来，面向AI的数据管理技术将会朝着以下几个方向发展：
   
   
   
   
   
   
   
   
   
   
   
   

    智能化：随着人工智能技术的不断发展，智能化数据管理技术将会成为未来的重要趋势。通过利用机器学习、深度学习等技术，实现对数据的自动化分类、标注、检索等功能，提高数据管理的效率和精度。
   
   
   
   
   
   
   
   
   
   
   
   

    云原生：随着云计算技术的不断发展，云原生数据管理技术也将会成为未来的重要趋势。通过利用云平台提供的资源和管理能力，实现对数据的分布式存储、处理、分析等功能，提高数据管理的可扩展性和灵活性。
   
   
   
   
   
   
   
   
   
   
   
   

    隐私保护：随着人们对隐私保护的关注度不断提高，面向AI的数据管理技术也将会更加注重隐私保护。通过采用加密、匿名化等技术手段，保护用户隐私，提高数据管理的安全性和可信度。
   
   
   
   
   
   
   
   
   
   
   
   

    多模态数据管理：随着物联网、社交媒体等应用的不断发展，多模态数据管理技术也将会成为未来的重要趋势。通过整合不同类型的数据源，实现对图像、文本、音频等多种类型数据的统一管理和分析，提高数据管理的全面性和深入性。
   
   
   
   
   
   
   
   
   
   
   
   

    总之，面向AI的数据管理技术将会朝着智能化、云原生、隐私保护和多模态数据管理方向不断发展，为人工智能技术的发展提供更加全面和高效的数据支持。