json
注记
数学建模
.netcore
LAMBDA
项目管理
ico
二分法
Hudi
大端
遥感数据处理
web前端期末大作业
信息系统综合测试与管理
假设检验
自由工作
恒电势
敖丙
debian
InnoDB使用事务
磁盘分区
langchain
2024/4/11 16:22:06
langchain-Agent-工具检索
有时会定义很多工具，而定义Agent的时候只想使用与问题相关的工具，这是可以通过向量数据库来检索相关的工具，传递给Agent
# Define which tools the agent can use to answer user queries
search SerpAPIWrapper()
search_tool Tool(name …
翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二
Streamlit从入门到精通 系列：
翻译: Streamlit从入门到精通 基础控件 一
1. 使用Streamlit显示图表Graphs
1.1 为什么我们需要可视化？
数据可视化通过将数据整理成更容易理解的格式来讲述故事，凸显趋势和异常点。好的可视化能够讲述一个故…
LangChain（0.0.339）官方文档二：LCEL
文章目录 一、LangChain Expression Language (LCEL)1.1 LCEL简介1.2 Runnable1.2.1 Runnable方法1.2.2 Runnable组合方式1.2.3 修改行为 1.3 输入输出模式1.3.1 前置知识：Pydantic1.3.2 Input Schema1.3.3 Output Schema 1.4 同步调用1.4.1 Invoke1.4.2 Stream1.4.…
langchain(1):使用LangChain 调用 openai 的 text/chat model
文章目录 重要参考OPENAI API调用 Text 模型调用 Chat 模型消息角色 Chat 模型 vs Text 模型 通过 LangChain 调用 Text 和 Chat 模型调用 text 模型调用 chat 模型 重要参考
langchain 中文网 langchain api openai api 文档 huggingface
LangChain 是一个全方位的、基于大…
19｜BabyAGI：根据气候变化自动制定鲜花存储策略
19｜BabyAGI：根据气候变化自动制定鲜花存储策略
随着 ChatGPT 的崭露头角，我们迎来了一种新型的代理——Autonomous Agents（自治代理或自主代理）。这些代理的设计初衷就是能够独立地执行任务，并持续地追求长…
【Java-LangChain:使用 ChatGPT API 搭建系统-4】评估输入-分类
第三章，评估输入-分类
如果您正在构建一个允许用户输入信息的系统，首先要确保人们在负责任地使用系统，以及他们没有试图以某种方式滥用系统，这是非常重要的。 在本章中，我们将介绍几种策略来实现这一目标。 我们将学习…
大模型学习与实践笔记（八）
一、 LMDeploy的优势 二、核心优势说明
1.量化 2.持续批处理 3.Blocked k/v cache 4.有状态的推理 5.高性能cuda kernel
Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集
本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。
一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿…
![[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型](https://img-blog.csdnimg.cn/c216238c9607416583ed571ff1a2a82d.png)
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型
一 准备工作
下面是构建这个应用程序时将使用的软件工具:
1.Llama-cpp-python 下载llama-cpp, llama-cpp-python
[NLP] Llama2模型运行在Mac机器-CSDN博客
2、LangChain
LangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常…
LangChain（0.0.339）官方文档三：Prompts上（自定义提示模板、使用实时特征或少量示例创建提示模板）
文章目录 一、 Prompt templates1.1 langchain_core.prompts1.2 PromptTemplate1.2.1 简介1.2.2 ICEL 1.3 ChatPromptTemplate1.3.1 使用role创建1.3.2 使用MessagePromptTemplate创建1.3.3 自定义MessagePromptTemplate1.3.3.1 自定义消息角色名1.3.3.2 自定义消息 1.3.4 LCEL…
翻译: 使用 GPT-4 将您的 Streamlit 应用程序提升到一个新的水平一
帮助您更快地设计、调试和优化 Streamlit 应用的专业技巧
设计和扩展 Streamlit 应用程序可能是一项艰巨的任务！作为开发人员，我们经常面临一些挑战，例如设计良好的 UI、快速调试我们的应用程序以及快速制作它们。
如果有一个工具可以加快速…
【Java-LangChain:使用 ChatGPT API 搭建系统-8】搭建一个带评估的端到端问答系统
第八章，搭建一个带评估的端到端问答系统
在本章中，我们将搭建一个带评估的端到端问答系统，这个系统综合了之前多节课的内容，并加入了评估过程。 检查输入，确认其是否能通过审核 API 的审核。 如果通过了审核…
【深度】详细解读与评测OpenAI DevDay的最新API更新与应用
原文：https://www.toutiao.com/article/7299498535408665088/?log_fromd9f79b9fe2182_1699572121760
专注LLM深度应用，关注我不迷路
周二凌晨，全球无数AI科技工作者与极客们翘首以盼的首届OpenAI开发者大会上，仅仅四十分钟的主…
使用LangChain与chatGPT API开发故事推理游戏-海龟汤
项目概述 海龟汤简述： 主持人提出一个难以理解的事件，玩家通过提问来逐步还原事件，主持人仅能告知玩家：“是、不是、是也不是、不重要”。引入chatGPT API原因 想通过程序自动化主持人，可通过chatGPT来判断玩家推理正确与否。LangChain是什么 LangChain是一个强大的框架，…
基于LLM的文档搜索引擎开发【Ray+LangChain】
Ray 是一个非常强大的 ML 编排框架，但强大的功能伴随着大量的文档。 事实上120兆字节。 我们如何才能使该文档更易于访问？
答案：使其可搜索！ 过去，创建自己的高质量搜索结果很困难。 但通过使用 LangChain，…
【LangChain学习之旅】—（6） 提示工程（下）：用思维链和思维树提升模型思考质量
【LangChain学习之旅】—（6） 提示工程（下）：用思维链和思维树提升模型思考质量 什么是 Chain of ThoughtFew-Shot CoTZero-Shot CoTChain of Thought 实战CoT 的模板设计程序的完整框架Tree of Thought总结 Reference&a…
Conda python管理环境environments 二 从入门到精通
Conda系列：
翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装Conda python运行的包和环境管理 入门Conda python管理环境environments 一 从入门到精通
1. 指定环境environment的位置
可以通过提供路径来控制 conda 环境所在的位置 复制到目标目录。例如…
翻译: Streamlit从入门到精通六 实战缓存Cache请求数据
Streamlit从入门到精通 系列：
翻译: Streamlit从入门到精通 基础控件 一翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三翻译: Streamlit从入门到精通 部署一个机器学习应用程序 四翻译…
【LangChain学习之旅】—（10） 用RouterChain确定客户意图
【【LangChain学习之旅】—（10） 用RouterChain确定客户意图 任务设定整体框架具体步骤如下： 具体实现构建提示信息的模板构建目标链 Reference：LangChain 实战课
任务设定
首先，还是先看一下今天要完成一个什么样的任…
LangChain输出解析器
大型语言模型（或 LLM）生成文本，当你构建应用程序时，有时需要使用结构化数据而不是字符串。 LangChain 提供了输出解析器，可以帮助我们做到这一点。
我们将回顾 LangChain 提供的 Pydantic (JSON) 解析器。 NSDT工具推…
吴恩达ChatGPT《LangChain for LLM Application Development》笔记
基于 LangChain 的 LLM 应用开发
1. 介绍
现在，使用 Prompt 可以快速开发一个应用程序，但是一个应用程序可能需要多次写Prompt，并对 LLM 的输出结果进行解析。因此，需要编写很多胶水代码。
Harrison Chase 创建的 LangChain 框…
基于书生·浦语大模型InternLM 和 LangChain 搭建你的知识库助手Demo
文章目录 环境准备InternLM模型部署InternLM模型下载LangChain环境配置下载 NLTK 相关资源 知识库搭建数据收集加载数据构建向量数据库脚本整合 InternLM 接入 LangChain构建检索问答链加载向量数据库实例化自定义 LLM 与 Prompt Template构建检索问答链部署 Web Demo 环境准备…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：链的保存（序列化）与加载（反序列化）]
分类目录：《自然语言处理从入门到应用》总目录 本文介绍了如何将链保存（序列化）到磁盘和从磁盘加载（反序列化）。我们使用的序列化格式是json或yaml。目前，只有一些链支持这种类型的序列化。随着时间的推移&…
LangChain 介绍及相关组件使用总结
一、langChain
LangChain 是一个由语言模型LLMs驱动的应用程序框架，它允许用户围绕大型语言模型快速构建应用程序和管道。 可以直接与 OpenAI 的 ChatGPT 模型以及 Hugging Face 集成。通过 langChain 可快速构建聊天机器人、生成式问答(GQA)、本文摘要等应用场景。…
AI模型理解误区：微调垂直行业-VS-企业专属知识库或AI助理
概述
企业定制私有化大模型的区别，分为训练大模型和调用大模型两种方向，以及企业自己的智能客服的实现方法。 - 企业定制的私有化大模型与一般的大模型不同，需要高成本训练。- 企业可以选择调用已经训练好的大模型来应用。- 企业可以使用向量…
LangChain-Evaluation—如何评估LLM及其应用（三）
省流：目前没有真正完美的解决方案，比如分类有精度这样接近完美的评估方案，但LLM目前没有
This section of documentation covers how we approach and think about evaluation in LangChain. Both evaluation of internal chains/agents, b…
WebLangChain_ChatGLM：结合 WebLangChain 和 ChatGLM3 的中文 RAG 系统
WebLangChain_ChatGLM 介绍 本文将详细介绍基于网络检索信息的检索增强生成系统，即 WebLangChain。通过整合 LangChain，成功将大型语言模型与最受欢迎的外部知识库之一——互联网紧密结合。鉴于中文社区中大型语言模型的蓬勃发展，有许多可供利…
Elasticsearch：使用 LangChain 文档拆分器进行文档分块
使用 Elasticsearch 嵌套密集向量支持
这个交互式笔记本将：
将模型 “sentence-transformers__all-minilm-l6-v2” 从 Hugging Face 加载到 Elasticsearch ML Node 中使用 LangChain 分割器将段落分块成句子，并使用嵌套密集向量将它们索引到 Elasticse…
用通俗易懂的方式讲解大模型：使用 Docker 部署大模型的训练环境
之前给大家介绍了主机安装方式——如何在 Ubuntu 操作系统下安装部署 AI 环境，但随着容器化技术的普及，越来越多的程序以容器的形式进行部署，通过容器的方式不仅可以简化部署流程，还可以随时切换不同的环境。
实际上很多云服务厂…
用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
一图胜千言，LangChain已经成为当前 LLM 应用框架的事实标准，本篇文章就来对 LangChain 基本概念以及其具体使用场景做一个整理。 文章目录 用通俗易懂的方式讲解系列技术交流LangChain 是什么LangChain 的主要组件Model I/OLanguage ModelPromptsOutput…
从Langchain到ReAct，在大模型时代下全新的应用开发核心
简介： 什么是ReAct框架关于什么是langchain，可以参考：https://ata.alibaba-inc.com/articles/266839?spmata.23639420.0.0.1dea7536uD7yhh在使用langchain的过程中，大模型给人留下最深刻的印象无疑是Agent功能。大模型会自己分析…
Conda python运行的包和环境管理 入门
Conda系列：
翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装
Conda 是一个功能强大的命令行工具，用于在 Windows、macOS 和 Linux 上运行的包和环境管理。
本 conda 入门指南介绍了启动和使用 conda 创建环境和安装包的基础知识。
1. 准备…
大模型学习与实践笔记（九）
一、LMDeply方式部署
使用 LMDeploy 以本地对话方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事 2.api 方式部署
运行 结果： 显存占用： 二、报错与解决方案
在使用命令，对lmdeploy 进行源码安装是时，报错
1.源…
LangChain与昇腾
LangChain这个词今年已经听烂了，今天基于昇腾的角度总结一下：
Why LangChain ？
场景：构建一个LLM应用
在构建一个新项目时，可能会遇到许多API接口、数据格式和工具。要去研究每一个工具、接口很麻烦。
假设要构建一…
【LangChain系列 11】Prompt模版——拼装组合
原文地址：【LangChain系列 11】Prompt模版——拼装组合
本文速读： 多prompt模版组合 单prompt模版拼装 在平常业务开发中，我们常常需要把一些公共模块提取出来作为一个独立的部分，然后将业务中去将这些模块进行组合。在LLM应用…
谷歌Gemini API 应用(二)：LangChain 加持
昨天我完成了谷歌Gemini API 应用(一)：基础应用这篇博客，今天我们要在此基础上实现Gemini模型的Langchian加持，因为Gemini API刚发布没几天，所以langchian还没有来得及将其整合到现有的langchain包的架构内，langchain公…
从零开始langchain-chatchat部署
参考：Langchain-Chatchat(原 Langchain-ChatGLM)部署小记 - 知乎
GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (for…
【腾讯云云上实验室】向量数据库+LangChain+LLM搭建智慧辅导系统实践
目录 一、搭建智慧辅导系统——向量数据库实践指南1.1、创建向量数据库并新建集合1.2、使用 TKE 快速部署 ChatGLM1.3、部署 LangChain PyPDFVectorDB等组件1.4、配置知识库语料1.5、基于 VectorDB LLM 的智能辅导助手 二、LLM时代的次世代引擎——向量数据库2.1、向量数据库L…
【Java-LangChain:使用 ChatGPT API 搭建系统-10】评估（下）-当不存在一个简单的正确答案时
第十章，评估（下）-当不存在一个简单的正确答案时
在上一章中，了解了如何评估 LLM 模型在 有明确正确答案 的情况下的输出，我们可以编写一个函数来判断 LLM 输出是否正确地分类并列出产品。
然而，如果 LLM …
LM（大模型）应用开发利器之LangChain，带你走进AI世界
原文：LLM（大模型）应用开发利器之LangChain，带你走进AI世界 - 简书 LangChain组件图
LangChain 是什么
首先 LangChain 是一个框架，这个框架是用来让开发者进行 LLMs （大语言模型）应用开发的。…
LangChain结合milvus向量数据库以及GPT3.5结合做知识库问答之一 ---＞milvus的docker compose安装
https://github.com/milvus-io/milvus/releaseshttps://github.com/milvus-io/milvus/releases
以下步骤均在Linux环境中进行：
将milvus-standalone-docker-compose.yml下载到本地。
1、新建一个目录milvus
2、将milvus-standalone-docker-compose.yml放到milvu…
Langchain-Chatchat的安装过程
参考：LLMs之RAG：LangChain-Chatchat(一款中文友好的全流程本地知识库问答应用)的简介(支持 FastChat 接入的ChatGLM-2/LLaMA-2等多款主流LLMs多款embe_一个处女座的程序猿的博客-CSDN博客
1、安装过程中出现了 GPU驱动版本 是11.8 而
python -c "…
如何在langchain中对大模型的输出进行格式化
简介
我们知道在大语言模型中, 不管模型的能力有多强大，他的输入和输出基本上都是文本格式的，文本格式的输入输出虽然对人来说非常的友好，但是如果我们想要进行一些结构化处理的话还是会有一点点的不方便。
不用担心，langchain已…
GPT实战系列-ChatGLM3管理外部借力工具
GPT实战系列-ChatGLM3管理外部借力工具
用ChatGLM的工具可以实现很多查询接口和执行命令，外部工具该如何配置使用？如何联合它们实现大模型查询助手功能？例如调用工具实现股票信息查询，网络天气查询等助手功能。 LLM大模型相关文章…
LLM应用的分块策略
每日推荐一篇专注于解决实际问题的外文，精准翻译并深入解读其要点，助力读者培养实际问题解决和代码动手的能力。
欢迎关注公众号 原文标题：Chunking Strategies for LLM Applications
原文地址：https://www.pinecone.io/learn/c…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：LLMChain和RouterChain]
分类目录：《自然语言处理从入门到应用》总目录 LLMChain
LLMChain是查询LLM对象最流行的方式之一。它使用提供的输入键值（如果有的话，还包括内存键值）格式化提示模板，将格式化的字符串传递给LLM，并返回LLM…
使用LangChain框架加载与解析txt,markdown,pdf,jpg格式文档
1. LangChain 中的文档加载
大型语言模型（LLMs）存在数据实时性的问题。即使是像 GPT-4 这样强大的模型也对最近的事件一无所知。
在 LLMs 看来，世界是静止的。它们只知道通过它们的训练数据所呈现的世界。因此我们可以将最新的一些知识文档…
langchain ChatGPT AI私有知识库
企业知识库
原理就是把文档变为向量数据库，然后搜索向量数据库，把相似的数据和问题作为prompt， 输入到大模型，再利用GPT强大的自然语言处理、推理和分析等方面的能力将答案返回给用户
什么是langchain?
langchain是一个强大的…
LLM之LangChain（七）| 使用LangChain，LangSmith实现Prompt工程ToT
如下图所示，LLM仍然是自治代理的backbone，可以通过给LLM增加以下模块来增强LLM功能:
Prompter AgentChecker ModuleMemory moduleToT controller 当解决具体问题时，这些模块与LLM进行多轮对话。这是基于LLM的自治代理的典型情况，…
构建LangChain应用出现的TypeError错误
在阅读LangChain官网给出的一些案列时，实际运行却报错，案列代码如下：
from langchain.prompts import ChatPromptTemplate
from langchain_community.chat_models import ChatOpenAI
from langchain_core.output_parsers import StrOutputPa…
[vectoreStore]--内存向量存储组件开发
vectoreStore：该组件通常用来做内存向量存储的，同时利用该存储区获取他的retrieval检索
内存向量存储使用的参数为：文档、embeddings、输出 由于他的输出分为vectoreStore向量库存储、retrieval向量检索器，因此需要拿到他的输出分…
基于GPT-4和LangChain构建云端定制化PDF知识库AI聊天机器人
参考：
GitHub - mayooear/gpt4-pdf-chatbot-langchain: GPT4 & LangChain Chatbot for large PDF docs
1.摘要：
使用新的GPT-4 api为多个大型PDF文件构建chatGPT聊天机器人。
使用的技术栈包括LangChain, Pinecone, Typescript, Openai和Next.js…
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （二）
这是继上一篇文章 “Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一）” 的续篇。在这篇文章中，我主要来讲述 ElasticVectorSearch 的使用。 我们的设置和之前的那篇文章是一样的ÿ…
用通俗易懂的方式讲解大模型：使用 LangChain 封装自定义的 LLM，太棒了
Langchain 默认使用 OpenAI 的 LLM（大语言模型）来进行文本推理工作，但主要的问题就是数据的安全性，跟 OpenAI LLM 交互的数据都会上传到 OpenAI 的服务器。
企业内部如果想要使用 LangChain 来构建应用，那最好是让 La…
手写效果流式响应(langchain+fastapi+js)
这是一个前后端完整可用的小项目
后端是 Python 的 FastAPI 框架，调用 langchain 进行 openai 的模型对话。前端是纯html css javascript，没调用任何第三方库，方便集成到 Vue React 等现有前端项目。
聊天界面：
效果就是提问之…
【LangChain】与文档聊天：将OpenAI与LangChain集成的终极指南
欢迎来到人工智能的迷人世界，在那里，人与机器之间的通信越来越模糊。在这篇博客文章中，我们将探索人工智能驱动交互的一个令人兴奋的新前沿：与您的文本文档聊天！借助OpenAI模型和创新的LangChain框架的强大组合&#x…
LangChain: 类似 Flask/FastAPI 之于 Django，LangServe 就是「LangChain 自己的 FastAPI」
原文：LangChain: 类似 Flask/FastAPI 之于 Django，LangServe 就是「LangChain 自己的 FastAPI」 - 知乎
说明：LangServe代替 langchainserver 成为新的langchain 部署工具
官网资料：🦜️🏓 LangServe | &…
langchain 部署组件-LangServe
原文：🦜️🏓 LangServe | 🦜️🔗 Langchain
LangServe
🚩 We will be releasing a hosted version of LangServe for one-click deployments of LangChain applications. Sign up here to get on the wa…
用通俗易懂的方式讲解：使用 MongoDB 和 Langchain 构建生成型AI聊天机器人
想象一下：你收到了你梦寐以求的礼物：一台非凡的时光机，可以将你带到任何地方、任何时候。
你只有10分钟让它运行，否则它将消失。你拥有一份2000页的PDF，详细介绍了关于这台时光机的一切：它的历史、创造者、…
翻译: GPT-4 Vision征服LLM幻觉hallucinations 升级Streamlit六
GPT-4 Vision 系列:
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式二翻译: GPT-4 Vision静态图表转换为动态数据可视化 升级Streamlit 三翻译: GPT-4 Vision从图像转换为完全可编辑的表格 升级St…
LangChain 基于 ChatGPT 整合 Google 搜索 强化问答应用
一、LangChain Agents
LangChain 中的 Agents 是什么呢，对于官方的描述是：某些应用程序不仅需要预先确定的对 LLM/其他工具的调用链，还可能需要依赖于用户输入的未知链。在这些类型的链中，有一个 Agents 可以访问一套工具。根据用…
翻译: Streamlit从入门到精通 部署一个机器学习应用程序 四
Streamlit从入门到精通 系列：
翻译: Streamlit从入门到精通 基础控件 一翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三
1. 5. 如何部署一个Streamlit应用
部署是将应用程序从开发…
高级RAG(八): 自动合并检索(Auto-merging Retrieval)
自动合并检索(Auto-merging Retrieval)是LlamaIndex的另外一种高级RAG技术，它有点类似与我们之间介绍的从小到大的检索，不过自动合并检索要比“从小到大的检索”稍微复杂一些，它首先将文档按一定的层次结构进行切割，然后在检索的时…
Conda python管理环境environments 一 从入门到精通
Conda系列：
翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装Conda python运行的包和环境管理 入门
使用 conda，可以创建、导出、列出、删除和更新 具有不同 Python 版本和/或 安装在其中的软件包。在两者之间切换或移动 环境称为激活环境。您…
【LangChain学习之旅】—（9） 用SequencialChain链接不同的组件
【LangChain学习之旅】—（9）用SequencialChain链接不同的组件 什么是 ChainLLMChain：最简单的链链的调用方式直接调用通过 run 方法通过 predict 方法通过 apply 方法通过 generate 方法 Sequential Chain：顺序链首先，…
9个范例带你入门LangChain
前方干货预警：这可能是你心心念念想找的最好懂最具实操性的langchain教程。本文通过演示9个具有代表性的应用范例，带你零基础入门langchain。 公众号算法美食屋后台回复关键词：langchain，获取本文notebook源代码。 9个范例功能列表…
使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
目前基于大模型的信息检索有两种方法，一种是基于微调的方法，一种是基于 RAG 的方法。
信息检索和知识提取是一个不断发展的领域，随着大型语言模型（LLM）和知识图的出现，这一领域发生了显着的变化࿰…
使用 Elasticsearch、OpenAI 和 LangChain 进行语义搜索
在本教程中，我将引导您使用 Elasticsearch、OpenAI、LangChain 和 FastAPI 构建语义搜索服务。 LangChain 是这个领域的新酷孩子。 它是一个旨在帮助你与大型语言模型 (LLM) 交互的库。 LangChain 简化了与 LLMs 相关的许多日常任务，例如从文档中提取文本…
【Java-LangChain:使用 ChatGPT API 搭建系统-2】语言模型，提问范式与 Token
第二章 语言模型，提问范式与 Token
在本章中，我们将和您分享大型语言模型（LLM）的工作原理、训练方式以及分词器（tokenizer）等细节对 LLM 输出的影响。我们还将介绍 LLM 的提问范式（chat format…
pydantic.errors.PydanticUserError: If you use `@root_validator`....
使用langchain时，import langchain时报错内容如下：
pydantic.errors.PydanticUserError: If you use root_validator with preFalse (the default) you MUST specify skip_on_failureTrue. Note that root_validator is deprecated and should be repla…
ChatGLM3-6B和langchain知识库阿里云部署
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、ChatGLM3-6B部署搭建环境部署GLM3 二、Chatglm2-6blangchain部署本地知识库三、Tips四、总结 前言
提示：这里可以添加本文要记录的大概内容&am…
![[LangChain]简介快速入门](https://img-blog.csdnimg.cn/931d154f50054c2f9a9d672cd08aaa27.png)
[LangChain]简介快速入门
⭐作者介绍：大二本科网络工程专业在读，持续学习Java，努力输出优质文章 ⭐作者主页：逐梦苍穹 ⭐所属专栏：人工智能。 目录 1、简介2、快速入门2.1、LLMs2.2、聊天模型2.3、提示模板2.4、链2.5、代理2.6、内存 1、简介
…
TS版LangChain实战：基于文档的增强检索（RAG） | 京东云技术团队
LangChain
LangChain是一个以 LLM （大语言模型）模型为核心的开发框架，LangChain的主要特性：
可以连接多种数据源，比如网页链接、本地PDF文件、向量数据库等允许语言模型与其环境交互封装了Model I/O（输入…
为什么是LangChain?
文章目录 一、前言二、认识langchain1. langchain的主要组成2. 总览LangChain2. LangChain的六大核心模块1. Models：模型统一接口2. Prompts：管理 LLM 输入3. Chains：将 LLM 与其他组件相结合，执行多个chain4. Indexes：…
人充当LLM Agent的工具（Human-In-The-Loop ），提升复杂问题解决成功率
原文：人充当LLM Agent的工具（Human-In-The-Loop ），提升复杂问题解决成功率 在Agent开发过程中，LLM充当Agent的大脑，对问题进行规划、分解、推理，在执行过程中合理选择利用工具（Tool&…
《向量数据库指南》——TruLens + Milvus Cloud构建RAG深入了解性能
深入了解性能 索引类型 本例中，索引类型对查询速度、token 用量或评估没有明显影响。这可能是因为数据量较小的关系。索引类型对较大语料库可能更重要。 Embedding 模型 text-embedding-ada-002 在准确性(0.72，平均 0.60)和答案相关度(0.82，平均0.62)上优于 MiniLM Embeddin…
《向量数据库指南》——TruLens + Milvus Cloud 构建RAG案例
具体案例 如前所述，RAG 配置选择可能对消除幻觉产生重大影响。下文中将基于城市百科文章构建问答 RAG 应用并展示不同的配置选择是如何影响应用性能的。在搭建过程中，我们使用 LlamaIndex 作为该应用的框架。大家可以在 Google Colab( https://colab.research.google.com/git…
Milvus Cloud——LangChain 分块简介
LangChain 分块简介 LangChain 是一个 LLM 协调框架，内置了一些用于分块以及加载文档的工具。本次分块教程主要围绕设置分块参数，并最小限度地使用 LLM。简而言之，通过编写一个函数并设置其参数来加载文档并对文档进行分块，该函数打印结果为分块后的文本块。在下述实验中，…
大模型学习与实践笔记（七）
一、环境配置
1.平台：
Ubuntu Anaconda CUDA/CUDNN 8GB nvidia显卡 2.安装
# 构建虚拟环境
conda create --name xtuner0.1.9 python3.10 -y # 拉取 0.1.9 的版本源码
git clone -b v0.1.9 https://github.com/InternLM/xtuner# 从源码安装 XTuner
pip insta…
LangChain源码逐行解密之系统（二）
LangChain源码逐行解密之系统 20.2 serapi.py源码逐行剖析 我们可以看一下Google查询的例子，在LangChain中有多种实现的方式。 如图20-5所示，在utilities的serpapi.py代码文件中实现了SerpAPIWrapper。
图20- 5 utilities的serpapi.py的SerpAPIWrapper 在langchain目录的se…
EmbedChain：比LangChain更加轻量化的LLM框架
一、前言
在之前的文章中，我们研究了如何使用LangChain结合大型语言模型（LLM）API来构建用户友好且直观的聊天机器人。现在，我们将探索一个新的Python包来进一步简化LangChain的实现。只需3-4行代码，我们就可以轻松地与…
LangChain 组件
输入输出模块 该模块负责与LLM做交互，通过该接口向模型输入 Prompt 并提取模型输出信息。主要包括：提示词、语言模型，输出解析器。
数据连接 已训练好的大语言模型，在训练时使用了大量的训练数据，但这些训练数据中可能…
LangChain手记 Models,Prompts and Parsers
整理并翻译自DeepLearning.AILangChain的官方课程：Models,Prompts and Parsers 模型，提示词和解析器（Models, Prompts and Parsers）
模型：大语言模型提示词：构建传递给模型的输入的方式解析器：…
GPT应用开发 - langchain 初始化
依赖安装 langchain
pip install langchain
# or
conda install langchain -c conda-forge配置环境
使用langchain依赖一个或者多个模型、数据库、外部的api接口等，下面我们将使用openAI的接口，所以安装他们的SDK
pip install openai
配置访问接口的…
用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人
在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7B LLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。
一、LangChain简介
LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few…
LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索Indexes for information retrieve
接着前面的Langchain，继续实现读取YouTube的视频脚本来问答Indexes for information retrieve
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗…
LangChain的函数，工具和代理(三)：LangChain中轻松实现OpenAI函数调用
在我之前写的两篇博客中:OpenAI的函数调用,LangChain的表达式语言(LCEL)中介绍了如何利用openai的api来实现函数调用功能，以及在langchain中如何实现openai的函数调用功能，在这两篇博客中，我们都需要手动去创建一个结构比较复杂的函数描述变量…
ChatGLM基于LangChain应用开发实践（一）
一、概述
在使用大模型（LLM）做应用开发时，LangChain是一个主流的开发框架，通过它来构建Agent，根据用户查询访问企业私有数据，调用自定义或者第三方工具库，然后再调用LLM，利用其推理…
如何在 LangChain 中调用 OpenVINO™ 加速大语言模型
点击蓝字 关注我们,让开发变得更有趣 作者 | 杨亦诚 排版 | 李擎 OpenVINO™..♩~ ♫. ♪.. LangChain简介 LangChain 是一个高层级的开源的框架，从字面意义理解，LangChain 可以被用来构建 “语言处理任务的链条”，它可以让AI开发人员把大型语…
LangChain之关于RetrievalQA input_variables 的定义与使用
最近在使用LangChain来做一个LLMs和KBs结合的小Demo玩玩，也就是RAG（Retrieval Augmented Generation）。 这部分的内容其实在LangChain的官网已经给出了流程图。 我这里就直接偷懒了，准备对Webui的项目进行复刻练习，那么…
用LangChain实现一个ChatBlog
文章目录 前言环境一、构建知识库二、将知识库向量化三、召回四、利用LLM做阅读理解五、效果总结 前言
通过本文, 你将学会如何使用langchain来构建一个自己的知识库问答 其实大多数类chatpdf产品的原理都差不多, 我将其简单粗暴地分为以下四步:
构建知识库将知识库向量化召回…
基于ChatGLM2和langchain的本地知识库问答的实战方案
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
杂记 | 基于OpenAIEmbedding向量存储的LangChain示例选择器（节省token、提升响应速度、提高回复准确性）
文章目录 01 场景痛点02 示例选择器03 实现代码04 补充 - 最大余弦示例选择器 01 场景痛点
在使用ChatGPT的接口进行交互时，我们常常会通过提供示例的方式来提高大语言模型响应的准确性，在LangChain这一大语言模型通用开发框架中，这被称作fe…
【大模型应用开发教程】02_LangChain介绍
LangChain介绍 什么是 LangChain1. 模型输入/输出2. 数据连接3. 链（Chain）4. 记忆（Meomory）5. 代理（Agents）6.回调（Callback）在哪里传入回调 ?你想在什么时候使用这些东西呢&#x…
大模型开发07：LangChain 开发基础
大模型开发07：LangChain 开发基础 一、Model I/O 输入输出
任何语言模型应用程序的核心元素是什么？LangChain 提供了与任何语言模型交互的构建块。 Prompts: 模板化、动态选择和管理模型输入Language models: 通过通用的接口访问大模型Output parsers: 大模型输出解析模板化…
langchain教程
教程
langchain提供了一套框架，可以将多个组件链接在一起最终也是构建了一个智能AI机器人
数据读取
langchain除了可以直接读取文本数据，也可以读取视频中的语音，并将其转化为文本(这样说来，longchain中是有语音转文本的模型的…
垂直领域大模型落地思考
相比能做很多事，但每件事都马马虎虎的通用大模型；只能做一两件事，但这一两件事都能做好，可被信赖的垂直大模型会更有价值。这样的垂直大模型能帮助我们真正解决问题，提高生产效率。
本文将系统介绍如何做一个垂直领域…
langchain 加载各种格式文件读取方法
参考：https://python.langchain.com/docs/modules/data_connection/document_loaders/ https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui/blob/master/app.py
代码
可以支持pdf、md、doc、txt等格式
from langchain.document_loaders import Unstruct…
Langchain ZERO_SHOT_REACT_DESCRIPTION的使用
ZERO_SHOT_REACT_DESCRIPTION 不能记住历史对话：
import ChatGLM
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_community.tools.tavily_search import TavilySearchResults…
Agent types（代理类型）
概述
代理使用 LLM 来确定采取哪些行动以及采取什么顺序。**动作(action)**可以是使用工具并观察其输出，也可以是向用户返回的响应。以下是LangChain可用的代理。
Zero-shot ReAct
该代理使用 ReAct 框架仅根据工具的描述来确定要使用哪个工具。可以提供任意数量…
使用 Chainlit, Langchain 及 Elasticsearch 轻松实现对 PDF 文件的查询
在我之前的文章 “Elasticsearch：与多个 PDF 聊天 | LangChain Python 应用教程（免费 LLMs 和嵌入）” 里，我详述如何使用 Streamlit，Langchain, Elasticsearch 及 OpenAI 来针对 PDF 进行聊天。在今天的文章中…
如何下载huggingface的模型到本地
https://huggingface.co/docs/transformers/installation#fetch-models-and-tokenizers-to-use-offline
以下代码下载模型到 ./123/chatglm3-6b
from transformers import AutoTokenizer, AutoModel
from huggingface_hub.hf_api import HfFolderHfFolder.save_token(hf_ZYmP…
【LangChain实战】LangChain快速入门
1、什么是大语言模型 大语言模型是一种人工智能模型，通常使用深度学习技术，比如神经网络，来理解和生成人类语言。这些模型的“大”在于它们的参数数量非常多，可以达到数十亿甚至更多，这使得它们能够理解和生成高度复杂…
recognize-anything 识别万物
docker run --gpus all -itd --nametest -v /app:/app nvcr.io/nvidia/cuda:11.8.0-devel-ubuntu22.04 ###########安装过程########################
# 更新包索引 apt update
# 安装 Python 3 apt install python3 -y
# 安装 pip apt install python3-pip -y
# 安装…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[文本分割器（Text Splitters）]
分类目录：《自然语言处理从入门到应用》总目录 当我们需要处理长文本时，有必要将文本分割成块。虽然这听起来很简单，但这里存在很多潜在的复杂性。理想情况下，我们希望将语义相关的文本块保持在一起，但什么是"语义…
大模型学习与实践笔记（四）
一、大模型开发范式 RAG（Retrieval Augmented Generation）检索增强生成，即大模型LLM在回答问题或生成文本时，会先从大量的文档中检索出相关信息，然后基于这些检索出的信息进行回答或生成文本，从而可以提高回…
LCEL（Lang Chain Expression Language） 介绍：LangChain 的开发提效技巧
LCEL 介绍
LCEL（Lang Chain Expression Language）是将一些有趣的 Python 概念抽象成一种格式，使得可以构建 LangChain 组件链的 “极简主义” 代码层。
LCEL 具有以下强大的支持：
超快速开发链。高级特性，如流式处理…
算法备案一定要抓紧了！独立开发者群体观察笔记；关于大模型的36句内幕和真话；电子书-人工智能原理揭秘 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 提个醒！算法备案的事情，要抓紧提上日程，以后审批会越来越紧 节前国内AI网站倒了一批又一批&#x…
广受好评的开源基础大模型最全梳理，你最钟意哪一个？
2023 年即将过去。一年以来，各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时，另一方「势力」悄然崛起 —— 开源。
开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀？是否能够媲美专有模型的性能？
迄…
大模型学习与实践笔记（十四）
使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能
步骤1：下载internLM2-Chat-7B 模型,并进行挂载
以下命令将internlm2-7b模型挂载到当前目录下：
ln -s /share/model_repos/internlm2-7b/ ./ 步骤2&…
LangChain（0.0.340）官方文档十：Retrieval——Retrievers（检索器）
LangChain官网、LangChain官方文档 、langchain Github、langchain API文档、llm-universe 文章目录 一、Vector store-backed retriever1.1 基础示例1.1.1 从文本创建Vector store1.1.2 从documents创建Vector store1.1.3 MMR搜索1.1.4 设置相似性分数阈值1.1.5 指定 top k 1.…
【基于 InternLM 和 LangChain 搭建你的知识库】学习笔记
学习参考文档【基于 InternLM 和 LangChain 搭建你的知识库】 学习参考链接【书生・浦语大模型实战营第三课作业(基础进阶)】
理论 实战
收集原始数据
收集2018年-2020年几年间的优秀数学建模论文
修改脚本文件，测试文件 作业
复现课程知识库助手搭建过程
La…
AI全栈大模型工程师(二十)SKvs.LangChain
文章目录 SK vs. LangChain概念对照功能对照 环境搭建PluginsSemantic Functionsskprompt.txtconfig.json Semantic Kernel ToolsNative Functions内置 Plugins MemoryPlanner后记 SK vs. LangChain
#%% md
概念对照
LangChainSemantic KernelModelConnectorToolsConnectorV…
01｜LangChain系统安装和快速入门
01｜LangChain系统安装和快速入门
什么是大语言模型
大语言模型是一种人工智能模型，通常使用深度学习技术，比如神经网络，来理解和生成人类语言。这些模型的“大”在于它们的参数数量非常多，可以达到数十亿甚至更多&am…
这应该是最全的大模型训练与微调关键技术梳理
作为算法工程师的你是否对如何应用大型语言模型构建医学问答系统充满好奇？是否希望深入探索LLaMA、ChatGLM等模型的微调技术，进一步优化参数和使用不同微调方式？现在我带大家领略大模型训练与微调进阶之路，拓展您的技术边界&#…
LangChain 6根据图片生成推广文案HuggingFace中的image-caption模型
根据图片生成推广文案， 用的HuggingFace中的image-caption模型
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数…
大模型从入门到应用——LangChain：代理（Agents）-[工具（Tools）：人工确认工具验证和Tools作为OpenAI函数]
分类目录：《大模型从入门到应用》总目录
LangChain系列文章：
基础知识快速入门 安装与环境配置链（Chains）、代理（Agent:）和记忆（Memory）快速开发聊天模型 模型（Models&…
LangChain（0.0.340）官方文档八：Retrieval——Document transformers
LangChain官网、LangChain官方文档 、langchain Github、langchain API文档、llm-universe 文章目录 一、Text splitters1.1 快速开始（RecursiveCharacterTextSplitter）1.2 MarkdownHeaderTextSplitter1.2.1 按结构拆分md文件1.2.2 继续分割 Markdown gr…
langchain callback学习
文章目录 一.quickstart二.Async callbacks三.把回调消息写入文件如何提取出来正则表达式官方的方法 一.quickstart 官方文档在此：https://python.langchain.com/docs/modules/callbacks/ 发现自己之前用langchain都是纯纯只是跑通，要能灵活使用还是得深…
【LangChain实战】开源模型学习（2）-ChatGLM3
介绍 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型&a…
[Agent]-----MRKLAgentForChatModels组件开发
参考资料： https://python.langchain.com/docs/modules/agents/agent_types/react https://python.langchain.com/docs/modules/agents/how_to/custom_mrkl_agent https://python.langchain.com/docs/modules/agents/how_to/mrkl 该agent主要使用ReAct框架来决定操作…
Langchain的Agents介绍
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
Langchain-Chatchat项目：5.1-ChatGLM3-6B工具调用
在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码…
LangChain安装和入门案例
一、介绍
LangChain是一个用于开发由语言模型驱动的应用程序的框架
官网
https://www.langchain.com/
中文官网
https://www.langchain.com.cn/
python langchain
https://python.langchain.com.cn/docs/get_started/introduction https://python.langchain.com/docs/ge…
书生谱语-基于 InternLM 和 LangChain 搭建知识库
大语言模型与外挂知识库（RAG）的优缺点 RAG方案构建与优化 作业
在创建web_demo时，需要根据教程将服务器端口映射到本地端口，另外需要将链接的demo从服务器中复制出来，不要直接从服务器打开demo页面，不然会…
LangChain介绍及代码实践
一、简介
LangChian 作为一个大语言模型开发框架，是 LLM 应用架构的重要一环。那什么是 LLM 应用架构呢？其实就是指基于语言模型的应用程序设计和开发的架构。
LangChian 可以将 LLM 模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起&a…
【Java-LangChain:使用 ChatGPT API 搭建系统-5】处理输入-思维链推理
第五章，处理输入-思维链推理
在本章中，我们将专注于处理输入，即通过一系列步骤生成有用地输出。 有时，模型在回答特定问题之前需要进行详细地推理。如果您参加过我们之前的课程，您将看到许多这样的例子。有时…
LangChain的函数，工具和代理(二)：LangChain的表达式语言(LCEL)
LangChain Expression Language (LCEL) 是 LangChain 工具包的重要补充，旨在提高文本处理任务的效率和灵活性。LCEL 允许用户采用声明式方法来组合链，便于进行流处理、批处理和异步任务。其模块化架构还允许轻松定制和修改链组件。LCEL 的优势之一是它使…
大模型从入门到应用——LangChain：代理（Agents）-[计划与执行]
分类目录：《大模型从入门到应用》总目录
LangChain系列文章：
基础知识快速入门 安装与环境配置链（Chains）、代理（Agent:）和记忆（Memory）快速开发聊天模型 模型（Models&…
利用语言模型的Agents：学习指南（langchain agent）
利用语言模型的Agents：学习指南
引言
近年来，语言模型（LLM）作为Agent的应用在人工智能领域引起了广泛关注。这些Agent不仅能理解和生成自然语言，还能在复杂场景中执行一系列操作。本文将通过具体的例子探讨几种主要的…
用通俗易懂的方式讲解大模型：使用 LangChain 和大模型生成海报文案
最近看到某平台在推 LangChain 的课程，其中有个示例是让 LangChain 来生成图片的营销文案，我觉得这个示例挺有意思的，于是就想自己实现一下，顺便加深一下 LangChain 的学习。 今天就介绍一下如何使用 LangChain 来实现这个功能&am…
langchain主要模块(三)：Chain
langchain2之Chain langchain1.概念2.主要模块模型输入/输出 (Model I/O)数据连接 (Data connection)链式组装 (Chains)代理 (Agents)内存 (Memory)回调 (Callbacks) 3.链• LLMChain：• SimpleSequentialChain• Sequential Chains:• RouterChain： lan…
用通俗易懂的方式讲解大模型：使用 FastChat 部署 LLM 的体验太爽了
之前介绍了Langchain-Chatchat 项目的部署，该项目底层改用了 FastChat 来提供 LLM(大语言模型)的 API 服务。
出于好奇又研究了一下 FastChat，发现它的功能很强大，可以用来部署市面上大部分的 LLM 模型，可以将 LLM 部署为带有标准…
基于Langchain+向量数据库+ChatGPT构建企业级知识库
▼最近直播超级多，预约保你有收获 近期直播：《基于 LLM 大模型的向量数据库企业级应用实践》 1— LangChain 是什么？ 众所周知 OpenAI 的 API 无法联网的，所以如果只使用自己的功能实现联网搜索并给出回答、总结 PDF 文档、基于某…
普通人如何搭上AIGC行业快车道？近屿智能带你来看AI就业新趋势
Look！👀我们的大模型商业化落地产品📖更多AI资讯请👉🏾关注Free三天集训营助教在线为您火热答疑👩🏼🏫 从ChatGPT-3.5到最新推出的GPT-4，AI技术的进步正快速朝着模仿人…
为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码） LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过…
用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节
大家好，今天的文章分享三个方面的内容： 1、比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。 2、大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D …
Langchain+LLM
LangChain是一个开源框架，允许开发人员在与人工智能（AI）一起工作时将大型语言模型（如GPT4）与外部计算和数据源相结合（它提供了一套工具、组件和接口，可简化创建由LLM提供支持的应用程序…
大模型从入门到应用——LangChain：链（Chains）-[链与索引：检索式问答]
分类目录：《大模型从入门到应用》总目录 下面这个示例展示了如何在索引上进行问答：
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.text_splitter import CharacterTextSplitte…
Langchain Chain - RouterChain 根据输入相关性进行路由的路由链
原文：Langchain Chain - RouterChain 根据输入相关性进行路由的路由链 - 知乎 目录
收起
一、什么是RouterChain？
二、MultiPromptChain
三、LLMRouterChain
四、过程回顾
五、关于”玩转Langchain“
上节链接：Langchain Chain - 连接…
Langchain 与 Elasticsearch：创新数据检索的融合实战
1、简介 在信息爆炸的时代，有效地检索和处理数据变得至关重要。Langchain 和 Elasticsearch 的结合，为我们提供了一个强大的工具，以更智能的方式进行数据检索和分析。 作为一名拥有多年 Elasticsearch 实战经验的技术博主，我将在本…
万字详解，和你用RAG+LangChain实现chatpdf
像chatgpt这样的大语言模型（LLM）可以回答很多类型的问题，但是，如果只依赖LLM，它只知道训练过的内容，不知道你的私有数据：如公司内部没有联网的企业文档，或者在LLM训练完成后新产生的数据。（即使是最新的GPT-4 Turbo，训练的数据集也只更新到2023年4月）所以，如果我们…
AI游戏设计的半年度复盘；大模型+智能音箱再起波澜；昇思大模型技术公开课第2期；出海注册经验分享；如何使用LoRA微调Llama 2 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 进步or毁灭：Nature 调研显示 1600 科学家对AI的割裂态度 国际顶级期刊 Nature 最近一项调研很有意思，全球 160…
LLM漫谈（二）| QAnything支持任意格式文件或数据库的本地知识库问答系统
一、QAnything介绍 QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。 您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。 目前已支持格式: PDF&…
【LangChain-04】利用权重和偏差跟踪和检查LangChain代理的提示
利用权重和偏差跟踪和检查LangChain代理的提示
一、说明
考虑到（生成）人工智能空间，（自主）代理现在无处不在！除了更强大且幸运的是开放的大型语言模型（LLM）之外，LangCh…
RasaGPT对话系统的工作原理
RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目，当超出 Rasa 现有意图(out_of_scope)的时候，就会执行 ActionGPTFallback，本质上就是利用 Langchain 做了一个 RAG，调用 LLM API。RasaGPT 涉及的技术栈比较多而复杂，…
【LangChain】P1 LangChain 应用程序的核心构建模块 LLMChain 以及其三大部分
LangChain 的核心构建模块 LLMChain LangChain 应用程序的核心构建模块语言模型 - LLMs提示模板 - Prompt templates输出解析器 - Output Parsers LLMChain 组合 LangChain 应用程序的核心构建模块
LangChain 应用程序的核心构建模块 LLMChain 由三部分组成：
语言…
LangChain-Decorators 包学习
libraryIO的链接：https://libraries.io/pypi/langchain-decorators 来colab玩玩它的demo 感觉这确实是个挺好用的库 想到之前纯调prompt来控制输出格式的痛苦，这个可太有效了 cool~ 最下面这个react的多智能体例子很好玩，来看看&…
LangChain 16 通过Memory记住历史对话的内容
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
langchain主要模块(四)：Memory
langchain2之Memory langchain1.概念2.主要模块模型输入/输出 (Model I/O)数据连接 (Data connection)链式组装 (Chains)代理 (Agents)内存 (Memory)回调 (Callbacks) 3.MemoryConversationBufferMemoryConversationBufferWindowMemoryConversationTokenBufferMemoryConversati…
使用Langchain+GPT+向量数据库chromadb 来创建文档对话机器人
使用LangchainGPT向量数据库chromadb 来创建文档对话机器人
一.效果图如下： 二.安装包 pip install langchainpip install chromadbpip install unstructuredpip install jieba三.代码如下
#!/usr/bin/python
# -*- coding: UTF-8 -*-import os # 导入os模块&…
LLM之RAG实战（十一）| 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人
在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7B LLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。
一、LangChain简介 LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few-…
【LLM】快速开始 LangChain
theme: orange LangChain是一个软件开发工具包，它通过将组件链接在一起并公开简单统一的API，简化了大型语言模型和应用程序的集成。本篇文章将会简要介绍，让各位开发者对其有一个整体的认识。 前言 如果你是一名软件开发人员，努力…
大模型LLM在 Text2SQL 上的应用实践
一、前言
目前，大模型的一个热门应用方向Text2SQL，它可以帮助用户快速生成想要查询的SQL语句，再结合可视化技术可以降低使用数据的门槛，更便捷的支持决策。本文将从以下四个方面介绍LLM在Text2SQL应用上的基础实践。
Text2SQL概…
langchain学习记录（1）
一、安装
首先，使用以下命令安装 LangChain: pip install langchain 或者使用conda虚拟环境安装（需要提前切换到相应的虚拟环境) conda install langchain -c conda-forge 同时还需要安装你要使用的基础模型相应的库，我这里以openai为例&…
【LangChain】调试Chain(Debugging chains)
LangChain学习文档
Chains（链） 【LangChain】不同的调用方式(Different call methods)【LangChain】自定义chain【LangChain】调试Chain(Debugging chains) 概述 就是打印更详细的Chain信息(如：内部信息)，以知道它是如何工作的。…
翻译: LLM大语言模型图像生成原理Image generation
文本生成是许多用户正在使用的，也是所有生成式人工智能工具中影响最大的。但生成式人工智能的一部分兴奋点也在于图像生成。目前也开始出现一些可以生成文本或图像的模型，这些有时被称为多模态模型，因为它们可以在多种模式中操作，…
为什么大模型需要向量数据库？
AIGC 时代万物都可以向量化，向量化是 LLM 大模型以及 Agent 应用的基础。
比如：爆火的 Google 大模型 Gemini 1.0 原生支持的多模态，在预训练的时候就是把文本、图片、音频、视频等多模态先进行 token 化，然后构建一维的“语言”…
体验 langchain-ChatGLM
体验 langchain-ChatGLM 1. 什么是 langchain-ChatGLM2. 什么是 langchain3. Github 地址4. 安装 Miniconda35. 创建虚拟环境6. 部署 langchain-ChatGLM7. 启动 langchain-ChatGLM8. 访问 langchain-ChatGLM9. API部署10. 命令行部署11. 其他，LangChain Document Lo…
LangChain+LLM实战---Midjourney高级技巧的极简教程
原文：An advanced guide to writing prompts for Midjourney ( text-to-image)
作者：Lars Nielsen Midjourney生成的图像，文本Prompt：beautiful, fantasy city unreal engine
一句话介绍midjourney ?
对于那些还没有听说过Mid…
使用langchain-chatchat里，faiss库中报错： AssertionError ，位置：assert d == self.d
发生报错： AssertionError，发生位置：class_wrappers.py里 assert d self.d，假如输出语句，查看到是因为d和self.d维度不匹配造成，解决方式：
删除langchain-chatchat/knowledge_base里的info.db…
LangChain.js 实战系列：入门介绍
📝 LangChain.js 是一个快速开发大模型应用的框架，它提供了一系列强大的功能和工具，使得开发者能够更加高效地构建复杂的应用程序。LangChain.js 实战系列文章将介绍在实际项目中使用 LangChain.js 时的一些方法和技巧。 LangChain.js 是一个…
LangChain 25: SQL Agent通过自然语言查询数据库sqlite
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
GPT-4(THUDM) + LangChain ＞＞ Personalized expert AI assistant.（本地知识库教程）
GPT-4(THUDM) Langchain ＞＞ Personalized expert AI assistant. Langchain.
GPT-4 LangChain简介 - 知乎 (zhihu.com) 利用LangChain和国产大模型ChatGLM-6B实现基于本地知识库的自动问答_哔哩哔哩_bilibili
Github地址： https://github.c…
langchain-Agent-工具篇
文章目录 工具定义的方式加载langchain中的工具自定义工具的几种方式tool decoratorTool dataclassSubclass BaseToolStructuredTool dataclass 工具的异常处理 工具定义的方式
加载langchain中的工具
from langchain.agents import load_tools
llm OpenAI(temperature0)
to…
如何在 ChatGPT 上使用 Wolfram 插件回答数学问题
这里写自定义目录标题 写在最前面Wolfram是什么？ChatGPT 如何与 Wolfram 相结合，为什么有效？如何在 ChatGPT 上安装 Wolfram 插件？ 写在最前面
参考：https://clickthis.blog/zh-CN/how-to-answer-math-questions-usin…
用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
本文介绍了 LangChain 框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。
接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解 L…
Elasticsearch：LangChain 是什么？
当你将应用程序称为 “AI（人工智能）” 时，这通常意味着它包含与学习模型（例如大型语言模型，或 LLM）的交互。 [不那么]有趣的事实是，LLM 的使用实际上并不是使应用程序变得智能的原因。 它的特殊…
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （三）
这是继之前文章： Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一） Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （二&…
07｜输出解析：用OutputParser生成鲜花推荐列表
07｜输出解析：用OutputParser生成鲜花推荐列表 模型 I/O Pipeline
下面先来看看 LangChain 中的输出解析器究竟是什么，有哪些种类。
LangChain 中的输出解析器
语言模型输出的是文本，这是给人类阅读的。但很多时候，你…
LangChain+LLM实战---如何训练大模型（LLM）
英文原文：How to train your own Large Language Models
概要介绍
大型语言模型，如OpenAI的GPT-4或Google的PaLM，已经席卷了人工智能领域。然而，大多数公司目前没有能力训练这些模型，并且完全依赖于只有少数几家大型…
基于 InternLM 和 LangChain 搭建你的知识库
参考教程，开展基于 InternLM 和 LangChain的知识库构建，通过RAG（检索增强生成算法）实现知识问答。
大模型可以完成基础的知识问答，而在专业领域的知识很缺乏，如果灌入专业知识重新训练模型的话，…
LangChain 31 模块复用Prompt templates 提示词模板
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
LangChain源码逐行解密之系统（三）
LangChain源码逐行解密之系统 20.8 call方法源码逐行剖析 接下来，我们再过滤一下每一行代码生命周期的调用机制，你作为一个LangChain领域的专家，只需要按照我们之前提供的案例，亲自动手实践一下就可以了。从run方法开始，一步一步地进行调用和循环。给大家举个例子，前面我…
LangChain手记 Evalutation评估
整理并翻译自DeepLearning.AILangChain的官方课程：Evaluation（源代码可见） 基于LLM的应用如何做评估是一个难点，本节介绍了一些思路和工具。
“从传统开发转换到基于prompt的开发，开发使用LLM的应用，整个工…
翻译: 生成式人工智能的经济潜力 第2部分行业影响 The economic potential of generative AI
麦肯锡报告
翻译: 生成式人工智能的经济潜力 第一部分商业价值 The economic potential of generative AI
1. 行业影响
在我们分析的63个使用案例中，生成式人工智能有潜力在各行各业创造2.6万亿至4.4万亿美元的价值。其确切影响将取决于各种因素，比如…
基于Fuzzing和ChatGPT结合的AI自动化测试实践分享
一、前言
有赞目前，结合insight接口自动化平台、horizons用例管理平台、引流回放平台、页面比对工具、数据工厂等，在研发全流程中，已经沉淀了对应的质量保障的实践经验，并在逐渐的进化中。
在AI能力大幅进步的背景下，…
机器学习周刊第六期：哈佛大学机器学习课、Chatbot Ul 2.0 、LangChain v0.1.0、Mixtral 8x7B
—
date: 2024/01/08
— 吴恩达和Langchain合作开发了JavaScript 生成式 AI 短期课程：《使用 LangChain.js 构建 LLM 应用程序》
大家好，欢迎收看第六期机器学习周刊
本期介绍10个内容，涉及Python、机器学习、大模型等,目录如下ÿ…
LangChain+LLM实战---使用知识图谱和大模型来实现多跳问答
原文：Knowledge Graphs & LLMs: Multi-Hop Question Answering
可以使用检索增强方法来克服大型语言模型(Large Language Models, llm)的局限性，比如幻觉和有限的知识。检索增强方法背后的思想是在提问时引用外部数据，并将其提供给LLM&a…
LangChain+LLM实战---Midjourney(v5.1) Prompt深度剖析
原文：Anatomy of Midjourney Promps: In-Depth Study for effective Prompting Strategies — V5.1 examples
作者：Michael King
你是否曾经发现自己盯着Midjourney的空白画布，手指悬停在键盘上，让我问自己：“我应该…
数据科学低代码工具思考2—现状分析
数据科学工具伴随着计算机技术的发展也在持续的演进。数据库、大数据以及人工智能等时代标志性技术的出现，对数据科学工具的能力也有了更高的要求。一般而言，工具发展的趋势都是首先会出现一个能够支持数据科学计算的开发框架，方便用户能够更…
LangChain框架之概念学习（一）
简介
LangChain是一个语言模型驱动的开发应用程序的框架,于2022年10月底推出，由Harrison Chase开发。它使应用程序能够： 具有情境感知能力（Are context-aware:）：将语言模型与情境源（提示指令、少量示例、为…
15｜检索增强生成：通过RAG助力鲜花运营
15｜检索增强生成：通过RAG助力鲜花运营
什么是 RAG？其全称为 Retrieval-Augmented Generation，即检索增强生成，它结合了检索和生成的能力，为文本序列生成任务引入外部知识。RAG 将传统的语言生成模型与大规…
【笔记】书生·浦语大模型实战营——第三课（基于 InternLM 和 LangChain 搭建你的知识库）
【参考：tutorial/langchain at main InternLM/tutorial】 【参考：(3)基于 InternLM 和 LangChain 搭建你的知识库_哔哩哔哩_bilibili-【OpenMMLab】】
笔记 基础作业
这里需要等好几分钟才行 bug： 碰到pandas相关报错就卸载重装 输出文字…
大模型关键技术：上下文学习、思维链、RLHF、参数微调、并行训练、旋转位置编码、模型加速、大模型注意力机制优化、永久记忆、LangChain、知识图谱、多模态
大模型关键技术 大模型综述上下文学习思维链 CoT奖励建模参数微调并行训练模型加速永久记忆：大模型遗忘LangChain知识图谱多模态大模型系统优化AI 绘图幻觉问题从 GPT1 - GPT4 拆解GPTs 对比主流大模型技术点旋转位置编码层归一化激活函数注意力机制优化 大模型综述…
GPT-4 Vision根据应用程序截图生成博客和Readme 升级Streamlit八
GPT-4 Vision 系列:
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式二翻译: GPT-4 Vision静态图表转换为动态数据可视化 升级Streamlit 三翻译: GPT-4 Vision从图像转换为完全可编辑的表格 升级St…
Langchain module ‘hnswlib‘ has no attribute ‘Index‘ 错误解决
Langchain module hnswlib has no attribute Index 错误解决 使用 Langchain 操作 Chroma 向量数据库时，报一下错误信息，
module hnswlib has no attribute Index试着重装了不同 hnswlib 版本没有解决，最后解决方法是，不要使用 h…
LangChain入门指南：定义、功能和工作原理
LangChain入门指南：定义、功能和工作原理 引言LangChain是什么？LangChain的核心功能LangChain的工作原理LangChain实际应用案例如何开始使用LangChain 引言
在人工智能的浪潮中，语言模型已成为推动技术革新的重要力量。从简单的文本生成到复…
Langchain访问OpenAI ChatGPT API Account deactivated的另类方法，访问跳板机API
笔者曾经写过 ChatGPT OpenAI API请求限制 尝试解决 Account deactivated. Please contact us through our help center at help.openai.com if you need assistance. 结果如何？ 没有啥用。目前发现一条曲线救国的方案。
1. 在官方 openai 库中使用
此处为最新Op…
LangChain 35: 安全最佳实践深度防御Security
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
周鸿祎为360智脑招贤纳士；LLM时代的选择指南；Kaggle大语言模型实战；一文带你逛遍LLM全世界 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 思否「齐聚码力」黑客马拉松，用技术代码让生活变得更美好 主页：https://pages.segmentfault.com/google-hacka…
LangChain(2):基于自己的文档构建一个问答系统
“”" 欢迎来到LangChain实战课 https://time.geekbang.org/column/intro/100617601 作者 黄佳 “”" 此笔记来自于 黄佳 的极客时间 LangChain 实战课。如有侵权请联系删除。 课程链接 课程github
pip install pypdf
pip install docx2txt
pip install qdrant-clie…
LangChain 26: 回调函数callbacks打印prompt verbose调用
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
LLM本地知识库问答系统（一）：使用LangChain和LlamaIndex从零构建PDF聊天机器人指南
随着大型语言模型（LLM）（如ChatGPT和GPT-4）的兴起，现在比以往任何时候都更容易构建比普通熊更智能的智能聊天机器人，并且可以浏览堆积如山的文档，为您的输入提供准确的响应。 在本系列中…
TruLens Langchain 集成示例代码
TruLens Langchain 集成示例代码 1. 安装依赖2. 设置 API 密钥3. 导入 LangChain 和 TruLens4. 创建简单 LLM 应用程序5. 发送您的第一个请求6. 初始化反馈函数7. 使用 TruLens 链式工具记录日志8. 检索记录和反馈9. 在仪表板中探索10. 命令行启动仪表板11. (Optional) 直接在 …
langchain +gpt 报错 SSLError
解决版本2种
一加入下面代码: https://www.zhihu.com/question/588395420
import os
os.environ["http_proxy"] "http://127.0.0.1:7890"
os.environ["https_proxy"] "http://127.0.0.1:7890"二降低urllib3版本
urllib3 1.25.11错…
ToolLLM model 以及LangChain AutoGPT Xagent在调用外部工具Tools的表现对比浅析
文章主要谈及主流ToolLLM 以及高口碑Agent 在调用Tools上的一些对比，框架先上，内容会不断丰富与更新。
第一部分，ToolLLM model
先来说主打Function Call 的大模型们
OpenAI GPT 宇宙第一LLM，它的functionCall都知道࿰…
本地搭建【文档助手】大模型版（LangChain+llama+Streamlit）
概述
本文的文档助手就是：我们上传一个文档，然后在对话框中输入问题，大模型会把问题的答案返回。
安装步骤
先下载代码到本地
LangChain调用llama模型的示例代码：https://github.com/afaqueumer/DocQA（代码不是本人…
【LangChain】Memory
概要
大多数LLM应用都有对话界面。对话的一个重要组成部分是能够引用对话中先前介绍的信息。至少，对话系统应该能够直接访问过去消息的某些窗口。更复杂的系统需要有一个不断更新的世界模型，这使得它能够执行诸如维护有关实体及其关系的信息之类的事情。…
《向量数据库指南》——TruLens 用于语言模型应用跟踪和评估
TruLens 用于语言模型应用跟踪和评估 TruLens 是一个用于评估语言模型应用(如 RAG)的性能的开源库。通过 TruLens，我们还可以利用语言模型本身来评估输出、检索质量等。 构建语言模型应用时，多数人最关心的问题是 AI 幻觉（hallucination）。RAG 通过为语言模型提供检索上下文…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
分类目录：《自然语言处理从入门到应用》总目录 使用SQLite存储的实体记忆
我们将创建一个简单的对话链，该链使用ConversationEntityMemory，并使用SqliteEntityStore作为后端存储。使用EntitySqliteStore作为记忆entity_store属性上的参数&am…
大模型学习与实践笔记（十二）
使用RAG方式，构建opencv专业资料构建专业知识库，并搭建专业问答助手，并将模型部署到openxlab 平台
代码仓库：https://github.com/AllYoung/LLM4opencv
1：创建代码仓库
在 GitHub 中创建存放应用代码的仓库ÿ…
Elasticsearch：BM25 及 使用 Elasticsearch 和 LangChain 的自查询检索器
本工作簿演示了 Elasticsearch 的自查询检索器将非结构化查询转换为结构化查询的示例，我们将其用于 BM25 示例。
在这个例子中：
我们将摄取 LangChain 之外的电影样本数据集自定义 ElasticsearchStore 中的检索策略以仅使用 BM25使用自查询检索将问题转…
《向量数据库指南》——2023云栖大会现场，向量数据库Milvus Cloud成关注焦点
近期，广受关注的2023 云栖大会正式收官，来自全球各地的开发者集聚一堂，共同探索 AI 时代的更多可能性。
云栖大会是由阿里巴巴集团主办的科技盛宴，是中国最早的开发者创新展示平台。据悉，今年云栖大会的主题为“计算，为了无法计算的价值”，共吸引了全球 44 个国家和地区…
高级RAG(三)：llamaIndex从小到大的检索
在上一篇博客：父文档检索器 中我们介绍了langchain中的两种父文档检索方式即：“检索完整文档”和“检索较大的文档块”。今天我们要介绍llamaIndex中与langchain的父文档检索有点相似的检索方法即“从小到大的检索”。
一、LlamaIndex 简介
LlamaIndex…
好莱坞编剧大罢工终于结束；与OpenAI创始人共进早餐；使用DALL-E 3制作绘本分享；生成式AI的基础设施架构 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 好莱坞编剧大罢工终于结束：简单说就是AI妥协了 https://www.wgacontract2023.org/the-campaign/summary-of-the-2023-wga-…
生成式AI - 基于大模型的应用架构与方案
这篇文章探讨了使用文档加载器、嵌入、向量存储和提示模板构建基于语言模型(LLM)应用程序的过程。由于其生成连贯且上下文相关的文本的能力，LLM在自然语言处理任务中变得越来越受欢迎。本文讨论了LLM的重要性，比较了微调和上下文注入方法，介绍…
langchain sql agent 案例
原文：SQL 数据库 |🦜️🔗 朗链 (langchain.com)langchainSQL 数据库 |🦜️🔗 朗链 (langchain.com)
说明：看原文，复制有问题
SQL Database
This notebook showcases an agent designed to in…
翻译: GPT-4 Vision静态图表转换为动态数据可视化 升级Streamlit 三
GPT-4 Vision 系列:
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式二
1. 将任何静态图表转换为动态数据可视化
ChatGPT Vision 不仅可以将涂鸦变成功能齐全的 Streamlit 应用程序，还…
大模型从入门到应用——LangChain：链（Chains）-[链与索引：图问答（Graph QA）和带来源的问答（QA with Sources）]
分类目录：《大模型从入门到应用》总目录 图问答（Graph QA）
创建图
在本节中，我们构建一个示例图。目前，这对于较小的文本片段效果最好，下面的示例中我们只使用一个小片段，因为提取知识三元组对…
用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
在人工智能领域的不断发展中，语言模型扮演着重要的角色。特别是大型语言模型（LLM），如 ChatGPT，已经成为科技领域的热门话题，并受到广泛认可。
在这个背景下，LangChain 作为一个以 LLM 模型为核…
LangChain库简介
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
LangChain 10思维链Chain of Thought一步一步的思考 think step by step
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
基于Lang-Chain（ChatGLM和ChatChat）知识库大语言模型的部署搭建
环境准备
阿里云个人认证后，可免费试用机器学习平台PAI，可提供适合大语言模型环境搭建的高配置服务器。 点击试用阿里云服务器
试用产品选择：选择交互式建模PAI-DSW
适合哪些场景
文章/知识库/帮助文档等的检索基于现有知识库实现问答… …
AI大模型的使用-用LangChain链式调用简化多步提示语
众所周知，openAI的prompt对英文比较友好，也就是英文提示它的结果会更准确，假如我们不会英文，我们把中文问题给到OpenAI，然后让它翻译成英文，并把翻译后的英文给到OpenAI，让它帮忙给出解答问题&a…
ChatGPT Prompting开发实战（四）
一、chaining prompts应用解析及输出文本的设定
由于输入和输出都是字符串形式的自然语言，为了方便输入和输出信息与系统设定使用的JSON格式之间进行转换，接下来定义从输入字符串转为JSON list的方法： 定义从JSON list转为输出字符串的方法&…
(三)、基于 LangChain 实现大模型应用程序开发 | 模型链 Chains
😄 为什么我们需要Chains ？
链允许我们将多个组件组合在一起，以创建一个单一的、连贯的应用程序。链（Chains）通常将一个LLM（大语言模型）与提示结合在一起，使用这个构建块࿰…
大语言模型LangChain+ChatGLM3-6B的本地知识库与行业知识库价值体现
文章目录 大语言模型LangChainChatGLM3-6B的本地知识库与行业知识库价值体现引言本地知识库与行业知识库的重要性LangChain在知识库管理中的应用应用场景分析展望 大语言模型LangChainChatGLM3-6B的本地知识库与行业知识库价值体现
引言
在人工智能的浪潮中，大型语…
LangChain 任意命令执行（CVE-2023-34541）
漏洞简介
LangChain是一个用于开发由语言模型驱动的应用程序的框架。
在LangChain受影响版本中，由于load_prompt函数加载提示文件时未对加载内容进行安全过滤，攻击者可通过构造包含恶意命令的提示文件，诱导用户加载该文件，即可造…
01｜LangChain | 从入门到实战-介绍
by：wenwenc9
一、基本知识储备
1、什么是大模型，LLM？
大模型(Large Language Model)是近年来一个很热门的研究方向。
使用大量的数据训练出一个非常大的模型。一般是数十亿到上万亿的参数规模。 这些大模型可以捕捉到非常复杂的语言…
大模型学习与实践笔记（五）
一、环境配置
1. huggingface 镜像下载 sentence-transformers 开源词向量模型
import os# 设置环境变量
os.environ[HF_ENDPOINT] https://hf-mirror.com# 下载模型
os.system(huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-…
谷歌Gemini API 应用(一)：基础应用
前两天谷歌发布了旗下Gemini模型的API访问接口，今天我们来介绍一下Gemini API的基础应用，本次发布的是api访问接口对所有人免费开放，但有一些限制，比如每分钟限制60次访问，个人调用api接口所使用的数据将会被谷歌采集用…
开源大语言模型作为 LangChain 智能体
概要 开源大型语言模型 (LLMs) 现已达到一种性能水平，使它们适合作为推动智能体工作流的推理引擎: Mixtral 甚至在我们的基准测试中 超过了 GPT-3.5，并且通过微调，其性能可以轻易的得到进一步增强。 引言 针对 因果语言建模 训练的大型语言模…
LangChain 20 Agents调用google搜索API搜索市场价格 Reason Action：在语言模型中协同推理和行动
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
【LangChain系列 8】Prompt模版——少样本prompt模版(二)
原文地址：【LangChain系列 8】Prompt模版——少样本prompt模版(二) 本文速读： 固定少样本prompt模版 动态少样本prompt模版 在上篇文章中介绍了少样本模版的基本用法，本文将介绍 对话模型(chat model) 中 少样本prompt模版的用法。
LangCh…
LLMs之RAG：利用langchain实现RAG应用五大思路步骤—基于langchain使用LLMs(ChatGPT)构建一个问题回答文档的应用程序实战代码
LLMs之RAG：利用langchain实现RAG应用五大思路步骤—基于langchain使用LLMs(ChatGPT)构建一个问题回答文档的应用程序实战代码 目录
相关文章
【LangChain】不同的调用方式(Different call methods)
LangChain学习文档
Chains（链）
【LangChain】不同的调用方式(Different call methods) 概述
本笔记：讲述Chain的不同调用方式。
所有从 Chain 继承的类中都提供了几种运行链逻辑的方法。最直接的方法是使用 __call__； 说明&am…
Coggle数据科学 | Streamlit + LangChain 问答可见即所得~
本文来源公众号“Coggle数据科学”，仅用于学术分享，侵权删，干货满满。
原文链接：Streamlit LangChain 问答可见即所得~
LangChain是一个框架，旨在开发由语言模型驱动的应用程序。它不仅仅是通过API调用语言模型&…
【Java-LangChain:面向开发者的提示工程-7】文本扩展
第七章 文本扩展
扩展是将短文本（例如一组说明或主题列表）输入到大型语言模型中，让模型生成更长的文本（例如基于某个主题的电子邮件或论文）。这种应用是一把双刃剑，好处例如将大型语言模型用作头脑风暴的伙…
深入剖析开源大模型+Langchain框架智能问答系统性能下降原因
in-context 作为随着大模型涌现的范式，被大规模的应用到各种知识库问答、资料汇总等领域中，开源社区对 in-context 也非常活跃地响应，推出了 langchain [3]、向量数据库 [4] 等系列优秀框架与技术基座。但是，基于 langchain 开源…
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （四）
这篇博客是之前文章：
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一）Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （二&a…
LangChain_ChatGLM部署
环境准备
项目地址：https://github.com/imClumsyPanda/langchain-ChatGLM 下载chatglm-6b模型到本地，大约13G： https://huggingface.co/THUDM/chatglm-6b 里面的文件需要一个个手动点击下载，点击下载时，可能需要多次点…
基于JSON的Ollama和LangChain agent
到目前为止，我们都可能意识到，通过为LLMs提供额外的工具，我们可以显著增强它们的功能。 例如，即使是ChatGPT在付费版本中也可以直接使用Bing搜索和Python解释器。OpenAI更进一步，为工具使用提供了经过优化的LLM模型&am…
python-LangChain -docx
python-docx
word概念
先了解几个概念：
Document：是一个 Word 文档 对象，不同于 VBA 中 Worksheet 的概念，Document 是独立的，打开不同的 Word 文档，就会有不同的 Document 对象，相互之间没有…
PyLMKit(5):基于网页知识库的检索增强生成RAG
基于网页知识库的检索增强生成RAG
0.项目信息
日期： 2023-12-2作者：小知课题: RAG（Retrieval-Augmented Generation，检索增强生成）是一种利用知识库检索的方法，提供与用户查询相关的内容，从而…
Langchain-Chatchat实践详解
简介
本质上是在Langchain基础上封装的一层聊天服务，可以对接底层多种离线LLM和在线的LLM（也可以对接自定义的在线LLM）。提供基于知识库聊天功能相关的一系列API。 下载源码
源码地址：
https://github.com/chatchat-space/Lang…
LangChain让LLM连接更多能力
随着LLM（Large language models ）的发展，不仅仅出现了很多新的应用，一些开发框架也发展很快，典型的就是本文介绍的项目——LangChain，目前LangChain几乎一天一个版本，几个月时间Star数目已经49k…
Langchain+本地大语言模型进行数据库操作的实战代码
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…
langchain源码阅读系列（二）之数据接入层
原文首发于博客文章OpenAI 文档解读 LangChain 主体分为 6 个模块，分别是对（大语言）模型输入输出的管理、外部数据接入、链的概念、（上下文记忆）存储管理、智能代理以及回调系统，通过文档的组织结构&#x…
LangChain大型语言模型(LLM)应用开发(二)：Conversation Memory
LangChain是一个基于大语言模型（如ChatGPT）用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#x…
NLP（五十六）LangChain的结构化输出
在使用大模型的时候，尽管我们的prompt已经要求大模型给出固定的输出格式，比如JSON，但很多时候，大模型还是会输出额外的信息，使得我们在对输出信息进行结构化的时候产生困难。LangChain工具可以很好地将输出信息进行结构…
LangChain源码逐行解密之LLMs(三)
LangChain源码逐行解密之LLMs(三) 18.5 openai.py源码逐行剖析 除了self_hosted.py 文件，还有一个文件非常重要，就是openai.py文件。让我们再次进入openai.py 文件，我们之前已经看到了它的一部分代码。这个文件对 OpenAI 进行了各种封装，清楚地展示了它的具体运行机制和过程…
LangChain源码逐行解密之LLMs(三)
LangChain源码逐行解密之LLMs(三) 18.5 openai.py源码逐行剖析 除了self_hosted.py 文件，还有一个文件非常重要，就是openai.py文件。让我们再次进入openai.py 文件，我们之前已经看到了它的一部分代码。这个文件对 OpenAI 进行了各种封装，清楚地展示了它的具体运行机制和过程…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[自定义对话记忆与自定义记忆类]
分类目录：《自然语言处理从入门到应用》总目录 自定义对话记忆
本节介绍了几种自定义对话记忆的方法：
from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemoryllm…
langchain-模型
langchain模型 一、langchain 封装的模型分为两类1，LLM2，聊天模型 二、 langchain 与 OpenAi 模型三、langchain 事例1,LLM 交互2,聊天模型交互 一、langchain 封装的模型分为两类
大语言模型（LLM）聊天模型（Chat Mode…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：自定义Chain和Chain的异步API]
分类目录：《自然语言处理从入门到应用》总目录 创建自定义Chain
要实现自己的自定义链式连接，我们可以子类化Chain并实现以下方法：
from __future__ import annotations
from typing import Any, Dict, List, Optional
from pydantic impor…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[向量存储器（Vectorstores）]
分类目录：《自然语言处理从入门到应用》总目录 Vectorstores是构建索引的最重要组件之一。本文展示了与VectorStores相关的基本功能。在使用VectorStores时，创建要放入其中的向量是一个关键部分，通常通过嵌入来创建。
from langchain.embedd…
LangChain + Streamlit + Llama：将对话式AI引入本地机器
推荐：使用 NSDT场景编辑器 助你快速搭建可二次编辑的3D应用场景 什么是LLMS？
大型语言模型 （LLM） 是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用包括书籍、文章、网站和其他来源在内的…
05_Output_Parsers(输出解析器)
模型输出为文本，有时候需要输出结果为结构化数据，如数组、字典等类型，这个时候需要输出解析器。
LangChain框架提供了基础的解析器类BaseOutputParser，其他的解析器都是继承自该类，
实现的两个主要方法
1. get_form…
Langchain使用介绍之outparser 和memory
上一篇博客中对Langchain中prompt进行了详细的介绍，此篇博客将介绍Langchain中的outparser和memory。当调用大模型生成内容时，返回的内容默认是string类型，这对于我们获取response中的某些内容信息可能会带来障碍，例如返回的内容本…
LangChain学习笔记；给老师的ChatGPT使用指南；中国大模型顶级闭门会交流笔记；飞桨开源任务挑战大赛 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 飞桨PaddlePaddle开源任务挑战大赛，首届「开放原子开源大赛」等你参与 官网：https://competition.atomgit.com…
WTF Langchain极简入门: 03. 数据连接
加载文档
langchain提供多种文档加载器，支持多种格式、来源的文件。可以从本地存储系统加载文件，也可以从网上加载远端文件。想了解LangChain所支持的所有文档加载器，请参考Document Loaders。
在本系列课程中，我们将使用最基本…
AI猫咪穿搭也太萌了！用AI写出好故事的22条诀窍；吴恩达AI新课预告；2024年十大战略技术趋势 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 可口可乐与好利来跨界联名，推出与AI共创的新品巧克力 继「酱香拿铁」后又有一款跨界合作让人眼前一亮——可口可乐与好利来…
langchain入门指南和实战
简单介绍
LangChain 是一个开源的语言模型集成框架，旨在简化使用大型语言模型（LLM）创建应用程序的过程。 利用它可以让开发者使用语言模型来实现各种复杂的任务，例如文本到图像的生成、文档问答、聊天机器人、 调用特定的SaaS服务…
【LangChain系列 7】Prompt模版——少样本prompt模版(一)
原文地址：【LangChain系列 7】Prompt模版——少样本prompt模版(一) 本文速读： prompt样本集合 prompt样本选择器 少样本模版的意思是：在prompt中包含一些样本，这样LLM就可以根据这些样本，更好的理解prompt࿰…
LangChain 实践之工具使用
参考：LangChain中文入门教程
LangChain官网
通过 Google 搜索并返回答案
import os
os.environ["OPENAI_API_KEY"] "xxx"
os.environ[SERPAPI_API_KEY] "xxx"from langchain.agents import load_tools
from langchain.agents im…
基于清华chatglm-6b模型的向量化检索问答
之前清华模型已经证实在中文领域具有相当不错的表现，这是其他老外模型所不具备的（除了openai），目前在免费领域来说chatglm-6b已经是领头羊的地位。抛开此模型的弊端（微调大部分都会失败，可能失去通用领域的能力，可能失去语言能力）来说，将其应用于本地知识库的问答检索…
Langchain里的“记忆力”，让AI只记住有用的事
今天要讲以下内容：
1.ConversationBufferWindowMemory：基于一个固定长度的滑动窗口的“记忆”功能
2.ConversationSummaryMemory：总结对话“记忆”功能
3.ConversationSummaryBufferMemory：上面两个的结合，超过一定…
我用 LangChain 打造自己的 LLM 应用项目
随着LLM的技术发展，其在业务上的应用越来越关键，通过LangChain大大降低了LLM应用开发的门槛。本文通过介绍LangChain是什么，LangChain的核心组件以及LangChain在实际场景下的使用方式，希望帮助大家能快速上手LLM应用的开发。
技术…
LangChain+LLM实战---使用GPT4ALL和LangChain构建本地大模型应用
原文：Private LLMs on Your Local Machine and in the Cloud With LangChain, GPT4All, and Cerebrium
私有化大语言模型的想法肯定会引起我们的共鸣。其吸引力在于，我们可以查询信息并将信息传递给大语言模型，而无需我们的数据或响应通过第…
langchain系列：langchain入门（一分钟搞定对话机器人）
什么是langchain 随着aigc的火热，各大厂商开始提供他们自己的api服务，诸如openai、google、等，还有的直接开源出自己的模型，放到Huggingface提供使用，而LangChain就是一个基于语言模型开发应用程序的框架，它…
LangChain 使用文本描述的方式操作MySQL中的数据
一、LangChain 使用文本描述的方式操作MySQL中的数据
在 LangChain 中提供了 SQLDatabaseChain ，可以通过语义文本去操作 MySQL中的数据，例如在 MySQL 中有如下表数据：
用户表
CREATE TABLE user (id int NOT NULL AUTO_INCREMENT COMMENT…
Langchain-Chatchat-win10本地安装部署成功笔记（CPU）
Langchain-Chatchat（原Langchain-ChatGLM）基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain。 开源网址：https:…
AIGC｜如何将Milvus集成到LangFlow中？详细代码演示！
目录
一、基本介绍
二、修改langflow代码使其支持milvus
三、效果演示 langflow是一个LangChain UI，它提供了一种交互界面来使用LangChain，通过简单的拖拽即可搭建自己的实验、原型流。通过在langflow中引入Milvus，用户可以更方便地存储和…
【LangChain学习】基于PDF文档构建问答知识库（一）前期准备
这系列主要介绍如何使用LangChain大模型，结合ChatGPT3.5，基于PDF文档构建专属的问答知识库。 一、 环境搭建
LangChain 和 OpenAI 本身可支持 Nodejs 和 Python 两个版本，笔者后续的介绍主要用到Python版本，如果有需要Nodejs版本…
NLP（六十五）LangChain中的重连（retry）机制
关于LangChain入门，读者可参考文章NLP（五十六）LangChain入门 。 本文将会介绍LangChain中的重连机制，并尝试给出定制化重连方案。 本文以LangChain中的对话功能（ChatOpenAI）为例。
LangChain中的重…
LangChain手记 Chains
整理并翻译自DeepLearning.AILangChain的官方课程：Chains（源代码可见） Chains 直译链，表达的意思更像是对话链，对话链的背后是思维链 LLM Chain（LLM链）
首先介绍了一个最简单的例子，…
langchain-ChatGLM源码阅读：模型加载
文章目录 使用命令行参数初始化加载器模型实例化清空显存加载模型调用链loader.py的_load_model方法auto_factory.py的from_pretrained方法modeling_utils.py的from_pretrained方法hub.py的get_checkpoint_shard_files方法modeling_utils.py的_load_pretrained_mode方法回到loa…
一文入门最热的LLM应用开发框架LangChain
在人工智能领域的不断发展中，语言模型扮演着重要的角色。特别是大型语言模型（LLM），如 ChatGPT，已经成为科技领域的热门话题，并受到广泛认可。
在这个背景下，LangChain 作为一个以 LLM 模型为核…
AI变现之Gpts搞流量+赚钱
文章目录 Gpts | 搞流量 + 赚钱1.项目介绍2.项目分析3.项目实操4.变现路径Gpts | 搞流量 + 赚钱
1.项目介绍
这两天 AI 圈最火的莫过于 OpenAI 开发者大会公布的一个爆炸产品 Gpts 了，大家都知道这个肯定是一个划时代的产品，也绝对是一个风口，虽然官方还没有公布到底怎么通…
![[干货]LangChain入门-LangChain框架的构成与特点](https://img-blog.csdnimg.cn/img_convert/3e9296824dbe47286f372469e57cca16.jpeg)
[干货]LangChain入门-LangChain框架的构成与特点
什么是LangChain?
LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与语言模型的交互&#…
《向量数据库指南》——Range Search 的技术实现细节
Range Search 功能诞生于社区。
某天，一位做系统推荐的用户在社区提出了需求，希望 Milvus Cloud 能提供一个新功能，可以返回向量距离在一定范围之内的结果。而这不是个例，开发者在做相似性查询时，经常需要对结果做二次过滤。
为了帮助用户解决这一问题，Milvus Cl…
ImportError: cannot import name ‘SQLDatabaseChain‘ from ‘langchain‘解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…
大模型从入门到应用——LangChain：链（Chains）-[链与索引：问答的基础知识]
分类目录：《大模型从入门到应用》总目录 本文介绍如何使用LangChain在文档列表上进行问答。它涵盖了四种不同的链式类型：
stuffmap_reducerefinemap_rerank
首先，我们需要准备数据，我们对一个向量数据库进行相似性搜索ÿ…
NoSuchModuleError: Can‘t load plugin: sqlalchemy.dialects:clickhouse解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…
GPT实战系列-简单聊聊LangChain搭建本地知识库准备
GPT实战系列-简单聊聊LangChain搭建本地知识库准备 LangChain 是一个开发由语言模型驱动的应用程序的框架，除了和应用程序通过 API 调用， 还会： 数据感知 : 将语言模型连接到其他数据源 具有代理性质 : 允许语言模型与其环境交互
LLM大模型…
LLM之LangChain：LangChain 0.1.0 版本发布的简介、安装和使用方法、案例应用之详细攻略
LLM之LangChain：LangChain 0.1.0 版本发布的简介、安装和使用方法、案例应用之详细攻略 导读：2024年1月8日，今天，我们很高兴宣布发布 langchain 0.1.0，这是我们的第一个稳定版本。它完全向后兼容，提供了 Py…
【Java-LangChain:使用 ChatGPT API 搭建系统-6】处理输入-链式 Prompt Chaining Prompts
第六章，处理输入-链式 Prompt Chaining Prompts
在本章中，我们将学习如何通过将复杂任务拆分为一系列简单的子任务来链接多个 Prompt。
您可能会想，为什么要将任务拆分为多个 Prompt，而不是像我们在上一个视频中学习的那样&…
【Java-LangChain:面向开发者的提示工程-2】编写提示词原则
第二章 编写提示词原则
一、环境配置
开始学习前，我们用最简单的方案使用LLM（这里我们使用ChatGPT最为我们调用的LLM）。所以我们使用 Java版的SDK（第三方库） 你也可以参考 官方文档 ,看看都有哪些内容。
自己的项目…
LangChain 9 模型Model I/O 聊天提示词ChatPromptTemplate, 少量样本提示词FewShotPrompt
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
大模型实战营第二期——3. 基于 InternLM 和 LangChain 搭建你的知识库
github地址：InternLM/tutorial-书生浦语大模型实战营文档地址：基于 InternLM 和 LangChain 搭建你的知识库视频地址：基于 InternLM 和 LangChain 搭建你的知识库Intern Studio: https://studio.intern-ai.org.cn/console/instance动手学大模型…
【Langchain Agent研究】SalesGPT项目介绍（一）
【2024最全最细LangChain教程-13】Agent智能体（二）-CSDN博客 之前我们介绍了langchain的agent，其实不难看出，agent是更高级的chain，可以进行决策分析、可以使用工具，今天我们开始开启一些更高阶的课程&…
【Langchain Agent研究】SalesGPT项目介绍（二）
【Langchain Agent研究】SalesGPT项目介绍（一）-CSDN博客 上节课，我们介绍了SalesGPT他的业务流程和技术架构，这节课，我们来关注一下他的项目整体结构、poetry工具和一些工程项目相关的设计。
项目整体结构介绍 我们把…
大模型+LangChain知识
什么是 LangChain？
https://python.langchain.com/docs/get_started/introduction
LangChain 是一个基于语言模型的框架，用于构建聊天机器人、生成式问答（GQA）、摘要等功能。它的核心思想是将不同的组件“链”在一起，…
基于 InternLM 和 LangChain 搭建你的知识库(三)
基于 InternLM 和 LangChain 搭建你的知识库
大模型开发范式 Finetune
在大型语言模型中，Finetune（微调）是一种技术，用于调整预训练的模型以提高其在特定任务或数据集上的表现。这种方法通常涉及以下步骤：
预训练模…
LangChain，构建带有Milvus存储的问题分析任务
LangChain简述
LangChain 就是一个 LLM 编程框架，你想开发一个基于 LLM 应用，需要什么组件它都有，直接使用就行；甚至针对常规的应用流程，它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。下面我们从新…
使用Mamba和Qdrant数据库实现RAG的代码示例
Mamba挑战了Transformers设定的传统规范，特别是在处理长序列方面。Mamba以其选择性状态空间脱颖而出，融合了lstm的适应性和状态空间模型的效率。
我们今天来研究一下RAG、Mamba和Qdrant的协同工作，它们的有效组合保证了效率和可扩展性。 Mam…
详解Java设计模式之职责链模式
原文：详解Java设计模式之职责链模式_java_脚本之家
责任链模式是一种行为设计模式，使多个对象都有机会处理请求，从而避免请求的发送者和接收者之间的耦合关系，文中通过代码示例给大家介绍的非常详细,需要的朋友可以参考下 −
目…
LangChain学习三：链-实战
文章目录 上一节内容：LangChain学习二：提示-实战（下半部分）学习目标：明白链是什么？有哪些？怎么用？学习内容一：介绍学习内容二：有那些学习内容三：实…
LangChain 12调用模型HuggingFace中的Llama2和Google Flan t5
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
AIGC｜LangChain新手入门指南，5分钟速读版！
如果你用大语言模型来构建AI应用，那你一定不可能绕过LangChain,LangChain是现在最热门的AI应用框架之一，去年年底才刚刚发布，它在github上已经有了4.6万颗星的点赞了，在github社区上，每天都有众多大佬，用它…
Chatbot开发三剑客：LLAMA、LangChain和Python
聊天机器人（Chatbot）开发是一项充满挑战的复杂任务，需要综合运用多种技术和工具。在这一领域中，LLAMA、LangChain和Python的联合形成了一个强大的组合，为Chatbot的设计和实现提供了卓越支持。 首先，LLAMA是…
Embedding 嵌入知识入门
原文首发于博客文章Embedding 嵌入知识入门 文本嵌入是什么
向量是一个有方向和长度的量，可以用数学中的坐标来表示。例如，可以用二维坐标系中的向量表示一个平面上的点，也可以用三维坐标系中的向量表示一个空间中的点。在机器学习中&#x…
基于大语言模型LangChain框架：知识库问答系统实践
ChatGPT 所取得的巨大成功，使得越来越多的开发者希望利用 OpenAI 提供的 API 或私有化模型开发基于大语言模型的应用程序。然而，即使大语言模型的调用相对简单，仍需要完成大量的定制开发工作，包括 API 集成、交互逻辑、数据存储等…
LangChain学习二：提示-实战（上半部分）
文章目录 上一节内容：LangChain学习一：模型-实战学习目标：提示词及提示词模板的运用学习内容一：什么是提示词？学习内容二：提示词模板2.1 入门2.2 模板格式2.3 验证模板2.4 序列化提示模板2.5 将少量示例传递…
langchain agent简单使用；文档总结load_summarize_chain
1、langchain agent简单使用
参考：https://zhuanlan.zhihu.com/p/643868934?utm_id0
from langchain.agents.agent_toolkits import create_python_agent
from langchain.agents import load_tools, initialize_agent
from langchain.agents import AgentType
fr…
实战案例：chatglm3 基础模型多轮对话微调
chatglm3 发布了，这次还发了base版本的模型，意味着我们可以基于这个base模型去自由地做SFT了。
本项目实现了基于base模型的SFT。
base模型
https://huggingface.co/THUDM/chatglm3-6b-base由于模型较大，建议离线下载后放在代码目录&#…
LangChain 11实现思维树Implementing the Tree of Thoughts in LangChain’s Chain
思维之树（ Tree of Thoughts ToT）是一个算法，它结合了普林斯顿大学和谷歌DeepMind在本文中提出的大型语言模型（LLMs）和启发式搜索。看起来这个算法正在被实现到谷歌正在开发的多模式生成AI Gemini中。
现在࿰…
翻译: 生成式人工智能项目的生命周期 Lifecycle of a generative AI project
我将分享一下构建生成式AI软件应用程序的过程。首先，我们会确定项目范围，决定软件要实现的功能。例如，你可能决定建立一个餐厅声誉监控系统。接下来是实际的实施阶段。由于生成式AI使构建应用程序变得容易，你通常可以很快构建出一…
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。
前言
通义模型具备的能力包括：
1.创作文字…
ChatGPT OpenAI API请求限制 尝试解决
1. OpenAI API请求限制 Retrying langchain.chat_models.openai.ChatOpenAI.completion_with_retry.._completion_with_retry in 4.0 seconds as it raised RateLimitError: Rate limit reached for gpt-3.5-turbo-16k in organization org-U7I2eKpAo6xA7RUa2Nq307ae on reques…
如何通过 Prompt 优化大模型 Text2SQL 的效果
前言
在上篇文章中「大模型LLM在Text2SQL上的应用实践」介绍了基于SQLDatabaseChain的Text2SQL实践，但对于逻辑复杂的查询在稳定性、可靠性、安全性方面可能无法达到预期，比如输出幻觉、数据安全、用户输入错误等问题。
本文将从以下4个方面探讨通过Pr…
AI全栈大模型工程师(二十一)LangChain和SemanticKernel怎么选
文章目录 LangChain 和 Semantic Kernel 怎么选？参与开源软件开发，正当时怎么贡献准备选题动手总结作业后记LangChain 和 Semantic Kernel 怎么选？ 划重点： 两者都值得学C#、JavaScript 和 Java 现在没得选做原型，首选 LangChain。功能多，开发快做产品，还是 SK 长期更可…
一文读懂Langchain：ChatGLM3和ChatGPT的Agent调用尝试
文章目录 关于AgentChatGPT的Agent能力测试工具定义模型定义工具导入Agent类型Agent测试提示词分析解析算法分析 关于Agent
Agent的中文名叫做代理或者智能体，和一般的对话模式相比，进入Agent模式的大模型，具有更多的自我意识和独立思考能力…
PyLMKit(6):大模型使用(API型和本地开源模型)
日期：2023-12-6
PyLMKit目前集成了LLM模型有两种类型：
API付费调用型本地开源模型下载部署
1.API型LLM模型使用教程
1.1.申请 API KEY
根据你想使用的大模型的官网，注册账号，并申请API KEY，如果需要付费调用&…
LangChain+LLM实战---向量数据库介绍
原文：Vector Databases
Embeddings是由人工智能模型(如大型语言模型)生成的，具有大量的属性或特征，使其表示难以管理。在人工智能和机器学习的背景下，这些特征代表了数据的不同维度，这些维度对于理解模式、关系和底层…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的类型Ⅲ]
分类目录：《自然语言处理从入门到应用》总目录 对话令牌缓冲存储器ConversationTokenBufferMemory
ConversationTokenBufferMemory在内存中保留了最近的一些对话交互，并使用标记长度来确定何时刷新交互，而不是交互数量。
from langchain.me…
LangChain（0.0.340）官方文档九：Retrieval——Text embedding models、Vector stores、Indexing
LangChain官网、LangChain官方文档 、langchain Github、langchain API文档、llm-universe 文章目录 一、Text embedding models1.1 Embeddings类1.2 OpenAI1.3 Sentence Transformers on Hugging Face1.4 CacheBackedEmbeddings1.4.1 简介1.4.2 与Vector Store一起使用1.4.3 内…
LangChain手记 Memory
整理并翻译自DeepLearning.AILangChain的官方课程：Memory Memory
使用open ai的API调用GPT都是单次调用，所以模型并不记得之前的对话，多轮对话的实现其实是将前面轮次的对话过程保留，在下次对话时作为输入的message数组的一部分&…
目前全网LangChain最全干货整理||推荐给有缘人
LangChain资料整理
LangChain中文网，目前做的还不错，可以自称中文网：LangChain中文网: 500页超详细中文文档教程，助力LLM/chatGPT应用开发 – LangChain中文网
LangChain-专栏 思考实践//毛遂自荐，我自己的专栏&…
异步使用langchain
文章目录 一.先利用langchain官方文档的AI功能问问二.langchain async api三.串行，异步速度比较 一.先利用langchain官方文档的AI功能问问 然后看他给的 Verified Sources 这个页面里面虽然有些函数是异步函数，但是并非专门讲解异步的
二.langchain asy…
Langchain-Chatchat环境安装
目录
一、简介
二、环境安装
三、使用Langchain-Chatchat
3.1、下载模型
3.2、设置配置文件
3.3、执行 一、简介 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。
🤖️ 一种利用 l…
langChain学习笔记（待续）
目录 IntroductionLLM的限制扩展理解：什么是机器学习扩展阅读：机器学习的流程 LangChain Introduction
LLM的限制 大型语言模型，比如ChatGpt4，尽管已经非常强大，但是仍然存在一些限制：
知识更新ÿ…
翻译: LLM工具使用和代理Tool use and agents
欢迎来到本周的最后一个视频。在这个视频中，我想与您分享LLM（大型语言模型）开始能够使用工具的情况，以及讨论一下前沿的“代理”主题，这是让LLM自己决定下一步采取什么行动的领域。让我们来看看。在早期的食物订单接收…
【Java-LangChain:使用 ChatGPT API 搭建系统-3】评估输入-分类
第三章 评估输入-分类
在本章中，我们将重点讨论评估输入任务，这对于确保系统的质量和安全性至关重要。
对于需要处理不同情况下的许多独立指令集的任务，首先对查询类型进行分类，并以此为基础确定要使用哪些指令，具有…
LangChain+LLM实战---实用Prompt工程讲解
原文：Practical Prompt Engineering
注：本文中，提示和prompt几乎是等效的。 这是一篇非常全面介绍Prompt的文章，包括prompt作用于大模型的一些内在机制，和prompt可以如何对大模型进行“微调”。讲清楚了我们常常听到的…
虹科分享 | 用Redis为LangChain定制AI代理——OpenGPTs
文章速览：
OpenGPTs简介Redis在OpenGPTs中的作用在本地使用OpenGPTs在云端使用OpenGPTsRedis与LangChain赋能创新
OpenAI最近推出了OpenAI GPTs——一个构建定制化AI代理的无代码“应用商店”，随后LangChain开发了类似的开源工具OpenGPTs。OpenGPTs是一…
【LangChain学习之旅】—（3） LangChain快速构建本地知识库的智能问答系统
【LangChain学习之旅】—（3） LangChain快速构建本地知识库的智能问答系统 项目及实现框架开发框架核心实现机制数据准备及加载加载文本文本的分割向量数据库存储文本的“嵌入”概念向量数据库概念 相关信息获取RetrievalQA生成回答并展示示例小结 Refere…
Elasticsearch：与多个 PDF 聊天 | LangChain Python 应用教程（免费 LLMs 和嵌入）
在本博客中，你将学习创建一个 LangChain 应用程序，以使用 ChatGPT API 和 Huggingface 语言模型与多个 PDF 文件聊天。 如上所示，我们在最最左边摄入 PDF 文件，并它们连成一起，并分为不同的 chunks。我们可以通过使用 …
LangChain+LLM实战---部署本地大模型(基于Langchain)
原文：Training Your Own LLM using privateGPT
作者：Wei-Meng Lee 了解如何在不向提供者公开私有数据的情况下训练自己的语言模型 使用公共AI服务(如OpenAI的ChatGPT)的主要问题之一是将您的私人数据暴露给提供商的风险。对于商业用途，这仍然…
langchain中的Document类
在Langchain-Chatchat的上传文档接口（upload_docs）中有个自定义的docs字段，用到了Document类。根据发现指的是from langchain.docstore.document import Document。本文简要对Document类进行介绍。
1.上传文档接口upload_docs
def upload_d…
【LangChain系列 5】Prompt模版——特征库
原文地址：【LangChain系列 5】Prompt模版——特征库
本文速读： Feast Featureform 特征库(feature stores)是传统机器学习中的一个概念，本质上是数据，不同维度/属性的数据，而且可以保持同步更新，所以可以…
LangChain支持哔哩哔哩视频总结
是基于LangChain框架下的开发，所以最开始请先
pip install Langchain
pip install bilibili-api-python
技术要点： 使用Langchain框架自带的Document loaders 修改BiliBiliLoader的源码，自带的并不支持当前b站的视频加载
源码文件修改&a…
【LangChain实战】开源模型学习（1）-ChatGLM2-6B
介绍 ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性： 更强大的性能：基于 ChatGLM 初代模型的开发经验，…
LLM系列 | 11: LangChain危矣？亲测ChatGPT函数调用功能：以天气问答为例
简介
春水碧于天，画船听雨眠。小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖五连鞭的小男孩。紧接前面几篇ChatGPT Prompt工程和应用系列文章：
04:ChatGPT Prompt编写指南05:如何优化ChatGPT Prompt？06:C…
LangChain: LLM应用开发框架
GitHub - hwchase17/langchain: ⚡ Building applications with LLMs through composability ⚡⚡ Building applications with LLMs through composability ⚡ - GitHub - hwchase17/langchain: ⚡ Building applications with LLMs through composability ⚡https://github.c…
【吴恩达deeplearning.ai】基于LangChain开发大语言应用模型（下）
以下内容均整理来自deeplearning.ai的同名课程 Location 课程访问地址 DLAI - Learning Platform Beta (deeplearning.ai) LangChain for LLM Application Development 基于LangChain开发大语言应用模型（上） 一、LangChain: Q&A over Documents基于文…
【Langchain】GPT的高效插件
功能1：让模型具有memory
可以看到，langchain作为访问gpt的一个插件，可以让gpt模型通过memory变量将之前的对话记录下来，从而使模型具有记忆（在不改变模型参数的情况下）。 查看memory变量包含了什么&#…
【RapidAI】P0 项目总览
RapidAI 项目总览 ** 内容介绍 **
Author： SWHL、omahs Github： https://github.com/RapidAI/Knowledge-QA-LLM/ CSDN Author： 脚踏实地的大梦想家 UI Demo： ** 读者须知 **
本系列博文，主要内容为将 RapidAI 项目逐…
CopilotHub招聘产品设计师；大模型岗位面试官的一线分享；AI应用创业的共识与非共识；LangChain学习手册 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 CopilotHub 招聘产品设计师，AI Agent C 端产品、远程工作、无限制带薪假期 https://app.copilothub.ai 这是一家成立于202…
LangChain大型语言模型(LLM)应用开发(三)：Chains
LangChain是一个基于大语言模型（如ChatGPT）用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#x…
NLP（五十七）LangChain使用Google Search Agent
大模型存在的问题 大模型在给人带来眼前一亮的表现，深深地震撼各行各业人们的同时，其本身也存在着不少问题。 以OpenAI的ChatGPT模型为例，其存在的问题有：
事实错误，容易一本正经地胡说八道，造成幻觉问…
LangChain与大模型的学习ing
大模型的菜鸟初学习 一、问题记录1、库的版本问题 二、实例记录1、公司名生成2、提示模板的使用3、LLM Chain4、LLMMemory5、聊天语言API 参考资料 一、问题记录
1、库的版本问题
openai.error.APIConnectionError: Error communicating with OpenAI: HTTPSConnectionPool(ho…
(八)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (检索 Retrieval)
检索增强生成（RAG）的整体工作流程如下： 在构建检索增强生成 (RAG) 系统时，信息检索是核心环节。检索是指根据用户的问题去向量数据库中搜索与问题相关的文档内容，当我们访问和查询向量数据库时可能会运用到如下几种技术…
【LangChain学习】基于PDF文档构建问答知识库（二）创建项目
这里我们使用到 fastapi 作为项目的web框架，它是一个快速（高性能）的 web 框架，上手简单。 一.创建 FastAPI 项目
我们在IDE中，左侧选择 FastAPI ，右侧选择创建一个新的虚拟环境。 创建成功，会有…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的类型Ⅱ]
分类目录：《自然语言处理从入门到应用》总目录 对话知识图谱记忆（Conversation Knowledge Graph Memory）
这种类型的记忆使用知识图谱来重建记忆：
from langchain.memory import ConversationKGMemory
from langchain.llms impo…
大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）
文章目录 大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）引言LangChain框架下的推理优化LangChain的核心理念与功能特点分布式计算与知识图谱集成优化推理路径实例分析：使用链式查询与缓存机制提升模型推…
LangChain-ChatGLM在WIndows10下的部署
LangChain-ChatGLM在WIndows10下的部署
参考资料
1、LangChain ChatGLM2-6B 搭建个人专属知识库中的LangChain ChatGLM2-6B 构建知识库这一节：基本的逻辑和步骤是对的，但要根据Windows和现状做很多调整。
2、没有动过model_config.py中的“LORA_MOD…
圣诞老人遇见 GenAI：利用大语言模型、LangChain 和 Elasticsearch 破译手写的圣诞信件
在北极的中心地带，圣诞老人的精灵团队面临着巨大的后勤挑战：如何处理来自世界各地儿童的数百万封信件。 圣诞老人表情坚定，他决定是时候将人工智能纳入圣诞节行动了。 圣诞老人坐在配备了最新人工智能技术的电脑前，开始在 Jupyter…
查询本地知识库之llama2+langchain
一， 环境准备
1. python package 包
!pip install -U langchain unstructured nltk sentence_transformers faiss-gpu
2. nltk的punkt手动安装
安装nltk的punkt模块（因为下载速度很慢，所以这里我们手动下载） 先在root目录下&a…
大模型学习与实践笔记（十三）
将训练好的模型权重上传到 OpenXLab
方式1： 先将Adapter 模型权重通过scp 传到本地，然后网页上传
步骤1. scp 到本地
命令为：
scp -o StrictHostKeyCheckingno -r -P *** rootssh.intern-ai.org.cn:/root/data/ e/opencv/
步骤2&#…
第三节：基于 InternLM 和 LangChain 搭建你的知识库（课程笔记）
视频链接：https://www.bilibili.com/video/BV1sT4y1p71V/?vd_source3bbd0d74033e31cbca9ee35e111ed3d1
文档地址： https://github.com/InternLM/tutorial/tree/main/langchain
课程笔记： 1.仅仅包含训练时间点之前的数据，无法…
chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队
一.前言
近期， ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布，引入了如下新特性：
①. 基座模型升级，性能更强大，在中文C-Eval榜单中，以51.7分位列第6；
②. 支持8K-32k的上下文；…
大模型学习与实践笔记（十五）
书生浦语大模型合集
第一节课笔记：
大模型学习与实践笔记（一）-CSDN博客
第二节课笔记：
大模型学习与实践笔记（二）-CSDN博客
第二节课作业（基础进阶）：
大模型学习与…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[基础知识]
分类目录：《自然语言处理从入门到应用》总目录 索引（Indexes）是指为了使LLM与文档更好地进行交互而对其进行结构化的方式。在链中，索引最常用于“检索”步骤中，该步骤指的是根据用户的查询返回最相关的文档：…
美国大模型风向速报（一）为何重视提示工程？LangChain+向量数据库+开源大模型真香...
多家，且独家来自美国的信源同时向“亲爱的数据”表示， 提示工程（Prompt Engineering）在美国大模型领域备受重视。 读者都要聊， 那就干活。 （一）开源真香 现阶段，AI开源极客大展身手&…
Elasticsearch：使用 LangChain 对话链和 OpenAI 的聊天机器人
在此笔记本中，我们将构建一个聊天机器人，它可以回答有关自定义数据的问题，例如雇主的政策。
聊天机器人使用 LangChain 的 ConversationalRetrievalChain，具有以下功能：
用自然语言回答问题在 Elasticsearch 中运行混…
LangChain手记 Question Answer 问答系统
整理并翻译自DeepLearning.AILangChain的官方课程：Question Answer（源代码可见） 本节介绍使用LangChian构建文档上的问答系统，可以实现给定一个PDF文档，询问关于文档上出现过的某个信息点，LLM可以给出关于该…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[文档加载器（Document Loaders）]
分类目录：《自然语言处理从入门到应用》总目录 合并语言模型和我们自己的文本数据是区分它们的一种强大方式，这样做的第一步是将数据加载到“文档”中，文档加载器的作用就是使这个过程变得简单。
LangChain提供了三种文档加载器：…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：LLMChain、RouterChain和SequentialChain]
分类目录：《自然语言处理从入门到应用》总目录 LLMChain
LLMChain是查询LLM对象最流行的方式之一。它使用提供的输入键值（如果有的话，还包括内存键值）格式化提示模板，将格式化的字符串传递给LLM，并返回LLM…
自然语言处理从入门到应用——LangChain：链（Chains）-[基础知识]
分类目录：《自然语言处理从入门到应用》总目录 在本文中，我们将学习如何在LangChain中创建简单的链式连接并添加组件以及运行它。链式连接允许我们将多个组件组合在一起，创建一个统一的应用程序。例如，我们可以创建一个链式连接&a…
AI开源 - LangChain UI 之 Flowise
原文：AI开源 - LangChain UI 之 Flowise
一、Flowise 简介
Flowise 是一个为 LangChain 设计的用户界面(UI)，使得使用 LangChain 变得更加容易（低代码模式）。
通过拖拽可视化的组件，组建工作流，就可以轻…
本地部署开源大模型的完整教程：LangChain + Streamlit+ Llama
在过去的几个月里，大型语言模型(llm)获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[检索器（Retrievers）]
分类目录：《自然语言处理从入门到应用》总目录 检索器（Retrievers）是一个通用的接口，方便地将文档与语言模型结合在一起。该接口公开了一个get_relevant_documents方法，接受一个查询（字符串）并返…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：SequentialChain和TransformationChain]
分类目录：《自然语言处理从入门到应用》总目录 SequentialChain
在调用语言模型之后，下一步是对语言模型进行一系列的调用。若可以将一个调用的输出作为另一个调用的输入时则特别有用。在本节中，我们将介绍如何使用顺序链来实现这一点。顺序…
如何基于LLMs使用LangChain构建强大的差异化应用--LangChain之初体验
近年来，语言模型(LMs)特别是LLMs已经成为最令人兴奋和最有影响力的技术之一。 它们可以为各种目的生成自然语言文本，例如回答问题、撰写摘要、创建故事等等。然而，仅使用LMs还不足以构建真正强大且与众不同的应用程序。您还需要: 将LMs连接到其他数据源，如文档、数据库、网…
【AI实战】给类ChatGPT的大语言模型外挂私有知识库
【AI实战】给类ChatGPT的大语言模型外挂私有知识库 原理准备环境代码下载 chatglm-6b 模型权重文件下载 Embedding 模型 GanymedeNil/text2vec-large-chinese安装依赖库我的计算资源 外挂知识库开启服务外挂知识库 测试参考 本文使用 langChain 来给大语言模型 ChatGLM-6B 外挂…
ChatGPT 使用 拓展资料：吴恩达大咖 基于LangChain的LLM应用程序开发-1
ChatGPT 使用 拓展资料：吴恩达大咖 基于LangChain的LLM应用程序开发 基于LangChain的LLM应用程序开发 LangChain for LLM Application Development [https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/]
基于LangChain的LLM应用程序开发…
win10 安装 langchain-chatglm 避坑指南（2023年6月21日最新版本）
官网看起来安装很简单，网上教程也是，但实际上我耗费了两天时间，查阅了当前网络上所有可查阅的资料，重复「安装-配置-卸载」十几遍，总结出的安装方法。 1、安装Anaconda（这个就不啰嗦了，网上安装…
LangChain大型语言模型(LLM)应用开发(一)：Models, Prompts and Output Parsers
LangChain是一个基于大语言模型（如ChatGPT）用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互&#x…
OpenAI Functions Agent持久化(Add Memory to OpenAI Functions Agent)
准备工作
注册获取openAI的key，这个自己弄。注册并获取Google Search API 的 key，为了可以在工具中使用google查询，https://serpapi.com/search-api
概述
本笔记本介绍了如何对 OpenAI Functions 代理进行持久化。
内容
import os
# 自己…
【LangChain】从LangChainHub加载(Loading from LangChainHub)
LangChain学习文档
Chains（链） 【LangChain】不同的调用方式(Different call methods)【LangChain】自定义chain【LangChain】调试Chain(Debugging chains)【LangChain】从LangChainHub加载(Loading from LangChainHub) 概述
LangChainHub 可以理解为…
给LLM装上知识：从LangChain+LLM的本地知识库问答到LLM与知识图谱的结合
第一部分 基于LangChain ChatGLM-6B的本地知识库问答的应用实现
1.1 什么是LangChain：连接本地知识库与LLM的桥梁
作为一个 LLM 应用框架，LangChain 支持调用多种不同模型，提供相对统一、便捷的操作接口，让模型即插即用&#x…
【LangChain学习】基于PDF文档构建问答知识库（三）实战整合 LangChain、OpenAI、FAISS等
接下来，我们开始在web框架上整合 LangChain、OpenAI、FAISS等。 一、PDF库
因为项目是基于PDF文档的，所以需要一些操作PDF的库，我们这边使用的是PyPDF2
from PyPDF2 import PdfReader# 获取pdf文件内容
def get_pdf_text(pdf):text "…
LangChain源码逐行解密之prompts（三）
LangChain源码逐行解密之prompts semantic_similarity.py源码逐行剖析 LengthBasedExampleSelector类比较简单，我们看一下semantic_similarity.py具体是怎么操作的。Gavin大咖微信：NLP_Matrix_Space semantic_similarity.py的代码实现：
1. """基于SemanticS…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[将记忆添加到LangChain组件中]
分类目录：《自然语言处理从入门到应用》总目录 将记忆添加到LLMChain中
本节介绍如何将Memory类与LLMChain结合使用，我们将添加ConversationBufferMemory类作为示例，但实际上可以使用任何Memory类。
from langchain.memory import Conversa…
【Langchain Agent研究】SalesGPT项目介绍（四）
【Langchain Agent研究】SalesGPT项目介绍（三）-CSDN博客 github地址：GitHub - jerry1900/SalesGPT: Context-aware AI Sales Agent to automate sales outreach. 上节课，我们主要介绍了SalesGPT的类属性和它最重要的类方法f…
【LangChain系列 6】Prompt模版——自定义prompt模版
原文地址：【LangChain系列 6】Prompt模版——自定义prompt模版 本文速读： 自定义prompt模版 LangChain提供了很多默认的prompt模版，同时LangChain提供了两种基础prompt模版： 字符串prompt模版 对话prompt模版
基于这两种模版&…
10分钟构建本地知识库，让 ChatGPT 更加懂你
大家好，本文将从零开始构建本地知识库，从而辅助 ChatGPT 基于知识库内容生成回答。
这里再重复下部分核心观点： 向量：将人类的语言（文字、图片、视频等）转换为计算机可识别的语言（数组…
LangChain 开发LLM的框架
目录
1、简介
2、LangChain 的主要价值
3、模块 4、安装
4.1 python 版本安装
4.2 TypeScript 版本安装
npm 安装
yarn 安装
pnpm 安装
加载库
5、环境设置
6、构建一个应用程序
7、LLMs
8、提示模板
9、输出解析器
10、LLMs 提示模板 输出解析器 1、简介
La…
LangChain（0.0.340）官方文档三：Prompts上——自定义提示模板、使用实时特征或少量示例创建提示模板
文章目录 一、 Prompt templates1.1 langchain_core.prompts1.2 PromptTemplate1.2.1 简介1.2.2 ICEL1.2.3 Validate template 1.3 ChatPromptTemplate1.3.1 使用role创建1.3.2 使用MessagePromptTemplate创建1.3.3 自定义MessagePromptTemplate1.3.3.1 自定义消息角色名1.3.3.…
LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库
LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离线私有化知识库 一、前言二、介绍2.1、ChatGLM2-6B2.2、LangChain-Chatchat 介绍 三、模型支持3.1、LLM 模型支持3.2、Embedding 模型支持 四、项目部署4.1、环境说明4.2、安装 Conda4.3、安装 Python4.4、…
LangChain（0.0.339）官方文档四：Prompts下——prompt templates的存储、加载、组合和部分格式化
文章目录 一、 部分提示模板1.1 使用字符串值进行部分格式化（Partial with strings）1.2 使用函数进行部分格式化（Partial with functions） 二、Prompt pipelining2.1 String prompt pipelining2.2 Chat prompt pipelining 三、使用…
Langchain-chatchat本地部署
Langchain-chatchat本地部署
参考官网
环境配置
conda安装
minicoda下载地址
安装时注意勾选上添加环境变量。安装完成之后使用conda --version测试一下版本。
环境创建
先配置一下conda的镜像地址（使用阿里的靠谱一些），这里要修改一下…
Elasticsearch：使用 Open AI 和 Langchain 的 RAG - Retrieval Augmented Generation （一）
最近看了一个同事的几个视频。他总结的很好。在使用 LangChain 时，根据 LangChain 的官方文档 https://integrations.langchain.com/vectorstores，目前有三种方法可以进行使用：ElasticVectorSearch，ElasticsearchStore 及 Elastic…
如何使用Langchain-ChatGLM快速搭建个人知识库
引言
随着人工智能技术的不断发展，语言模型在各个领域中的应用越来越广泛。其中，Langchain-ChatGLM是一款使用了GPT-2语言模型的聊天机器人，它可以帮助用户快速搭建个人知识库，实现自动化问答和知识管理。下面，我们将…
翻译: 生成式人工智能的经济潜力 第3部分工作和生产力的影响 The economic potential of generative AI
麦肯锡报告
翻译: 生成式人工智能的经济潜力 第一部分商业价值 The economic potential of generative AI翻译: 生成式人工智能的经济潜力 第2部分行业影响 The economic potential of generative AI
1. 工作和生产力的影响
技术几十年来一直在改变工作的解剖学。多年来&…
LangChain学习二：提示-实战（下半部分）
文章目录 上一节内容：LangChain学习二：提示-实战（上半部分）学习目标：提示词中的示例选择器和输出解释器学习内容一：示例选择器1.1 LangChain自定义示例选择器1.2 实现自定义示例选择器1.2.1实战：…
ChatGLM系列七：LangChain+ChatGLM-6B
背景介绍
在开发过程中，我们经常会遇到需要构建基于本地知识库的问答系统的问题。这种系统需要能够根据用户提供的问题，在本地的知识库中查找并返回相关答案。然而，要实现这样的功能并不容易，涉及到语言模型的选择、知识库的管理…
云音乐大模型 Agent 探索实践
一. 前言
本篇文章介绍了大语言模型时代下的 AI Agent 概念，并以 LangChain 为例详细介绍了 AI Agent 背后的实现原理，随后展开介绍云音乐在实践 AI Agent 过程中的遇到的问题及优化手段。通过阅读本篇文章，读者将掌握业界主流的 AI Agent 实…
大模型下开源文档解析工具总结及技术思考
1 基于文档解析工具的方法
pdf解析工具
导图一览： PyPDF2提取txt： import PyPDF2
def extract_text_from_pdf(pdf_path):with open(pdf_path, rb) as file:pdf_reader PyPDF2.PdfFileReader(file)num_pages pdf_reader.numPagestext ""f…
构建卓越语言模型应用的利器：LangChain | 开源日报 No.39
langchain-ai/langchain
Stars: 61.3k License: MIT
LangChain 是一个用于通过组合性构建 LLMs 应用程序的库。
LLMs 和 Prompts：包括 prompt 管理、prompt 优化、所有 LLM 的通用接口以及与 LLMs 一起使用的常见工具。Chains：超越单个 LLM 调用&…
翻译: ChatGPT Token消耗粗略计算英文就是除以四分之三
在这个视频中，我想带你快速浏览一些例子，以建立对在软件应用中使用大型语言模型的实际成本的直观感受。让我们来看看。这是一些示例价格，用于从不同的大型语言模型获取提示和回应，这些模型对开发者可用。即，如果你在你…
LangChain 30 ChatGPT LLM将字符串作为输入并返回字符串Chat Model将消息列表作为输入并返回消息
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
验证 Mixtral-8x7B-Instruct-v0.1 和 LangChain SQLDatabaseToolkit 的集成效果
验证 Mixtral-8x7B-Instruct-v0.1 和 LangChain SQLDatabaseToolkit 的集成效果 0. 背景1. 验证环境说明2. 验证开始2-1. 准备测试数据库2-2. 读取环境配置信息2-3. 导入依赖包2-3. 创建 SQLDatabaseToolkit 对象和 AgentExecutor 对象2-4. 第1个测试 - 描述一个表2-5. 第2个测…
【Java-LangChain:面向开发者的提示工程-8】聊天机器人
第八章 聊天机器人
使用一个大型语言模型的一个令人兴奋的事情是，我们可以用它来构建一个定制的聊天机器人 (Chatbot) ，只需要很少的工作量。在这一节中，我们将探索如何利用聊天的方式，与个性化（或专门针对特定任务或…
ChatGLM3 langchain_demo 代码解析
ChatGLM3 langchain_demo 代码解析 0. 背景1. 项目代码结构2. 代码解析2-1. utils.py2-2. ChatGLM3.py2-3. Tool/Calculator.py2-4. Tool/Weather.py2-5. main.py 0. 背景
学习 ChatGLM3 的项目内容，过程中使用 AI 代码工具，对代码进行解释，…
魔搭社区LLM模型部署实践， 以ChatGLM3为例（一）
魔搭社区LLM模型部署实践， 以ChatGLM3为 例
本文以ChatGLM3-6B为例， 主要介绍在魔搭社区如何部署LLM， 主要包括如下内容：
● SwingDeploy - 云端部署， 实现零代码一键部署
● 多端部署 - MAC个人笔记本，…
【Java-LangChain:面向开发者的提示工程-4】文本概括
第四章 文本概括
当今世界上文本信息浩如烟海，我们很难拥有足够的时间去阅读所有想了解的东西。但欣喜的是，目前LLM在文本概括任务上展现了强大的水准，也已经有不少团队将概括功能实现在多种应用中。 本章节将介绍如何使用编程的方式&#x…
Langchain-Chatchat开源库使用的随笔记（一）
笔者最近在研究Langchain-Chatchat，所以本篇作为随笔记进行记录。 最近核心探索的是知识库的使用，其中关于文档如何进行分块的详细，可以参考笔者的另几篇文章：
大模型RAG 场景、数据、应用难点与解决（四）R…
使用python快速开发与PDF文档对话的Gemini聊天机器人
检索增强生成(Retrieval-augmented generation，RAG)使得我们可以让大型语言模型(LLMs)访问外部知识库数据(如pdf,word、text等)，从而让人们可以更加方便的通过LLM来学习外部数据的知识。今天我们将利用之前学习到的RAG方法，谷歌Gemini模型和l…
Java-langchain：在Java环境中构建强大的基于LLM的应用程序
Java-langchain: 一个Java 8的LangChain实现。在(企业)Java环境中构建强大的基于LLM的应用程序。
这里持续连载详细的Java入门的LLM学习课程。课程分四个部分：
面向开发者的提示工程 (promptdevelopment)搭建基于 ChatGPT 的问答系统 (chagptapi)使用 LangChain 开…
【解决复杂链式任务打造全能助手】大模型思维链 CoT 应用：langchain 大模型 结合 做 AutoGPT
大模型思维链 CoT 应用：langchain 大模型 结合 做 AutoGPT，解决复杂链式任务打造全能助手 思维链 CoTlangchainlangchain 大模型结合打造 AutoGPT 思维链 CoT
最初的语言模型都是基于经验的，只能根据词汇之间的相关性输出答案，根…
基于LangChain+ChatGLM2-6B+embedding构建行业知识库
目的：最近在探索大模型本地化部署知识库实现行业解决方案，安装过程记录，分享给需要的同学，安装前确定好各组件的版本非常重要，避免重复安装走老路。 经过查阅大量资料，目前可以分为以下两种方案
方案一&am…
【Java-LangChain:面向开发者的提示工程-3】迭代优化
第三章 迭代优化
当使用 LLM 构建应用程序时，实践层面上很难第一次尝试就成功获得适合最终应用的 Prompt。但这并不重要，只要您有一个好的迭代过程来不断改进您的 Prompt，那么您就能够得到一个适合任务的 Prompt。虽然相比训练机器学习模型&…
假如我是Langchain专家，你会问什么来测试我的水平
推荐Langchain YouTube 视频排行榜
1. 假如我是Langchain专家，你会问什么来测试我的水平；
作为Langchain专家，您可能需要回答一系列深入和具体的问题，这些问题旨在测试您对Langchain的理解和实际应用能力。以下是一些可能的问题…
书生.浦语大模型LangChain实战
RAG（Retrieval-Augmented Generation）与Finetune
传统大模型有以下几点问题：
无法及时更新知识知识面广，但在专业领域深度不够
为了解决以上诸多问题，有很多尝试方案。例如通过微调模型（Finetune&#x…
LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄
接着前两节的Langchain，继续实现Langchain中的Agent
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字 代码实现
# 从langchain库中导入模块
from langchain.llms import OpenAI # 从langchain.l…
用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
传统搜索系统基于关键字匹配，在面向：游戏攻略、技术图谱、知识库等业务场景时，缺少对用户问题理解和答案二次处理能力。
本文探索使用大语言模型（Large Language Model, LLM），通过其对自然语言理解和生成的…
用通俗易懂的方式讲解：大模型微调方法总结
大家好，今天给大家分享大模型微调方法：LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning。
文末有大模型一系列文章及技术交流方式，传统美德不要忘了，喜欢本文记得收藏、关注、点赞。 文章目录 1、LoRA…
大模型实战营Day3 作业
基础作业：
复现课程知识库助手搭建过程 (截图) 进阶作业：
选择一个垂直领域，收集该领域的专业资料构建专业知识库，并搭建专业问答助手，并在 OpenXLab 上成功部署（截图，并提供应用地址…
LangChain 74 有用的或者有害的helpful or harmful Scoring Evaluator
LangChain系列文章
LangChain 60 深入理解LangChain 表达式语言23 multiple chains链透传参数 LangChain Expression Language (LCEL)LangChain 61 深入理解LangChain 表达式语言24 multiple chains链透传参数 LangChain Expression Language (LCEL)LangChain 62 深入理解Lang…
LangChain 5易速鲜花内部问答系统
展示了一个完整的问答系统的实现，使用了Flask来构建Web界面、langchain进行文档处理和检索，以及OpenAI的语言模型。代码的复杂性在于集成了多种高级技术和处理大型数据集和语言模型。
LangChain 实现给动物取名字，LangChain 2模块化prompt t…
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式二
GPT-4 Vision 系列:
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一
GPT-4 Vision 的 7 个实际用例
Pre-requisites:先决条件：
订阅 ChatGPT Plus 以访问 GPT-4 Vision。如果您不熟悉 Streamlit，请按照安装步骤操作。
1. 绘制您的应…
【Langchain+Streamlit】旅游聊天机器人
【LangchainStreamlit】打造一个旅游问答AI-CSDN博客
项目线上地址，无需openai秘钥可直接体验：http://101.33.225.241:8502/
github地址：GitHub - jerry1900/langchain_chatbot: langchainstreamlit打造的一个有memory的旅游聊天机器人&…
Elasticsearch：基于 Langchain 的 Elasticsearch Agent 对文档的搜索
在今天的文章中，我们将重点介绍如何使用 LangChain 提供的基础设施在 Python 中构建 Elasticsearch agent。 该 agent 应允许用户以自然语言询问有关 Elasticsearch 集群中数据的问题。
Elasticsearch 是一个强大的搜索引擎，支持词法和向量搜索。 Elast…
LangChain原理学习笔记
最新越发觉得AI的发展，对未来是一场革命，LangChain已经在工程设计上有了最佳实践，类似于AI时代的编程模型或编程框架，有点Spring框架的意思。之前在LangChain上也有些最佳实践，所以在这里分享记录下。 LangChain解决什…
LangChain Agent v0.2.0简明教程 (上)
快速入门指南 – LangChain中文网 langchain源码剖析系列课程 九天玩转Langchain！ 1. LangChain是什么2. LangChain Expression Language (LCEL)Runnable 接口3. Model I/O3.1 Prompt Templates3.2 Language Model3.3 Output ParsersUse case（Q&A with RAG）1. LangChain…
LangChain-05 RAG Conversational 增强检索会话
安装依赖
pip install --upgrade --quiet langchain-core langchain-community langchain-openai编写代码
from langchain_core.messages import AIMessage, HumanMessage, get_buffer_string
from langchain_core.prompts import format_document
from langchain_core.runn…
01_langchain
Langchain简介
LLM的诞生推动了自然语言处理领域的变革，让以前无法实现的一些应用成为了可能。然而仅仅利用LLM还无法完成真正强大的应用程序，还需要一些相关的资源和技术知识。
Langchain用于开发这些应用程序，可用于：
基于文…
（提供数据集下载）基于大语言模型LangChain与ChatGLM3-6B本地知识库调优：数据集优化、参数调整、Prompt提示词优化实战
文章目录 （提供数据集下载）基于大语言模型LangChain与ChatGLM3-6B本地知识库调优：数据集优化、参数调整、提示词Prompt优化本地知识库目标操作步骤问答测试的预设问题原始数据情况数据集优化：预处理，先后准备了三份数据…
基于Llama2和LangChain构建本地化定制化知识库AI聊天机器人
参考：
本项目 https://github.com/PromtEngineer/localGPT
模型 https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML
云端知识库项目：基于GPT-4和LangChain构建云端定制化PDF知识库AI聊天机器人_Entropy-Go的博客-CSDN博客
1. 摘要 相比OpenAI的…
Langchain-React范式调用API —— 自定义工具
代码样例
from langchain.agents import initialize_agent
from langchain.llms import OpenAI
from langchain.tools import BaseTool# 下面是继承 langchain的工具类来自定义工具
# 天气查询工具 ，无论查询什么都返回雷暴天气
class WeatherTool(BaseTool):name …
Langchain-React范式调用API —— 大模型调用自定义工具
因为Langchain的代码也不是很复杂，因此 直接看代码会更好的学习。 一些说明，我已经放到了注释当中。
请各位看官享用。
代码样例
from langchain.agents import initialize_agent
from langchain.llms import OpenAI
from langchain.tools import Bas…
ChatGPT Prompting开发实战（二）
一、基于LangChain源码react来解析prompt engineering
在LangChain源码中一个特别重要的部分就是react，它的基本概念是，LLM在推理时会产生很多中间步骤而不是直接产生结果，这些中间步骤可以被用来与外界进行交互，然后产生new con…
大模型从入门到应用——LangChain：代理（Agents）-[代理执行器（Agent Executor）：处理解析错误、访问中间步骤和限制最大迭代次数]
分类目录：《大模型从入门到应用》总目录
LangChain系列文章：
基础知识快速入门 安装与环境配置链（Chains）、代理（Agent:）和记忆（Memory）快速开发聊天模型 模型（Models&…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[聊天消息记录]
分类目录：《自然语言处理从入门到应用》总目录 Cassandra聊天消息记录
Cassandra是一种分布式数据库，非常适合存储大量数据，是存储聊天消息历史的良好选择，因为它易于扩展，能够处理大量写入操作。
# List of contact…
langchain+gpt+agent
一.agentConversation
通过用户问题，来选择
import json
import os
import refrom langchain import FAISS, PromptTemplate, LLMChain
from langchain.agents import initialize_agent, Tool, AgentType
from langchain.chains import RetrievalQA
from langchai…
【Java-LangChain:面向开发者的提示工程-5】推断
第五章 推断
推断任务可以看作是模型接收文本作为输入，并执行某种分析的过程。其中涉及提取标签、提取实体、理解文本情感等等。如果你想要从一段文本中提取正面或负面情感，在传统的机器学习工作流程中，需要收集标签数据集、训练模型、确定如…
【Java-LangChain:使用 ChatGPT API 搭建系统-1】简介
简介
欢迎来到课程《使用 ChatGPT API 搭建系统》 , 旨在指导开发者如何基于 ChatGPT 搭建完整的智能问答系统。
使用 ChatGPT 不仅仅是一个单一的 Prompt 或单一的模型调用，本课程将分享使用 LLM 构建复杂应用的最佳实践。
本课程以构建客服助手为例，…
【Java-LangChain:使用 ChatGPT API 搭建系统-11】用 ChatGPT API 构建系统 总结篇
第十一章，用 ChatGPT API 构建系统 总结篇
本课程详细介绍了 LLM 工作原理，包括分词器（tokenizer）的细节、评估用户输入的质量和安全性的方法、使用思维链作为 Prompt、通过链式 Prompt 分割任务以及返回用户前检查输出等。
本课…
【Java-LangChain:使用 ChatGPT API 搭建系统-9】评估（上）-存在一个简单的正确答案时
第九章，评估（上）-存在一个简单的正确答案时
在之前的章节中，我们展示了如何使用 LLM 构建应用程序，包括评估输入、处理输入以及在向用户显示输出之前进行最终输出检查。 构建这样的系统后，如何知道它的工作…
在LangChain中使用Milvus + openai使用
Milvus(opens in a new tab) 是一个存储、索引和管理由深度神经网络和其他机器学习（ML)模型生成的大规模嵌入向量的数据库。
1.文档分割
from langchain.document_loaders import PyPDFLoader
pdfloader PyPDFLoader("D:\py\LangChaindao\操作系统原理.pdf&…
Langchain 代理 (Agents) ，赋能超级 LLMs
原文：Langchain 代理 (Agents) ，赋能超级 LLMs - 知乎 大型语言模型（LLMs） 非常强大，但它们缺乏“最笨”的计算机程序可以轻松处理的特定能力。逻辑、计算和搜索是计算机通常擅长的领域，但 LLMs 却遇到了困…
Elasticsearch：使用 Langchain 和 OpenAI 进行问答
这款交互式 jupyter notebook 使用 Langchain 将虚构的工作场所文档拆分为段落 (chunks)，并使用 OpenAI 将这些段落转换为嵌入并将其存储到 Elasticsearch 中。然后，当我们提出问题时，我们从向量存储中检索相关段落，并使用 langch…
![[资源推荐]langchain、LLM相关](https://img-blog.csdnimg.cn/3fd95baa90444bf19dbb580677dc0e06.png)
[资源推荐]langchain、LLM相关
之前很多次逛github或者去B站看东西或者说各种浏览资讯的情况，都会先看两眼然后收藏然后就吃灰的情况，那既然这样，不如多看几眼，看看是否真的能用得上，能用在哪，然后用几句话总结出来，分享出来&…
LangChain+LLM实战---Transformer的工作原理
原文：What Are Transformer Models and How Do They Work?
Transformer模型是机器学习中最令人兴奋的新发展之一。它们在论文Attention is All You Need中被介绍。Transformer可以用于写故事、文章、诗歌，回答问题，翻译语言，与人…
LangChain+LLM实战---ChatGPT的工作原理
一个词一个词的输出
ChatGPT能够自动生成类似于人类书写的文本，这是非常了不起和出乎意料的。但它是如何做到的？为什么会有效果呢？我的目的在于大致概述ChatGPT内部发生了什么，然后探讨它为什么能够很好地生成我们认为有意义的文…
LangChain+LLM实战---Embedding Model
原文地址：Choosing the Right Embedding Model: A Guide for LLM Applications
什么是向量Embedding
在AI聊天机器人的开发领域中，向量Embedding在获取文本信息的本质方面起着关键作用。向量Embedding的核心是指在数学空间中将单词、句子甚至整个文档表…
ChatGPT Prompting开发实战（三）
一、关于chaining prompts与CoT的比较
前面谈到的CoT的推理过程，可以比作是一次性就烹调好一顿大餐，那么接下来要说的“chaining prompts”，其背后的理念是分多次来完成这样一项复杂任务，每次只完成其中一步或者一个子任务。核心…
langchain介绍之-Prompt
LangChain 是一个基于语言模型开发应用程序的框架。它使得应用程序具备以下特点：1.数据感知：将语言模型与其他数据源连接起来。2.代理性：允许语言模型与其环境进行交互 LangChain 的主要价值在于：组件：用于处理语言模型…
用通俗易懂的方式讲解大模型：基于 Langchain 和 ChatChat 部署本地知识库问答系统
之前写了一篇文章介绍基于 LangChain 和 ChatGLM 打造自有知识库问答系统，最近该项目更新了0.2新版本，这个版本与之前的版本差别很大，底层的架构发生了很大的变化。
该项目最早是基于 ChatGLM 这个 LLM（大语言模型）来…
langchain中的LLM模型使用介绍
简介
构建在大语言模型基础上的应用通常有两种，第一种叫做text completion,也就是一问一答的模式，输入是text，输出也是text。这种模型下应用并不会记忆之前的问题内容，每一个问题都是最新的。通常用来做知识库。
还有一种是类似…
Langchain知识点（上）
输出格式 Pydantic (JSON) 解析器
# 创建模型实例
from langchain import OpenAI
model OpenAI(model_nametext-davinci-003)# ------Part 2
# 创建一个空的DataFrame用于存储结果
import pandas as pd
df pd.DataFrame(columns["flower_type", "price"…
【RapidAI】P1 中文文本切割程序
中文文本切割程序 基本信息代码解析相关包获取 yaml 关键文件类的构造函数切分语句部分特殊处理 PDF重点切分去除数组中空字符串再度切分后长度 附录附录一：完整代码附录二：可继续思考问题 基本信息
文件名： chinese_text_splitter.py 文件地…
Fastchat：基于fastapi构建大模型加载服务
Fastchat：基于fastapi构建大模型加载服务 Fastapi LLM支持FastChat 服务架构安装方法一：pip方法二：源文件 加载大模型推理1.命令行2.Web启动控制器启动模型工作启动 Gradio Web 服务器注册多个模型 3.兼容 OpenAI 的 RESTful API RESTful API…
Langchain知识点（下）
背景：
这部分给主要介绍Langchain的agent部分，前面已经章节已经介绍了思维和思路作为一种数据资产是这一次LLM数据化的核心。也介绍了各种的chain，那么既然有了chain可以把专家思路和专家思维固化并且可被方便的共享和利用；那为什…
LangChain+LLM实战---用AI(大模型)重构推荐系统
原文：Reimagining the Recommendation Engine
AI助手的崛起
人工智能正在改变我们与在线应用程序互动的方式。目前，我们使用搜索引擎、新闻源和精心设计的菜单来导航，这些菜单引导我们找到所需的信息或服务。然而，我相信目前人工…
02｜LangChain | 从入门到实战 -六大组件之Models IO
by：wenwenC9
上一篇文章 01｜LangChain | 从入门到实战-介绍
一、Models IO 组成及其说明
与语言模型的交互，比如在线GPT系列，或各种离线模型 任何语言模型应用程序的核心元素都是XXX模型。LangChain 提供了与任何语言模型交互的…
langchain主要模块(二)：数据连接
langchain2之数据连接 langchain1.概念2.主要模块模型输入/输出 (Model I/O)数据连接 (Data connection)链式组装 (Chains)代理 (Agents)内存 (Memory)回调 (Callbacks) 3.数据连接1.数据加载：2.文档分割：3.文档向量化：4.存储和检索向量数据:…
langchain主要模块(五)：Agent以及Wandb
langchain2之Agent以及Wandb langchain1.概念2.主要模块模型输入/输出 (Model I/O)数据连接 (Data connection)链式组装 (Chains)代理 (Agents)内存 (Memory)回调 (Callbacks) 3.AgentAction Agent：Plan-and-Execute-Agent：搜索工具 4.wandb1.注册2.安装…
langchain中的chat models介绍和使用
简介
之前我们介绍了LLM模式，这种模式是就是文本输入，然后文本输出。
chat models是基于LLM模式的更加高级的模式。他的输入和输出是格式化的chat messages。
一起来看看如何在langchain中使用caht models吧。
chat models的使用
首先langchain对ch…
利用LangChain实现RAG
检索增强生成（Retrieval-Augmented Generation, RAG）结合了搜寻检索生成能力和自然语言处理架构，透过这个架构，模型可以从外部知识库搜寻相关信息，然后使用这些信息来生成response。要完成检索增强生成主要包含四个步骤…
使用 LangChain 和 Elasticsearch 对私人数据进行人工智能搜索
关于本博文的所有代码可以在地址下载：GitHub - liu-xiao-guo/python-vector-private
我将在本博文中其中深入研究人工智能和向量嵌入的深水区。 ChatGPT 令人大开眼界，但有一个主要问题。 这是一个封闭的托管系统。 在一个被大型网络公司改变的世界里生…
langchain + azure chatgpt组合配置并运行
首先默认你已经有了azure的账号。 最重要的是选择gpt-35-turbo-instruct模型、api_version：2023-05-15，就这两个参数谷歌我尝试了很久才成功。 我们打开https://portal.azure.com/#home，点击更多服务： 我们点击Azure OpenAI&#…
【LangChain学习之旅】—（16）检索增强生成：通过RAG助力大模型
【LangChain学习之旅】—（16）检索增强生成：通过RAG助力大模型 RAG 的工作原理文档加载文本转换文本分割器文本嵌入存储嵌入缓存存储向量数据库（向量存储）数据检索向量存储检索器各种类型的检索器索引总结什么是 RAG？其全称为 Retrieval-Augmented Generation，即检索增强…
LangChain入门：11.Pydantic（JSON）解析器实战
摘要
在数字化营销的浪潮中，自动化内容生成成为了提升效率和用户参与度的利器。本文将详细介绍如何利用LangChain的自然语言处理能力和Pydantic的数据验证特性，构建一个自动化的花店文案生成器。通过这个工具，您可以快速为各种花卉生成吸引人…
备忘，LangChain建立本地知识库的几个要点
本地知识库可以解决本地资源与AI结合的问题，为下一步应用管理已有资产奠定基础。 本地知识库的建立可参考LangChain结合通义千问的自建知识库 （二）、（三）、（四） 本文主要记录两个方面的问题 1 搭…
LangChain - LLMs
文章目录 一、LLMs vs 聊天模型二、入门1、设置 OpenAI2、__call__: string in -> string out3、generate: batch calls, richer outputs 三、异步 API四、Custom LLM五、Fake LLM六、Human input LLM七、缓存 llm_caching1、内存缓存（In Memory Cache࿰…
LLM - 大语言模型(LLM) 的 应用技术
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/137503579 大语言模型(LLM) 的应用技术范围非常广泛，即： LangChain：开发框架，专为大型语言模型设计，以提高开发人工智能应用的效率，允许开发者将语言模…
大模型从入门到应用——OpenAI基础调用
摘要：这是OpenAI的基本调用，通过文章了解大模型的一个基础使用
1. 调用说明
在大型语言模型（LLM）的应用中，OpenAI的基础调用是入门的关键一步。通过调用OpenAI的API，我们可以利用其强大的语言处理能力&am…
Langchain-Chatchat项目：1-整体介绍
基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。
一.项目介绍 1.实现原理 本项目实现原理如下图所示，过程包括加载文件->读取文本->文本…
langchain加载模型时出现ConnectionError: (ProtocolError(‘Connection aborted.‘的解决方案
大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…
Hermes - 指尖上的智慧：自定义问答系统的崭新世界
在希腊神话中，有一位智慧与消息的传递者神祇，他就是赫尔墨斯（Hermes）。赫尔墨斯是奥林匹斯众神中的一员，传说他是乌尔阿努斯（Uranus）和莫伊拉（Maia）的儿子，同…
PyLMKit(4):基于本地知识库的检索增强生成RAG
基于本地知识库的检索增强生成RAG
0.项目信息
日期： 2023-12-2作者：小知课题: RAG（Retrieval-Augmented Generation，检索增强生成）是一种利用知识库检索的方法，提供与用户查询相关的内容，从而…
重磅！大模型(LLMs)排行榜清单发布！
目前，人工智能领域呈现出一片蓬勃发展的景象，大型模型成为了激发这一繁荣的关键引擎。
国内不仅涌现了众多大模型，而且它们的发展速度之快令人瞩目。这种全面拥抱大型模型的态势为整个人工智能生态系统赋予了新的活力，让我们对国…
LangChain 实现给动物取名字
mkdir langchain-llm-appcd langchain-llm-app
# 用vscode 打开当前目录
code .在macOS上通过终端打开Visual Studio Code（VS Code），您可以按照以下步骤操作： 安装VS Code：首先，确保您已经在Mac上安装了Vis…
LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字
上一节实现了 LangChain 实现给动物取名字， 实际上每次给不同的动物取名字，还得修改源代码，这周就用模块化template来实现。
1. 添加promptTemplate
from langchain.llms import OpenAI # 导入Langchain库中的OpenAI模块
from langchain.p…
(六)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (文档分割 Splitting)
在上一章中，我们刚刚讨论了如何将文档加载到标准格式中，现在我们要谈论如何将它们分割成较小的块。这听起来可能很简单，但其中有很多微妙之处会对后续工作产生重要影响。 文章目录 1、为什么要做文档分割？2、文档分割方式3、基于…
langchain源码分析-chains模块介绍【2】
原文：langchain源码分析-chains模块介绍【2】 - 知乎
前言
这是对langchain源码剖析的系列文章，也有对应的本站视频和b站视频，建议读者可以结合视频和文章一起看。
chains模块概述
chains对组件的一系列调用，因为在很多场景下…
书生·浦语 第三章：基于 InternLM 和 LangChain 搭建你的知识库
一、搭建环境
1.1 基础环境配置
在官方提供的教程中构建环境的命令如下
# 拷贝一个 pytorch 2.0.1 的环境
/root/share/install_conda_env_internlm_base.sh InternLM# 激活环境
conda activate InternLM# 安装一些依赖
python -m pip install --upgrade pip # 升级pip的版本…
用通俗易懂的方式讲解：使用 LangChain 和 LlamaIndex 从零构建PDF聊天机器人
随着大型语言模型（LLM）（如ChatGPT和GPT-4）的兴起，现在比以往任何时候都更容易搭建智能聊天机器人，并且可以堆积如山的文档，为你的输入提供更准确的响应。 无论你是想构建个人助理、定制聊天机器…
AI-基于Langchain-Chatchat和chatglm3-6b部署私有本地知识库
目录 参考概述部署安装环境准备原理和流程图一键启动启动WebAPI 服务启动WebUI服务 Docker部署知识库管理常见问题本地知识库怎么微调？回答不准确 参考
手把手教你搭建本地知识库问答AI机器人 LangChain-Chatchat：基于LangChain和ChatGLM2-6B构建本地离…
Elasticsearch 和 LangChain 合作开发可用于生产的 RAG 模板
作者：Aditya Tripathi 在过去的几个月里，我们一直与 LangChain 团队密切合作，他们在推出 LangServe 和 LangChain 模板方面取得了进展！ LangChain Templates 是一组用于构建生产质量的生成式 AI 应用程序的参考架构。 你可以在此处…
基于LangChain实现的知识库问答工具Langchain-Chatchat
基于embeddingLangChainChatGLM2-6B 构建行业知识库
Langchain-Chatchat
LangChain 中文文档
langchain
本文使用的Langchain-Chatchat版本是0.2.7
一、构建垂类行业知识库的两种方案 方案一：使用开源LLM本地部署和微调 优点：数据最安全，…
langchain实战-hello world
一、LangChain简介 github地址： GitHub - langchain-ai/langchain: ⚡ Building applications with LLMs through composability ⚡ LangChain是一个用于开发由语言模型支持的应用程序的框架。它使应用程序能够： 具有上下文感知能力：将语言模…
LangChain 18 LangSmith监控评估Agent并创建对应的数据库
LangChain系列文章
LangChain 实现给动物取名字，LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储，读取YouTube的视频文本搜索I…
LangChain（0.0.340）官方文档五：Model
LangChain官网、LangChain官方文档 、langchain Github、langchain API文档、llm-universe 文章目录 一、Chat models1.1 Chat models简介1.2 Chat models的调用方式1.2.1 环境配置1.2.2 使用LCEL方式调用Chat models1.2.3 使用内置Chain调用Chat models 1.3 缓存1.3.1 内存缓存…
LLM之RAG实战（一）：使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
一、RAG介绍 如何使用没有被LLM训练过的数据来提高LLM性能？检索增强生成（RAG）是未来的发展方向，下面将解释一下它的含义和实际工作原理。
假设您有自己的数据集，例如来自公司的文本文档。如何让ChatGPT和其他…
AI变现之数字人工具库账号引流
信息差无处不在，AI 发展到今天虽然工具和技术都日趋成熟，但是在国内普及率还不是很高，对于很多普通人估计也就听过 Chatgpt，MJ，SD 等 AI 工具的名词，但是没有真正的使用过，而使用 AI 数字人制作…
Llama2-Chinese项目：7-外延能力LangChain集成
本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。
1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下所示：…
LangChain 用例(未完)
在Azure上的OpenAI端点 注意 OpenAI key 可以用微软 用例【1. 嵌入 ，2. 问答】 1.
import os
import openai
from langchain.embeddings import OpenAIEmbeddings
os.environ["OPENAI_API_KEY"] "****" # Azure 的密钥
os.environ["OP…
LangChain 摘要 和问答示例
在Azure上的OpenAI端点 注意 OpenAI key 可以用微软 用例【1. 嵌入 ，2. 问答】 1.
import os
import openai
from langchain.embeddings import OpenAIEmbeddings
os.environ["OPENAI_API_KEY"] "****" # Azure 的密钥
os.environ["OP…
基于Langchain的txt文本向量库搭建与检索
这里的源码主要来自于Langchain-ChatGLM中的向量库部分，做了一些代码上的修改和封装，以适用于基于问题和包含数据库表描述的txt文件（文件名为库表名，文件内容为库表中的字段及描述）对数据库表进行快速检索。
中文分词…
翻译: Streamlit从入门到精通 基础控件 一
这个关于Streamlit的教程旨在帮助数据科学家或机器学习工程师，他们不是网络开发者，也不想花费数周时间学习使用这些框架来构建网络应用程序。 1. 什么是Streamlit？
Streamlit是一个免费且开源的框架，用于快速构建和共享美观的机器…
一分钟！图片生成32种动画；Adobe绘画工具大升级；复盘Kaggle首场LLM比赛；VR科普万字长文 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 Adobe Firefly 大升级！图像高清、操作便利，体验感拉满 https://firefly.adobe.com Adobe Firefly 升级了&…
翻译: 大语言模型LLMs能做什么和不能做什么 保存笔记What LLMs can and cannot do
生成式 AI 是一项惊人的技术，但它并非万能。在这个视频中，我们将仔细看看大型语言模型（LLM）能做什么，不能做什么。我们将从我发现的一个有用的心理模型开始，了解它能做什么，然后一起看看 LLM 的…
LangChain的函数，工具和代理(五)：Tools Routing
关于langchain的函数、工具、代理系列的博客我之前已经写了四篇，还没有看过的朋友请先看一下，这样便于对后续博客内容的理解：
LangChain的函数，工具和代理(一)：OpenAI的函数调用
LangChain的函数，工具和代…
milvus安装及langchain调用
milvus安装及langchain调用 安装milvus安装docker-compose安装milvus安装可视化界面attu 通过langchain调用milvus安装langchain安装pymilvus调用milvus 安装milvus
安装docker-compose
下载文件
curl -L https://github.com/docker/compose/releases/download/1.21.1/docke…
LangChain+LLM实战---LangChain中的6大核心模块
模型（Models） LLMs 大型语言模型，将文本字符串作为输入，并返回文本字符串作为输出。 聊天模型 聊天模型通常由语言模型支持，但它们的API更加结构化。这些模型将聊天消息列表作为输入，并返回聊天消息。 文本…
使用Langchain访问通义千问大模型
DASHSCOPE_API_KEY 需要自己去以下网站申请： https://help.aliyun.com/document_detail/611472.html?spma2c4g.2399481.0.0 from langchain.chains import LLMChain
from langchain_core.prompts import ChatPromptTemplate
from langchain_community.llms import …
【Langchain Agent研究】SalesGPT项目介绍（三）
【Langchain Agent研究】SalesGPT项目介绍（二）-CSDN博客 上节课，我们介绍了salesGPT项目的初步的整体结构，poetry脚手架工具和里面的run.py。在run.py这个运行文件里，引用的最主要的类就是SalesGPT类，今天我…
【Langchain Agent研究】SalesGPT项目介绍（五）
【Langchain Agent研究】SalesGPT项目介绍（四）-CSDN博客 上节课，我们分析了一下salesGPT项目里源代码的一些问题，重新写了一个运行方法，换了一个模型并修改了一些源代码开始把项目跑起来了，我们已经…
使用LangSmith来快速学习LangChain
好风凭借力，送我上青云！
什么是LangSmith LangSmith is a platform for building production-grade LLM applications. It lets you debug, test, evaluate, and monitor chains and intelligent agents built on any LLM framework and seamlessly int…
《向量数据库指南》——什么是 向量数据库Milvus Cloud的Range Search？
Range Search 功能诞生于社区。
某天，一位做系统推荐的用户在社区提出了需求，希望 Milvus Cloud 能提供一个新功能，可以返回向量距离在一定范围之内的结果。而这不是个例，开发者在做相似性查询时，经常需要对结果做二次过滤。
为了帮助用户解决这一问题，Milvus Cl…
LangChain 代理 Agent(学习笔记)
原文：LangChain 代理 Agent(学习笔记) - 尘叶心繁的专栏 - TNBLOG LangChain 代理 Agent(学习笔记) LangChain 代理 Agent(学习笔记) 简介Agent Zero-shot ReActStructured Input ReActOpenAI FunctionsConversationalSelf ask with searchReAct document storePlan…
LangChain知识库文件格式与准确率
本文结论经过自行测试，仅供参考 简介
langchain使用的是faiss，bge-large-zh，基础模型为chatglm3-6b，测试数据接近60万。 结论
1、使用txt的数据格式，不如csv文件，除非文本长度一致，切分及其精…
LangChain（0.0.340）官方文档七：Retrieval——document_loaders
LangChain官网、LangChain官方文档 、langchain Github、langchain API文档、llm-universe 文章目录 一、简介1.1 BaseLoader1.2 文本加载（TextLoader） 二、 CSV（CSVLoader）2.1 默认加载2.2 指定一列来标识文档来源 三、 HTML l…
星火模型（Spark）的langchain 实现
星火模型的langchain实现
测试已通过，希望有所帮助。 使用前请先安装环境：
pip install githttps://github.com/shell-nlp/spark-ai-python.git注意： 一定要使用上面方式安装spark库，因对官方的库做了改动。官方的库已经长时间不…
【AI】使用阿里云免费服务器搭建Langchain-Chatchat本地知识库
书接上文，由于家境贫寒的原因，导致我本地的GPU资源无法满足搭建Langchain-Chatchat本地知识库的需求，具体可以看一下这篇文章，于是我只能另辟蹊径，考虑一下能不能白嫖一下云服务器资源，于是去找网上找&…
用通俗易懂的方式讲解大模型：ChatGLM3-6B 部署指南
最近智谱 AI 对底层大模型又进行了一次升级，ChatGLM3-6B 正式发布，不仅在性能测试和各种测评的数据上有显著提升，还新增了一些新功能，包括工具调用、代码解释器等，最重要的一点是还是保持 6B 的这种低参数量࿰…
LangChain.js 实战系列：如何统计大模型使用的 token 使用量和花费
📝 LangChain.js 是一个快速开发大模型应用的框架，它提供了一系列强大的功能和工具，使得开发者能够更加高效地构建复杂的应用程序。LangChain.js 实战系列文章将介绍在实际项目中使用 LangChain.js 时的一些方法和技巧。 统计调用大模型的 to…
梳理Langchain-Chatchat-UI接口文档
在 Langchain-Chatchat v0.1.17 版本及以前是有前后端分离的 Vue 项目的，但是 v0.2.0 后就没有了。所以本文使用的是 Langchain-Chatchat v0.1.17 版本中的 Vue 项目。经过一番折腾终于将 Langchain-Chatchat v0.1.17 版本前端 Vue 接口和 Langchain-Chatchat v0.2.…
LLM大语言模型（四）：在ChatGLM3-6B中使用langchain
目录 背景准备工作工具添加LangChain 已实现工具Calculator、Weather Tool配置 自定义工具自定义kuakuawo Agent 多工具使用参考 背景
LangChain是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够:
具有上下文意识：将语言模型与上下文源(提示指令&…
Langchain使用之 - 文本分割Splitter
Langchain提供了多种文本分割器，包括CharacterTextSplitter(),MarkdownHeaderTextSplitter(),RecursiveCharacterTextSplitter()等，各种Splitter的作用如下图所示： TextSplitter
下面的代码是使用RecursiveCharacterTextSplitter对一段文字进…
【解决复杂链式任务，打造全能助手】LangChain 大模型 打造 钢铁侠的全能助理 Jarvis
LangChain 大模型 结合 做 AutoGPT、ChatPDF 思维链 CoTLangChain模型IO：和大模型交互、提示词模版数据连接：从数据的接入、分割，到向量的构建、存储、搜索链：串联和组织，多个语言模型、组件记忆：灵魂伴侣&…
2023-12-30 AIGC-LangChain介绍
摘要:
2023-12-30 AIGC-LangChain介绍 LangChain介绍 1. https://youtu.be/Ix9WIZpArm0?t353 2. https://www.freecodecamp.org/news/langchain-how-to-create-custom-knowledge-chatbots/ 3. https://www.pinecone.io/learn/langchain-conversational-memory/ 4. https://de…
GPT实战系列-简单聊聊LangChain
GPT实战系列-简单聊聊LangChain LLM大模型相关文章：
GPT实战系列-ChatGLM3本地部署CUDA111080Ti显卡24G实战方案
GPT实战系列-Baichuan2本地化部署实战方案
GPT实战系列-大话LLM大模型训练
GPT实战系列-探究GPT等大模型的文本生成
GPT实战系列-Baichuan2等大模…
Langchain 流式输出
Langchain 流式输出
当我们深入使用Langchain时，我们都会考虑如何进行流式输出。尽管官方网站提供了一些流式输出的示例，但这些示例只能在控制台中输出，并不能获取我们所需的生成器。而网上的许多教程也只是伪流式输出，即先完全生…
GPT实战系列-ChatGLM3管理工具的API接口
GPT实战系列-ChatGLM3管理外部借力工具
用ChatGLM的工具可以实现很多查询接口和执行命令，外部工具该如何配置使用？如何联合它们实现大模型查询助手功能？例如调用工具实现股票信息查询，网络天气查询等助手功能。 LLM大模型相关文章…
19 款Agent产品工具合集
原文：19 款Agent产品工具合集
什么是Agent?
你告诉GPT完成一项任务，它就会完成一项任务。
如果你不想为GPT提出所有任务怎么办？如果你想让GPT自己思考怎么办？
想象一下，你创建了一个AI，你可以给它一个…
tyxsspa/AnyText 阿里生成文字
Dockerfile
################
# 使用 NVIDIA CUDA 11.8 开发环境作为基础镜像 FROM nvcr.io/nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04 # 设置非交互式安装模式以避免某些命令在构建过程中暂停 ENV DEBIAN_FRONTENDnoninteractive # 更新软件包列表并安装基本工具 RUN…
高级RAG(四)：RAGAs评估
之前我完成了父文档检索器和llamaIndex从小到大的检索这两篇博客，我在这两篇博客中分别介绍了使用langchain和llamaIndex进行文档检索的方法和步骤，其中包含了不同的RAG的检索策略，通常来说一个典型的RAG系统一般包含两个主要的部件ÿ…
高级RAG(五)：TruLens 评估-扩大和加速LLM应用程序评估
之前我们介绍了，RAGAs评估，今天我们再来介绍另外一款RAG的评估工具:TruLens , trulens是TruEra公司的一款开源软件工具，它可帮助您使用反馈功函数客观地评估基于 LLM 的应用程序的质量和有效性。反馈函数有助于以编程方式评估输入、输出和中间…
LLM之RAG实战（二十一）| 使用LlamaIndex的Text2SQL和RAG的功能分析产品评论
亚马逊和沃尔玛等电子商务平台上每天都有大量的产品评论，这些评论是反映消费者对产品情绪的关键接触点。但是，企业如何从庞大的数据库获得有意义的见解？ 我们可以使用LlamaIndex将SQL与RAG（Retrieval Augmented Generation&#x…
LangChain入门：9.使用FewShotPromptTemplate实现智能提示工程
在构建智能提示工程时，LangChain 提供了强大的 FewShotPromptTemplate 模型，它可以帮助我们更好地利用示例来指导大模型生成更加优质的提示。 在这篇博文中，我们将使用 LangChain 的 FewShotPromptTemplate 模型来设计一个智能提示工程&#…
『大模型笔记』RAG应用的12种调优策略指南
RAG应用的12种调优策略指南 文章目录 一. 概要二. 数据索引2.1. 数据清洗2.2. 分块2.3. 嵌入模型2.4. 元数据（或未向量化的数据）2.5. 多索引2.6. 索引算法三. 推理阶段（检索和生成）3.1. 检索参数3.2. 高级检索策略3.3. 重新排序模型3.5. 大语言模型（LLM）
LangChain---大型语言模型(LLM)的标准接口和编程框架
1.背景说明 公司在新的一年规划中突然提出要搞生成式AI(GenAI)的相关东西，在公司分享的参考资料中了解到了一些相关的信息，之所以想到使用LangChain，是因为在应用中遇到了瓶颈问题，除了已经了解和研究过的OpenAI的ChatGpt…
langchain学习笔记（八）
RunnableLambda: Run Custom Functions | 🦜️🔗 Langchain
可以在pipeline中使用任意函数，但要注意所有的输入都只能是“1”个参数，当函数需要多个参数时需要采用字典来包装
itemgetter用法见langchain学习笔记（六&…
langchain学习笔记（七）
RunnablePassthrough: Passing data through | 🦜️🔗 Langchain
1、RunnablePassthrough可以在不改变或添加额外键的情况下传递输入。通常和RunnableParallel结合使用去分配数值给到字典的新键
两种方式调用RunnablePassthrough
（1&#…
GPT实战系列-搭建LangChain流程简单应用
GPT实战系列-搭建LangChain流程简单应用
LLM大模型：
GPT实战系列-探究GPT等大模型的文本生成
GPT实战系列-Baichuan2等大模型的计算精度与量化
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
GPT实战系列-Chat…
LLM - 使用 Langchain 实现本地 Naive RAG
目录
一.引言
二.构建本地 Langchain 库
1.Doc 知识文档
2.Split 文档切分
3.Encode 内容编码
4.Similar 本地库构建
三.缓存本地 Langchain 库
四.读取本地 Langchain 库
1.Load 读取缓存
2.Similar 预测
3.Add 添加文档
五.总结 一.引言
上一篇博客介绍了当下 R…
『大模型笔记』LLM框架(LangChain、LlamaIndex、Haystack、Hugging Face)哪一个是满足您特定需求的最佳选择？
LLM框架(LangChain、LlamaIndex、Haystack、Hugging Face)哪一个是满足您特定需求的最佳选择？ 文章目录 1. LangChain1.1. 优势1.2. 劣势1.1. 理想用例 2. LlamaIndex2.1. 优势2.2. 劣势2.3. 理想用例 3. Haystack3.1. 优势3.2. 劣势3.3. 理想用例 4. Hugging Face…
『大模型笔记』LLM框架(LangChain、LlamaIndex、Haystack、Hugging Face)哪一个是满足您特定需求的最佳选择？
LLM框架(LangChain、LlamaIndex、Haystack、Hugging Face)哪一个是满足您特定需求的最佳选择？ 文章目录 1. LangChain1.1. 优势1.2. 劣势1.1. 理想用例 2. LlamaIndex2.1. 优势2.2. 劣势2.3. 理想用例 3. Haystack3.1. 优势3.2. 劣势3.3. 理想用例 4. Hugging Face…
Langchain-Chatchat本地搭建ChatGLM3模型和提取PDF内容
文章目录 1、软件要求2、安装CUDA2.1、安装gcc2.2、安装CUDA 3、安装Anaconda33.1、下载Anaconda33.2、创建python虚拟环境 4、部署系统4.1、下载源码4.2、安装依赖4.3、下载模型4.4、初始化配置和知识库4.4.1、初始化配置4.4.2、初始化知识库 4.5、运行4.6、运行4.6.1、启动4.…
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-LangChain如何构建基通义千问的多工具链
LLM大模型：
GPT实战系列-探究GPT等大模型的文本生成
GPT实战系列-Baichuan2等大模型的计算精度与量化
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
GPT实…
【适合初学者的LangChain教程】二、LangChain安装
系列文章地址
【适合初学者的LangChain教程】一、LangChain介绍-CSDN博客
安装步骤
1 安装Python环境
这里不介绍Python环境的配置，默认大家是已经安装并配置好Python运行环境的。
2 安装LangChain
pip install langchain
执行以上命令安装LangChain会默认安…
GPT实战系列-LangChain实现简单链
GPT实战系列-LangChain实现简单链
LangChain
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法
GPT实战系…
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-构建多参数的自定义LangChain工具
LangChain系列
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简…
#LLM入门|Prompt#3.2_模型，提示和输出解释器_Models,Prompts_and_Parses
本章将简要介绍LLM开发的重要概念：模型、提示和解释器。如果您已经完整学习了前面两个部分的内容，对这些概念应该已经很熟悉了。然而，在LangChain的定义中，这些概念的定义和使用与之前有一些细微的差别。因此，我们仍然…
#LLM入门|Prompt#3.2_模型，提示和输出解释器_Models,Prompts_and_Parses
本章将简要介绍LLM开发的重要概念：模型、提示和解释器。如果您已经完整学习了前面两个部分的内容，对这些概念应该已经很熟悉了。然而，在LangChain的定义中，这些概念的定义和使用与之前有一些细微的差别。因此，我们仍然…
#LLM入门|Prompt#3.3_存储_Memory
在与语言模型交互时，一个关键问题：记忆缺失使得对话缺乏真正的连续性。 因此，接下来介绍 LangChain 中的储存模块，即如何将先前的对话嵌入到语言模型中的，使其具有连续对话的能力。 当使用 LangChain 中的储存(Memory)…
大语言模型RAG-langchain models (二)
大语言模型RAG-langchain models (二) 往期文章：大语言模型RAG-技术概览 (一) 文章目录 大语言模型RAG-langchain models (二)**往期文章：[大语言模型RAG-技术概览 (一)](https://blog.csdn.net/tangbiubiu/article/details/136651625)**核心模块总览Mod…
GPT实战系列-LangChain的OutPutParser解析器
GPT实战系列-LangChain的OutPutParser解析器
LangChain
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法…
LLM预备知识、工具篇——LLM+LangChain+web UI的架构解析
目录 【常见名词】一、LLM的低资源模型微调二、向量数据库1、Milvus(v2.1.4)：云原生自托管向量数据库（Ubuntu下）1）安装（Docker Compose方式）：2）管理工具（仅支持Milvus 2.…
Langchain-chatchat+ChatGlm3-6b部署
我的环境
台式机
内存：16GB
显卡：GTX1060-6G
1. 基础环境准备
1.1. 安装anaconda，创建环境python版本3.11
conda create -n chatglm3 python3.11
conda activate chatglm3
1.2. 搭建cuda环境
# 查看cuda版本，版本是CUDA V…
LangChain支持Claude3接口
Claude3最近公布了他的两个大模型： opus（高级版） claude-3-sonnet（中级版）
LangChain对于这两个模型有自己的接入方法： 由于我们是接入第三方需要添加一些权限验证，所以需要对它的源码进行重…
GPT实战系列-如何让LangChain的Agent选择工具
GPT实战系列-如何让LangChain的Agent选择工具
LangChain
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法…
LangChain + Qwen（DashScope）
文章目录 引言DashScope API KEY关于 DashScope 和 ModelScope 代码可用模型及费用模型说明计费单价免费额度 引言
常见的 RAG 示例，一般使用 OpenAI，你也可以使用 Qwen 作为 LLM。 在 LangChain 中，调用 Tongyi 来实现。（而不是…
六、大模型开发框架LangChain
1 LangChain
1.1 概念
LangChain 也是一套面向大模型的开发框架（SDK）,是 AGI 时代软件工程的一个探索和原型
1.2 理解
为简化用户使用大模型进行业务开发和做到最大可能的模块功能重用，封装的一套SDK，供用户进行API调用
1.3 …
AI系统性学习—LangChain入门
文章目录 1、LangChain入门1.1 简介1.2 架构1.3 核心概念1.2 快速入门1.3 安装 2、LangChain Prompt Template2.1 什么是提示词模版2.1 创建一个提示词模版2.2 聊天消息提示词模版2.3 模版追加示例 3、语言模型3.1 LLM基础模型3.2 LangChain聊天模型3.3 自定义模型3.4 输出解析…
Functions, Tools and Agents with LangChain
Functions, Tools and Agents with LangChain
本文是学习 https://www.deeplearning.ai/short-courses/functions-tools-agents-langchain/ 这门课的学习笔记，如有侵权，请联系删除。 文章目录 Functions, Tools and Agents with LangChainWhat you’ll …
LangChain核心模块 Model I/O——相关概念
Concepts
Models
LangChain 集成的模型主要有两种类型：LLMs 和Chat Models。它们由它们的输入和输出类型定义。它们由它们的输入和输出类型定义。 LLMs LangChain中的LLMs指的是纯文本补全模型，它们包装的 API 将字符串提示作为输入并输出字符串完成。…
LangChain核心模块 Model I/O——Prompts
Prompts
语言模型的提示是用户提供的一组指令或输入，用于指导模型的响应，帮助模型理解上下文并生成相关且连贯的基于语言的输出，例如回答问题、完成句子或参与某项活动。对话。
关键问题
如何在LLMs中使用少量示例(few-shot examples)—…
【Langchain-Chatchat】部署ChatGLM3-6B-32K教程
介绍
Langchain-Chatchat这个框架可以帮助我们更容易的部署大语言模型，之前也写过ChatGLM传统的部署教程，有兴趣的可以参考
【ChatGLM3】第三代大语言模型多GPU部署指南【ChatGLM2-6B】从0到1部署GPU版本
借助Langchain-Chatchat框架，可以…
LangChain-Chatchat知识库对话
前言
上次我们完成了Chatchat的本地部署，使用了LLM对话的功能。这次我们尝试一下其他的功能，之前总是有报错没有跑通，这次处理了几个问题之后才跑通了知识库对话和文件对话。
知识库对话
原理: 首先我们看这个图可以明白，知识库…
记录些LangChain相关的知识
RAG的输出准确率
RAG的输出准确率 向量信息保留率 * 语义搜索准确率 * LLM准确率RAG的输出准确率由三个因素共同决定：向量信息保留率、语义搜索准确率以及LLM准确率。这三个因素是依次作用的，因此准确率实际上是它们的乘积。这意味着，任何一…
华策影视AIGC工程师招聘； 百度大模型创业松；主流大语言模型的技术原理细节；AIGC Prompt的七个缺陷 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🎯 华策影视AIGC工程师招聘，AIGC在「文娱领域」的真正落地 逛即刻时发现关注的AI博主 杨昌 发布了自己公司的招聘信息&#x…
langchain主要模块(一)：模型输入输出
langchain2之模型输入输出 langchain1.概念2.主要模块模型输入/输出 (Model I/O)数据连接 (Data connection)链式组装 (Chains)代理 (Agents)内存 (Memory)回调 (Callbacks) 3.模型输入/输出 (Model I/O)提示提示模板示例选择器 模型LLMsChatModels 输出解释器 langchain
1.概…
大模型从入门到应用——LangChain：代理（Agents）-[代理执行器（Agent Executor）：结合使用Agent和VectorStore]
分类目录：《大模型从入门到应用》总目录 代理执行器接受一个代理和工具，并使用代理来决定调用哪些工具以及以何种顺序调用。本文将参数如何结合使用Agent和VectorStore。这种用法是将数据加载到VectorStore中，并希望以Agent的方式与之进行交互…
大模型从入门到应用——LangChain：回调函数（Callbacks）]
分类目录：《大模型从入门到应用》总目录 LangChain提供了一个回调函数系统，允许我们在LLM应用的各个阶段进行钩子处理。这对于日志记录、监控、流处理和其他任务非常有用。我们可以通过使用API中提供的callbacks参数来订阅这些事件。该参数是一个处理程序…
Langchain 大型复杂结构文档解析-识别目录和页码
简介
在文档处理时，尤其是大型复杂结构的文档时，按照字数进行分割，总会造成文本段的割裂，导致召回准确率降低
如果能精确的找到文档大纲和目录，从而按照文档的目录的大纲进行处理，则会提升更多的召回准确…
LLM漫谈（三）| 使用Chainlit和LangChain构建文档问答的LLM应用程序
一、Chainlit介绍 Chainlit是一个开源Python包，旨在彻底改变构建和共享语言模型（LM）应用程序的方式。Chainlit可以创建用户界面（UI），类似于由OpenAI开发的ChatGPT用户界面，Chainlit可以开发类似…
翻译: Streamlit从入门到精通 高级用法缓存Cache和Session 五
Streamlit从入门到精通 系列：
翻译: Streamlit从入门到精通 基础控件 一翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三翻译: Streamlit从入门到精通 部署一个机器学习应用程序 四
…
Elasticsearch：聊天机器人教程（一）
在本教程中，你将构建一个大型语言模型 (LLM) 聊天机器人，该机器人使用称为检索增强生成 (RAG) 的模式。 使用 RAG 构建的聊天机器人可以克服 ChatGPT 等通用会话模型所具有的一些限制。 特别是，他们能够讨论和回答以下问题：
你的…
翻译: Streamlit从入门到精通七 缓存Cache控制缓存大小和持续时间
Streamlit从入门到精通 系列：
翻译: Streamlit从入门到精通 基础控件 一翻译: Streamlit从入门到精通 显示图表Graphs 地图Map 主题Themes 二翻译: Streamlit从入门到精通 构建一个机器学习应用程序 三翻译: Streamlit从入门到精通 部署一个机器学习应用程序 四翻译…
Elasticsearch：使用 Gemini、Langchain 和 Elasticsearch 进行问答
本教程演示如何使用 Gemini API创建 embeddings 并将其存储在 Elasticsearch 中。 我们将学习如何将 Gemini 连接到 Elasticsearch 中存储的私有数据，并使用 Langchian 构建问答功能。 准备 Elasticsearch 及 Kibana
如果你还没有安装好自己的 Elasticsearch 及 Ki…
Conda python管理packages三 从入门到精通
Conda系列：
翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装Conda python运行的包和环境管理 入门Conda python管理环境environments 一 从入门到精通Conda python管理环境environments 二 从入门到精通Conda python管理环境environments 三 从入门到精通…
将 Amazon Bedrock 与 Elasticsearch 和 Langchain 结合使用
Amazon Bedrock 是一项完全托管的服务，通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FMs) 选择，以及广泛的 构建生成式 AI 应用程序所需的功能，简化开发，…
Conda 使用environment.yml创建一个新的Python项目
Conda系列：
翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装Conda python运行的包和环境管理 入门Conda python管理环境environments 一 从入门到精通Conda python管理环境environments 二 从入门到精通Conda python管理环境environments 三 从入门到精通…
翻译: 使用 GPT-4 自动诊断Streamlit性能问题
GPT-4 提升Streamlit 应用系列
翻译: 使用 GPT-4 将您的 Streamlit 应用程序提升到一个新的水平一翻译: 使用 GPT-4 将Jupyter Notebook 转换为Streamlit
1. 从缓慢到快速，使用 GPT-4 来提高应用程序性能
Web 应用程序需要足够快。快速的网络应用程序可以让用户满…
langchain+xray：prompt控制漏洞扫描
写在前面
xray是长亭推出的一款漏洞扫描工具。
langchain是调用LLM大模型完成自动化任务的框架。
本篇文章是对langchain自定义工具的探索，通过编写一个xray调用的工具，联合ChatGPT对xray进行调用，实现对目标的漏洞扫描。
xray功能分析
…
【langchain实战】开源项目-RasaGPT
1、概述 RasaGpt是一个建立在 Rasa 和 Langchain 之上的没有显示界面的LMM聊天机器人平台。它是一个Rasa和Telegram这种利用像Langchain这样的LMM库进行索引、检索和上下文注入的样板及参考实现。 开源地址： GitHub - paulpierre/RasaGPT: 💬 RasaGPT is…
GPT-4 Vision调试任何应用，即使缺少文本日志 升级Streamlit七
GPT-4 Vision 系列:
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式二翻译: GPT-4 Vision静态图表转换为动态数据可视化 升级Streamlit 三翻译: GPT-4 Vision从图像转换为完全可编辑的表格 升级St…
Langchain中改进RAG能力的3种常用的扩展查询方法
有多种方法可以提高检索增强生成(RAG)的能力，其中一种方法称为查询扩展。我们这里主要介绍在Langchain中常用的3种方法
查询扩展技术涉及对用户的原始查询进行细化，以生成更全面和信息丰富的搜索。使用扩展后的查询将从向量数据库中获取更多相关文档。 …
【Langchain+Streamlit】打造一个旅游问答AI
利用LangchainStreamlit打造一个交互简单的旅游问答AI机器人，如果你有openai账号,可以按照如下的网址直接体验，如果你没有的话可以站内私信博主要一下临时key体验一下： 产品使用传送门—— http://101.33.225.241:8501/ 这里有演示效果和代码…
LangChain pdf的读取以及向量数据库的使用
以下使用了3399.pdf， Rockchip RK3399 TRM Part1
import ChatGLM
from langchain.chains import LLMChain
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain.chains import Simp…
推荐收藏！九大最热门的开源大模型 Agent 框架来了
在人工智能领域，AI Agent 扮演着关键角色，能够模拟人类的智能行为。
近年来，开源社区涌现出多个优秀的 AI Agent 框架，本文将介绍九种备受关注的开源AI Agent框架，包括AutoGPT、AutoGen、Langfuse、ChatDev、BabyAGI、…
大语言模型LangChain本地知识库：向量数据库与文件处理技术的深度整合
文章目录 大语言模型LangChain本地知识库：向量数据库与文件处理技术的深度整合引言向量数据库在LangChain知识库中的应用文件处理技术在知识库中的角色向量数据库与文件处理技术的整合实践挑战与展望结论 大语言模型LangChain本地知识库：向量数据库与文件…
实战LangChain（三）：深化交互——利用Neo4j提升聊天机器人的对话能力
实战LangChain（三）：深化交互——利用Neo4j提升聊天机器人的对话能力
实战LangChain（一）：构建您的第一个聊天机器人_langchai 机器人
实战LangChain（二）：探索RAG——为聊天机器人注入知识-CSDN博客
实战LangChain（三）：深化交互——利用Neo4j提升聊天机器人的对话…
langchain调用语言模型chatglm4从智谱AI
目录
0.langchain agent 原理
ReAct
1.langchain agent使用chatgpt调用tools的源代码
2.自定义本地语言模型的代码
3.其他加速方法 背景：如果使用openai的chatgpt4进行语言问答，是需要从国内到国外的一个客户请求-->openai服务器response的一个…
LangChain入门：4.调用OpenAI的聊天机器人-提示模板
本次目的是编写一个简单的聊天机器人，该聊天机器人可以使用OpenAI的聊天机器人模型进行交互。在这个学习中，我们将创建了一个简单的聊天模板，用户可以输入任何文本，聊天机器人会根据预定义的提示消息模板生成回复，通过…
LangChain - classes
文章目录 说明langchainagentscachecallbacksmemorychat_loaderschat_modelsdocstoredocument_loadersdocument_transformersembeddingsevaluationgraphsindexesllmsloadmemoryoutput_parserspromptsretrieversrunnablesschemasmithstoragetext_splittertoolsutilitiesutilsvec…
LLM之RAG实战（三十五）| 使用LangChain的3种query扩展来优化RAG
RAG有时无法从矢量数据库中检索到正确的文档。比如我们问如下问题： 从1980年到1990年，国际象棋的规则是什么？ RAG在矢量数据库中进行相似性搜索，来查询与国际象棋规则问题相关的相关文档。然而，在某些情况下࿰…
LangChain教程 | langchain 文本拆分器 | Text Splitters全集
在阅读本文前，建议先看下langchain的基础，最主要的是先看下langchain 文档加载器使用教程有关的内容，会更容易把知识串联起来。 概述 一旦加载了文档，您通常会想要转换它们以更好地适应您的应用程序。最简单的例子是，您…
FAISS+bge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践
文章目录 FAISSbge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践引言FAISS与bge-large-zh简介FAISS原理bge-large-zh原理 FAISSbge-large-zh在LangChain本地知识库中的作用提高检索效率增强语义理解能力支持大规模数据处理 实践数据准备与处理FAISS索引构建与…
【Langchain多Agent实践】一个有推销功能的旅游聊天机器人
【LangchainStreamlit】旅游聊天机器人_langchain streamlit-CSDN博客
视频讲解地址：【Langchain Agent】带推销功能的旅游聊天机器人_哔哩哔哩_bilibili
体验地址： http://101.33.225.241:8503/
github地址：GitHub - jerry1900/langcha…
【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建你的知识库
准备环境
bash
/root/share/install_conda_env_internlm_base.sh InternLM升级PIP
# 升级pip
python -m pip install --upgrade pippip install modelscope1.9.5
pip install transformers4.35.2
pip install streamlit1.24.0
pip install sentencepiece0.1.99
pip install a…
『大模型笔记』RAG 系统开发中的12大痛点及解决方案
RAG 系统开发中的12大痛点及解决方案 文章目录 问题引入一. 痛点 1：缺失内容1.1. 数据清洗的重要性1.2. 精心设计的提示（Prompt）有助于提高准确性二. 痛点 2：关键文档被遗漏2.1. 通过调整 chunk_size 和 similarity_top_k 参数优化检索效果2.2. 检索结果的优化排序三. 痛点…
Langchain中向量数据库FAISS的使用
Embeddings 使用的是 JinaEmbeddings。
1 第一次存入数据库：
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_community.embeddings import JinaEmbeddings
from langchain_c…
【langchain】入门初探实战笔记（Chain, Retrieve, Memory, Agent）
1. 简介
1.1 大语言模型技术栈 大语言模型技术栈由四个主要部分组成：
数据预处理流程（data preprocessing pipeline）嵌入端点（embeddings endpoint ）向量存储（vector store）LLM 终端ÿ…
langchain学习笔记（九）
RunnableBranch: Dynamically route logic based on input | 🦜️🔗 Langchain
基于输入的动态路由逻辑，通过上一步的输出选择下一步操作，允许创建非确定性链。路由保证路由间的结构和连贯。
有以下两种方法执行路由
1、通过Ru…
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法
LLM大模型：
GPT实战系列-探究GPT等大模型的文本生成
GPT实战系列-Baichuan2等大模型的计算精度与量化
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
…
GPT实战系列-LangChain + ChatGLM3构建天气查询助手
GPT实战系列-LangChain ChatGLM3构建天气查询助手
用ChatGLM的工具可以实现很多查询接口和执行命令，而LangChain是很热的大模型应用框架。如何联合它们实现大模型查询助手功能？例如调用工具实现网络天气查询助手功能。 LLM大模型相关文章： …
Agent——记忆模块
在基于大模型的 Agent架构设计方面，论文[1]提出了一个统一的框架，包括Profile模块、Memory模块、Planning模块和Action模块。其中长期记忆的状态维护至关重要，在 OpenAI AI 应用研究主管 Lilian Weng 的博客《基于大模型的 Agent 构成》[2]中，将记忆视为关键的组件之一，下…
【LangChain学习之旅】—（5） 提示工程（上）：用少样本FewShotTemplate和ExampleSelector创建应景文案
【LangChain学习之旅】—（5） 提示工程（上）：用少样本FewShotTemplate和ExampleSelector创建应景文案 提示的结构LangChain 提示模板的类型使用 PromptTemplate使用 ChatPromptTemplateFewShot 的思想起源使用 FewShotPr…
LangChain Demo | Agent X ReAct X wikipedia 询问《三体》的主要内容
背景
LangChain学习中，尝试改了一下哈里森和吴恩达课程当中的问题，看看gpt-3.5-turbo在集成了ReAct和wikipedia后，如何回答《三体》的主要内容是什么这个问题，当然，主要是为了回答这问题时LangChain内部发生了什么。所…
Elasticsearch 开放 inference API 增加了对 Cohere Embeddings 的支持
作者：来自 Elastic Serena Chou, Jonathan Buttner, Dave Kyle
我们很高兴地宣布 Elasticsearch 现在支持 Cohere 嵌入！ 发布此功能是与 Cohere 团队合作的一次伟大旅程，未来还会有更多合作。 Cohere 是生成式 AI 领域令人兴奋的创新者&…
使用LangChain SQLChain连接LLM和SQL数据库
大家好，近年来大型语言模型（LLMs）因在多个领域的文本生成能力受到广泛关注。然而，LLMs有时会产生错误或生成无意义的文本，这种现象常被称为“幻觉”。例如，询问ChatGPT法国是什么时候赠送给立陶宛维尔纽斯电…
LangChain-06 RAG With Source Doc 通过文档进行检索增强
安装依赖
pip install --upgrade --quiet langchain-core langchain-community langchain-openai编辑代码
from operator import itemgetter
from langchain_core.messages import AIMessage, HumanMessage, get_buffer_string
from langchain_core.prompts import format_d…
LangChain Demo | 如何调用stackoverflow并结合ReAct回答代码相关问题
背景
楼主决定提升与LLM交互的质量，之前是直接prompt->answer的范式，现在我希望能用上ReAct策略和能够检索StackOverflow，让同一款LLM发挥出更大的作用。
难点
1. 怎样调用StackOverflow
step1 pip install stackspi
step 2
from la…
【LangChain学习之旅】—（18）回调函数：在AI应用中引入异步通信机制
【LangChain学习之旅】—（18）回调函数：在AI应用中引入异步通信机制 回调函数和异步编程LangChain 中的 Callback 处理器在组件中使用回调处理器自定义回调函数用 get_openai_callback 构造令牌计数器总结回调函数和异步编程
回调函数，你可能并不陌生。它是函数 A 作为参数…
LLM大语言模型（九）：LangChain封装自定义的LLM
背景
想基于ChatGLM3-6B用LangChain做LLM应用，需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。
LangChain中对LLM的封装
继承关系：BaseLanguageModel——》BaseLLM——》LLM
LLM类
简化和LLM的交互 _call抽象方法定义 ab…
【LangChain学习之旅】—（19）BabyAGI：根据气候变化自动制定鲜花存储策略
【LangChain学习之旅】—（19）BabyAGI：根据气候变化自动制定鲜花存储策略 AutoGPTBaby AGIHuggingGPTLangChain 目前是将基于 CAMEL 框架的代理定义为 Simulation Agents（模拟代理）。这种代理在模拟环境中进行角色扮演，试图模拟特定场景或行为，而不是在真实世界中完成具体…
【LangChain学习之旅】—（19）CAMEL：通过角色扮演进行思考创作内容
【LangChain学习之旅】—（19）CAMEL：通过角色扮演进行思考创作内容 CAMEL 交流式代理框架股票交易场景设计场景和角色设置提示模板设计定义CAMELAgent类，用于管理与语言模型的交互预设角色和任务提示任务指定代理系统消息模板创建 Agent 实例头脑风暴开始总结大模型的成功，…
LangChain学习笔记—RAG（检索增强生成）
LangChain
LangChain是一个软件开发框架，可以更轻松地使用大型语言模型（LLM）创建应用程序。它是一个具有 Python 和 JavaScript 代码库的开源工具。LangChain 允许开发人员将 GPT-4 等 LLM 与外部数据相结合，为聊天机器人、代码理…
langchain 学习笔记-FunctionCalling三种方式
ChatGPT 基于海量的训练数据生成答案，所以它无法回答训练数据中没有的信息或搜索信息
。人们希望 ChatGPT 具有对话以外的各种功能，例如“我想管理我的待办事项列表”。 函数调用是对此类请求的响应。 通过使用函数调用，ChatGPT 现在可以在生…
【记录】LangChain｜llama 2速通版
官方教程非常长，我看了很认可，但是看完了之后呢就需要一些整理得当的笔记让我自己能更快地找到需求。所以有了这篇文章。【写给自己看的，里面半句废话的解释都没有，如果看不懂的话直接看官方教程再看我的】
我是不打算一开始就用…
LangChain - OpenGPTs
文章目录 MessageGraph 消息图认知架构AssistantsRAGChatBot 持久化配置新模型新工具astream_events总结 关键链接：
OpenGPT GitHub 存储库YouTube 上的 OpenGPT 演练LangGraph：Python、JS 两个多月前，在 OpenAI 开发日之后，我们…
极客时间: 用 Word2Vec, LangChain, Gemma 模拟全本地检索增强生成(RAG)
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
LangChain - PromptTemplate
文章目录 关于 Prompt关于 PromptTemplate基本创建无变量输入1个变量多变量使用 from_template 自动推断 input_variables 聊天模板使用 from_template 方法构建使用 PromptTemplate 构建 MessagePromptTemplate使用一或多个 MessagePromptTemplates 构建一个 ChatPromptTempla…
LangChain：索引(Indexes)--基础知识
引言
在当今信息爆炸的时代，如何高效地获取、处理和利用信息成为了关键。LangChain，作为一种先进的语言模型框架，提供了强大的索引功能，帮助用户更好地管理和应用文本数据。本文将详细介绍LangChain索引中的几个核心组件…
LangChain - ChatModels
文章目录 一、关于 聊天模型开始1、设置2、Messages3、__call__Messages in -> message out 4、generate批量调用，更丰富的输出 (Batch calls, richer outputs) 二、LLMChain三、提示（Prompts）四、实时流媒体 streaming五、Caching1、In M…
大模型从入门到应用——LangChain：索引（Indexes）-文档加载器（Document Loaders）
在现代的大模型应用中，数据的加载和处理是至关重要的一环。LangChain，作为一个领先的框架，为开发者提供了强大的文档加载器（Document Loaders），以简化从各种来源加载数据的过程。本文将详细介绍LangChain的…
LangChain：大型语言模型（LLMs）-- 基础知识
1、LangChain的调用大型语言模型模块的介绍
LangChain是一个强大的框架，旨在通过调用大型语言模型（LLM）来开发各种语言驱动的应用程序。在LangChain中，LLM不仅仅是一个简单的模型调用，而是一个复杂链条中的关键部分。…
【AI】如何创建自己的自定义ChatGPT
如何创建自己的自定义ChatGPT 目录 如何创建自己的自定义ChatGPT大型语言模型（LLM）GPT模型ChatGPTOpenAI APILlamaIndexLangChain参考推荐超级课程： Docker快速入门到精通Kubernetes入门到大师通关课本文将记录如何使用OpenAI GPT-3.5模型、LlamaIndex和LangChain创建自己的…
【LangChain学习之旅】—（8） 输出解析：用OutputParser生成鲜花推荐列表
【LangChain学习之旅】—（8） 输出解析：用OutputParser生成鲜花推荐列表 LangChain 中的输出解析器Pydantic（JSON）解析器实战第一步：创建模型实例第二步：定义输出数据的格式第三步：创…
玩转LangChain - 2 在本地跑Google新出的Gemma模型
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
LangChain-10 Agents langchainhub 共享的提示词Prompt
LangChainHub 的思路真的很好，通过Hub的方式将Prompt 共享起来，大家可以通过很方便的手段，短短的几行代码就可以使用共享的Prompt。 我个人非常看好这个项目。 官方推荐使用LangChainHub，但是它在GitHub已经一年没有更新了&#x…
AI大模型探索之路-应用篇2：Langchain框架ModelIO模块—数据交互的秘密武器
目录 前言
一、概述
二、Model
三、Prompt
五、Output Parsers
总结 前言
随着人工智能技术的不断进步，大模型的应用场景越来越广泛。LangChain框架作为一个创新的解决方案，专为处理大型语言模型的输入输出而设计。其中，…
【记录】LangChain｜Ollama结合LangChain使用的速通版（包含代码以及切换各种模型的方式）
官方教程非常长，我看了很认可，但是看完了之后呢就需要一些整理得当的笔记让我自己能更快地找到需求。所以有了这篇文章。【写给自己看的，里面半句废话的解释都没有，如果看不懂的话直接看官方教程再看我的】
我是不打算一开始就用…
大模型学习与实践笔记（十）
一、模型测评的意义 二、如何对模型进行测评 三、OpenCompass 评测流水线设计 四、大模型评测带来的挑战 五、OpenCompass 评测示例
1.多模态
优势：
1.基于感知与推理，将评估维度逐级细分
2.约3000 道单选题，覆盖目标检测，文本…
LLM之新手入门：大预言模型的概念介绍与应用
最近，我在系统地学习大型语言模型（LLM）的相关知识。在这个学习过程中，我努力将所学的内容整理成博客文章。在这篇博客中，我首先简要介绍了人工智能的发展历史，然后探讨了大型模型的基本原理、训练方法、微调…
【InternLM 实战营笔记】基于 InternLM 和 LangChain 搭建MindSpore知识库
InternLM 模型部署
准备环境
拷贝环境
/root/share/install_conda_env_internlm_base.sh InternLM
激活环境
conda activate InternLM
安装依赖
# 升级pip
python -m pip install --upgrade pippip install modelscope1.9.5
pip install transformers4.35.2
pip install…
Elasticsearch：使用 OpenAI、LangChain 和 Streamlit 的基于 LLM 的 PDF 摘要器和 Q/A 应用程序
嘿！ 您是否曾经感觉自己被淹没在信息的海洋中？ 有这么多的书要读，而时间却这么少，很容易就会超负荷，对吧？ 但猜猜怎么了？ 你可以使用大型语言模型创建自定义聊天机器人，该模型可以帮…
（非代码层面）优化自己的本地langchain-chatglm3的QA效果思路分享。（持续更新）
前言
本篇不讲代码，仅分享一些优化自己处理QA任务的向量库大模型的方法。
背景
一、 大家有时制作基于langchain创建具有知识库的的本地GLM模型，在执行QA任务时。会发现效果会明显的差过智谱的智能体。个人认为原因主要是：
模型大小&…
GPT实战系列-LangChain构建自定义Agent
GPT实战系列-LangChain构建自定义Agent
LangChain
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法
GPT…
翻译: GPT-4 with Vision 升级 Streamlit 应用程序的 7 种方式一
随着 OpenAI 在多模态方面的最新进展，想象一下将这种能力与视觉理解相结合。
现在，您可以在 Streamlit 应用程序中使用 GPT-4 和 Vision，以：
从草图和静态图像构建 Streamlit 应用程序。帮助你优化应用的用户体验，包…
langchain+chatglm3+BGE+Faiss Linux环境安装依赖
前言
本篇默认读者已经看过之前windows版本，代码就不赘述，本次讲述是linux环境配置 超短代码实现！！基于langchainchatglm3BGEFaiss创建拥有自己知识库的大语言模型(准智能体)本人python版本3.11.0（windows环境篇&…
【书生·浦语大模型实战营】学习笔记3
文章目录 1. 大模型开发范式2. LangChain简介3. 构建向量数据库4. 搭建知识库助手5. Web Demo部署6. 动手实战环节环境配置知识库搭建InternLM接入LangChain构建检索问答链部署Web Demo 参考资料 1. 大模型开发范式
LLM局限性： 知识时效性：LLM无法获取最…
大模型的实践应用18-大模型的开发框架LangChain的简单应用与Faiss向量数据库实现
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用18-大模型的开发框架LangChain的简单应用与Faiss向量数据库实现。LangChain是一个强大的开发框架，专门用于构建基于大型语言模型（LLM）的应用程序。它提供了丰富的工具和组件，帮助开发者更轻松地利用LLM的能力。下面…
Langchain的提示词模板
因为做AI项目的过程中，需要处理各种提示词（prompt），其中有些是固定的文本，有些是会反复修改的。如果是简单的提示词，直接用python里面的字符串format()或者replace()函数进行处理即可。对于复杂的ÿ…
ubuntu系统个人部署LangChain过程
官方教程，github和huggingface都需要梯子：
开发环境部署 chatchat-space/Langchain-Chatchat Wiki (github.com)
具体参考官方的，这里额外记录一下官方文档里面没有写的。 安装前，确保openSSL版本是新的
查看当前环境下是否有…
【AI学习】LangChain学习
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…
用 LangChain 和 Milvus 从零搭建 LLM 应用
如何从零搭建一个 LLM 应用？不妨试试 LangChain Milvus 的组合拳。
作为开发 LLM 应用的框架，LangChain 内部不仅包含诸多模块，而且支持外部集成；Milvus 同样可以支持诸多 LLM 集成，二者结合除了可以轻松搭建一个 LL…
LangChain核心模块 Retrieval——文档加载器
Retrieval
许多LLM申请需要用户的特定数据，这些数据不属于模型训练集的一部分，实现这一目标的主要方法是RAG(检索增强生成)，在这个过程中，将检索外部数据，然后在执行生成步骤时将其传递给LLM。
LangChain 提供…
大语言模型LangChain + ChatGLM3-6B的组合集成：工具调用+提示词解读
文章目录 大语言模型LangChain ChatGLM3-6B的组合集成：工具调用提示词解读官方给出的提示词模板解读注解：1. 模板描述2. 工具调用规范3. 问题处理流程4. 最终响应5. 历史记录6. 实际应用举例 大语言模型LangChain ChatGLM3-6B的组合集成：工…
LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）
文章目录 LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）引言早期统计语言模型的奠基Transformer架构带来的革命技术里程碑：预训练、微调与模型演进大型LLM时代的来临与挑战 LangChain&#x…
LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）
文章目录 LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）引言早期统计语言模型的奠基Transformer架构带来的革命技术里程碑：预训练、微调与模型演进大型LLM时代的来临与挑战 LangChain&#x…
大模型、AI-Agent、langchain之间的关系
大模型、AI-Agent、langchain之间的关系
1. 背景介绍
随着人工智能技术的飞速发展，大模型、AI-Agent和langchain等概念逐渐成为业界关注的焦点。这些概念在技术层面上有着紧密的联系，同时也代表了人工智能领域的发展趋势。
大模型（Large M…
LangChain入门：2.OpenAPI调用ChatGPT模型
快速入门
本篇文章正式进入LangChain的编码阶段，今天实现的功能是使用OpenAPI调用ChatGPT模型来进行文本问答。
1. 申请OpenAPI的访问令牌
这里介绍两种获取到OpenAPI访问令牌的方式，大家按照自己需求进行选择，之后的文章我会基于第二种选…
基于RAG的大模型知识库搭建
什么是RAG
RAG(Retrieval Augmented Generation)，即检索增强生成技术。
RAG优势
部分解决了幻觉问题。由于我们可以控制检索内容的可靠性，也算是部分解决了幻觉问题。可以更实时。同理，可以控制输入给大模型上下文内容的时效性，…
langchin-chatchat部分开发笔记（持续更新）
大模型相关目录
大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步，扬帆起航。
大模型应用向开发路径及一点个人思考大模型应用开发实用开源项目汇总大模型问答项目…
【LangChain学习之旅】—（11） 记忆：通过Memory记住用户上次的对话细节
【LangChain学习之旅】—（11） 记忆：通过Memory记住客户上次买花时的对话细节 使用 ConversationChain使用 ConversationBufferMemory使用 ConversationBufferWindowMemory使用 ConversationSummaryMemory使用 ConversationSummaryBufferMemor…
基于 LLaMA 和 LangChain 实践本地 AI 知识库
有时候，我难免不由地感慨，真实的人类世界，本就是一个巨大的娱乐圈，即使是在英雄辈出的 IT 行业。数日前，Google 正式对外发布了 Gemini 1.5 Pro，一个建立在 Transformer 和 MoE 架构上的多模态模型。可惜，这个被 Google 寄予厚望的产品并未激起多少水花，因为就在同一天…
LLM应用：Prompt flow vs LangChain
背景
Prompt flow和LangChain都是LLM时代，为高效地构建LLM应用而生。
Prompt flow是Microsoft开源的，其诞生时，LangChain已经很有名气了。
所以作为后生的Prompt flow会为我们带来哪些新的东西呢？
Prompt flo…
使用langchain搭建本地知识库系统(新)
使用langchain搭建自己的本地知识库系统（新）
前些时候字节上了自己的扣子，用来构建我们自己的 agent [AI 实战：手把手教你使用「扣子/coze」来搭建个人blog知识库 受到启发，想在本地或者自己的服务器上面搭建一个知识…
Neo4j安装 Linux：CentOS、openEuler 适配langchain应用RAG+知识图谱开发 适配昇腾910B
目录 Neo4j下载上传至服务器后进行解压运行安装JAVA再次运行在windows端打开网页导入数据 Neo4j下载
进入Neo4j官网下载页面 向下滑动找到 Graph Database Self-Managed 选择 社区版（COMMUNITY） 选择 Linux / Mac Executable Neo4j 5.17.0 (tar) 单机下…
大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库
基于InternLM和LangChain搭建知识库 1 大模型开发范式 LLM的局限性 知识受限：最新知识无法实时获取专业能力有限：有广度无深度定制化成本高：训练成本高
RAG VS Finetune RAG：
无需重新训练组织外挂加入知识容易受基座模型的影响…
AI探索实践12 - Typescript开发AI应用4：大模型响应数据的格式化输出
大家好，我是feng，感谢你阅读我的博文，如果你也关注AI应用开发，欢迎关注公众号和我一起探索。如果文章对你有所启发，请为我点赞！ 一、重点回顾
在介绍本文之前的文章中，我们先来回顾一下使用L…
快速部署本地知识库大模型（Langchain+ChatGLM3）
使用AutoDL AI算力云：AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL，注册后充值后进入控制台 点击租用新实例，选择机器和社区镜像langchain-chatchat如下 创建成功后进去JupyterLab 打开终端运行如下命令
$ cd /root/Langchain-Chatch…
用通俗易懂的方式讲解：大模型 RAG 在 LangChain 中的应用实战
Retrieval-Augmented Generation（RAG）是一种强大的技术，能够提高大型语言模型（LLM）的性能，使其能够从外部知识源中检索信息以生成更准确、具有上下文的回答。
本文将详细介绍 RAG 在 LangChain 中的应用&a…
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
前言
过去半年，随着ChatGPT的火爆，直接带火了整个LLM这个方向，然LLM毕竟更多是基于过去的经验数据预训练而来，没法获取最新的知识，以及各企业私有的知识
为了获取最新的知识，ChatGPT plus版集成了bing搜索…
最迟但到的 Star History 2023 年度开源精选！
千呼万唤始出来，Star History 2023 年终开源精选来啦！🎉
AI 是 2023 开源领域里最主要的关键词，但其实过去一年还是有很多其他值得关注的项目和发展趋势的！Star History 小编总结了几个类别并精选了类别中最亮眼的项目…
LangChain：大型语言模型（LLMs）-- ChatGLM
1. 介绍
LangChain 是一个领先的框架，用于构建由大型语言模型（LLM）驱动的应用程序。在这个框架内，ChatGLM 作为一个重要的组件，为用户提供了强大的双语（中文-英文）对话功能。ChatGLM 基于通用的…
实战LangChain（二）：探索RAG——为聊天机器人注入知识
实战LangChain（二）：探索RAG——为聊天机器人注入知识
实战LangChain（一）：构建您的第一个聊天机器人_langchai 机器人 实战LangChain（二）：探索RAG——为聊天机器人注入知识 文章目录 实战LangChain（二）：探索RAG——为聊天机器人注入知识引言一、RAG是什么二、使用步…
05｜输出解析：用OutputParser生成鲜花推荐列表
使用Pydantic 解析器来重构第4课中的程序
LangChain 中的输出解析器
输出解析器是一种专用于处理和构建语言模型响应的类。一个基本的输出解析器类通常需要实现两个核心方法。
get_format_instructions：这个方法需要返回一个字符串，用于指导如何格式…
01｜模型IO：输入提示、调用模型、解析输出
Model I/O
可以把对模型的使用过程拆解成三块，分别是输入提示（对应图中的Format）、调用模型（对应图中的Predict）和输出解析（对应图中的Parse）。这三块形成了一个整体，因此在LangCha…
GPT实战系列-LangChain的Prompt提示模版构建
GPT实战系列-LangChain的Prompt提示模版构建
LangChain
GPT实战系列-LangChain如何构建基通义千问的多工具链
GPT实战系列-构建多参数的自定义LangChain工具
GPT实战系列-通过Basetool构建自定义LangChain工具方法
GPT实战系列-一种构建LangChain自定义Tool工具的简单方法…
LangChain表达式LCEL(四）
使用LangChain进行流式处理
流式处理对于基于 LLM 的应用程序对最终用户的响应至关重要，重要的 LangChain 原语，如 LLMs、解析器、提示、检索器和代理实现了 LangChain Runnable 接口。
该接口提供了两种常见的流式内容的方法：
sync strea…
Elasticsearch：使用在本地计算机上运行的 LLM 以及 Ollama 和 Langchain 构建 RAG 应用程序
无需 GPU 的隐私保护 LLM。在本博客中，我将演示使用不同的工具 Ollama 构建的 RAG 应用程序。 与本文相关的所有源代码均已发布在 github上。 请克隆存储库以跟随文章操作。我们可以通过如下的方式来克隆：
git clone https://github.com/liu-xiao-guo/o…
什么是LangChain
LangChain是一个开源框架，允许从事人工智能的开发者将例如GPT-4的大语言模型与外部计算和数据来源结合起来。该框架目前以Python或JavaScript包的形式提供。
（ 假设，你想从你自己的数据、文件中具体了解一些情况（可以是一本书、…
LangChain使用本地LLM的简单实现
所用模型：stable-code-instruct-3b-Q8_0.gguf
下载链接：bartowski/stable-code-instruct-3b-GGUF Hugging Face
详细内容请查看：Introduction | 🦜️🔗 Langchain
目录
LangChain
代码示例 LangChain
LangChain…
LLM大语言模型（十一）：基于自定义的ChatGLM3-6B构建LangChain的chain
背景
LangChain中具备执行复杂逻辑的组件，一个是Agent，一个是Chain。
两者的区别主要在于：
Chain是静态的是提前定义好的执行流程，执行完step1然后执行step2.
Agent是动态的，Agent在执行时LLM可以自行决定使用合适…
LangChain原理深度解析：构建高效语言模型应用的关键框架
LangChain原理介绍
摘要： 本文将详细介绍LangChain的基本原理，包括其设计思路、核心组件、工作流程以及在语言模型应用开发中的应用。通过通俗易懂的语言，本文旨在让读者对LangChain有一个全面的了解。
关键词： LangChain&#…
Flowise+LocalAI部署--Agent应用
背景
概念
Flowise
Flowise 是一个开源的用户界面可视化工具，它允许用户通过拖放的方式来构建自定义的大型语言模型（LLM）流程。 Flowise基于LangChain.js，是一个非常先进的图形用户界面，用于开发基于LLM的应用程序。…
LangChain - Output Parsers
文章目录 一、输出解析器 (Output Parsers)快速入门 二、列表解析器三、datetime 日期时间解析器四、枚举解析器五、自动修复解析器六、Pydantic（JSON）解析器七、重试解析器八、结构化输出解析器 structured 转载改编自： https://python.lang…
langchain Chroma 构建本地向量数据库
langchain Chroma 构建本地向量数据库
# import
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings.sentence_transformer import (SentenceTransformerEmbeddings,
)
from langchain_community.embeddings import HuggingFa…