前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >danswer——一键构建私人本地知识库之连接器篇

danswer——一键构建私人本地知识库之连接器篇

作者头像
山行AI
发布于 2023-09-22 09:47:32
发布于 2023-09-22 09:47:32
9320
举报
文章被收录于专栏:山行AI山行AI

问题回答是什么意思?

•直接问答允许您用简单的语言提问并立即获得准确的回答。•从私有数据源中解锁知识,无论是公司内部文档还是您想添加的个人资源。•每个答案都有引用和参考文档支持,因此您始终可以信任所获得的内容。

开源是什么意思?

•该项目在 MIT 许可证下授权,您可以做任何您想要的!•Danswer 被设计成可以由任何人轻松托管,您只需要设置数据连接器

企业版如何?

•Danswer 支持用户身份验证和文档级别的访问控制。•Danswer 提供与 Slack、Google Drive、GitHub 等常见企业工具的连接器。

[2]主要特点 💃

•直接由生成型AI模型驱动的问答功能,提供由引用和源链接支持的答案。•使用最新的LLM进行智能文档检索(语义搜索/重新排序管道)。•AI助手由自定义深度学习模型支持,用于解释用户意图。•用户认证与文件级别访问管理。•与Slack、GitHub、GoogleDrive、Confluence、BookStack、本地文件和Web抓取的连接器,并有更多功能即将推出。•管理仪表板用于管理连接器并设置诸如实时更新提取等功能。•一行Docker Compose部署所有服务以在任何地方托管Danswer。未来计划•聊天/对话支持•支持自定义端点用于生成式AI模型,甚至自托管选项•模板以便于轻松构建自定义连接器•个性化搜索

连接器概述

连接器的基本信息

什么是连接器

连接器将Danswer与您的数据源连接起来,以便答案基于您的组织知识。

[3]连接器帮助您

选择源,这样您只能包含要索引的数据。•配置访问权限,以便Danswer可以在您的许可下安全访问数据。•设置提取选项,以保持Danswer的回答最新。

[4] 网页连接器

访问网页知识

[5]工作原理

网页连接器根据基本URL来爬取网页信息。

•它只索引来自相同域和包含相同基本路径的文件。•它将索引通过基本URL超链接可访问的页面。•文本内容通过一些启发式和一些元数据(如提取页面标题)进行清理。

文件连接器

访问本地文件的知识

[6]工作原理

文件连接器索引用户上传的文件。

•目前支持 .txt 文件或包含 .txt 文件的 .zip 文件。•可选的元数据行支持通过URL链接到其他内部工具。

Slack连接器

从您的消息中获取知识

[7]工作原理

Slack连接器会索引给定工作区的所有公共频道。

•即将推出:通过标记/添加Danswer Slack机器人到私有频道,支持私有频道。

GitHub连接器

从您的存储库中获取知识

[8]工作原理

Github连接器会获取指定存储库中的所有拉取请求(Pull Requests)和问题(Issues)。

•它将索引开放和关闭的PR。包括标题和摘要。•它将索引开放和关闭的问题和评论•包括其他元数据,如URL、创建者等。

Confluence连接器

访问来自公司Wiki的知识

[9]工作原理

Confluence连接器每10分钟从指定的空间中获取所有页面和评论。

•根据需求,Danswer可能会在将来支持索引特定的Confluence页面或目录。

Jira连接器

从Jira中获取最新期刊和项目更新

[10]工作原理

Jira连接器每10分钟从指定项目中提取所有票证。

Google Drive连接器概述

访问文件中的知识

[11]工作原理

Google Drive连接器摄取您的驱动器文档。它会每10分钟同步您的Google Drive中的最新信息。

•目前支持Google文档,表格和PDF文件。

Notion连接器

从您的Notion工作区访问知识

[12]工作原理

Notion连接器使用Notion搜索API来获取连接器在工作区内具有访问权限的所有页面。对于后续的索引运行,连接器仅检索自上次索引尝试以来更新过的页面。索引配置为每10分钟运行一次,因此页面更新应在10分钟内显示。

BookStack连接器

从您自己的BookStack实例访问知识

文本:[13]工作原理

BookStack连接器在连接设置完成后从连接的实例上抓取所有书架、书籍、章节和页面。从那时起,该连接器将每10分钟拉取自上次同步以来的所有更新内容。

Guru连接器

访问Guru的最新卡片

[14]工作原理

Guru连接器基于用户访问令牌,拉取用户可以访问的所有卡片。

卡片每10分钟更新一次。

Productboard连接器

从Productboard同步知识

[15]它的工作原理

Productboard连接器将所有特性组件产品目标同步到Danswer。目前,Productboard的API不支持同步发布笔记

所有内容每隔10分钟更新一次。

Zulip连接器

捕捉来自Zulip流和主题的讨论

[16]它的工作原理

Zulip 连接器根据分配给机器人用户的权限提取所有流和主题。

References

[1] Danswer: https://github.com/danswer-ai/danswer [2] : https://docs.danswer.dev/introduction#main-features [3] : https://docs.danswer.dev/connectors/overview#connectors-help-you [4] : https://docs.danswer.dev/connectors/overview#monitoring-connectors [5] : https://docs.danswer.dev/connectors/web#how-it-works [6] : https://docs.danswer.dev/connectors/file#how-it-works [7] : https://docs.danswer.dev/connectors/slack#how-it-works [8] : https://docs.danswer.dev/connectors/github#how-it-works [9] : https://docs.danswer.dev/connectors/confluence#how-it-works [10] : https://docs.danswer.dev/connectors/jira#how-it-works [11] : https://docs.danswer.dev/connectors/google_drive/overview#how-it-works [12] : https://docs.danswer.dev/connectors/notion#how-it-works [13] 文本:: https://docs.danswer.dev/connectors/bookstack#how-it-works [14] : https://docs.danswer.dev/connectors/guru#how-it-works [15] : https://docs.danswer.dev/connectors/productboard#how-it-works [16] : https://docs.danswer.dev/connectors/zulip#how-it-works

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-09-19 22:26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 山行AI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
danswer——一键构建私人本地知识库的最佳选择之一
danswer是一款支持使用自然语言提问并获得私人来源支持的答案的AI应用。可以连接到Slack、GitHub、Confluence等工具。
山行AI
2023/09/08
2.4K0
danswer——一键构建私人本地知识库的最佳选择之一
Notion 替代方案: SaaS公司怎样在线搭建企业知识库?
在追求高效与创新的道路上,工具的选择至关重要。近期,OpenAI推出的Sora及其高端加速版本Sora Turbo在视频生成领域引发了轰动。
HelpLook AI知识库
2024/12/18
1880
Notion 替代方案: SaaS公司怎样在线搭建企业知识库?
Model Context Protocol 是什么?它和 Function Calling、AI Agents 有哪些不同?
最近,正在关注 AI 应用开发的演进,尤其是在如何让模型更好地“使用工具”这个问题上。Function Calling、AI Agents、Retrieval-Augmented Generation(RAG)这些方案已经被广泛讨论和应用。而就在不久前,Anthropic 发布了一个全网爆火的新协议 —— Model Context Protocol(简称 MCP),我觉得它非常值得聊一聊。
不惑
2025/05/08
2130
Model Context Protocol 是什么?它和 Function Calling、AI Agents 有哪些不同?
介绍一些好玩且实用的开源的AI工具
随着人工智能技术的迅猛发展,开源社区涌现出了许多关于AI的项目,这些项目不仅展示了技术的创新力,也为开发者提供了丰富的工具和资源。本文将介绍几个既有趣又实用的开源人工智能工具,它们不仅能够帮助你加深对人工智能技术的理解,还能在实际应用中大显身手。
星哥玩云
2024/07/03
9990
介绍一些好玩且实用的开源的AI工具
BookStack企业团队小型Wiki(知识库网站)基础安装与使用
描述:由于个人与公司团队有需求搭建一个团队共享的知识库,方便团队的技术沉淀积累与同时也方便新人入职学习了解各项工作,通过一天的找寻在网上最终入坑了BookStack方案;
全栈工程师修炼指南
2022/09/29
5.3K0
BookStack企业团队小型Wiki(知识库网站)基础安装与使用
五款 Slack 开源替代品
所有好用的洋SaaS都有一个致命的缺点:GFW。对于Slack这样的团队协作明星产品来说,一旦套牢退市对于企业的开发团队来说无疑是巨大的风险。况且,Slack并非开源产品,对知识产权和敏感数据泄露的顾
人称T客
2018/03/22
6.3K0
五款 Slack 开源替代品
Confluence 6 代理和 HTTPS 设置连接器
很多用户选择将 Confluence 运行在反向代理的后面,同时还启用了 HTTPS。将你的的 Confluence 反向代理配置正确就显得非常必要了,并且能够避免后期在使用 Confluence 遇到的很多问题。
HoneyMoose
2019/01/30
5520
效率回归,工具库之美「GitHub 热点速览」
刚开源就变成新星的 igl,不仅获得了 2k+ star,也能提高你开发游戏的效率,摆平一切和图形有关的问题。如果这个没有那么惊艳的话,还有 The-Art-of-Linear-Algebra,重燃了我学习线性代数的自信心;htmx 则是一个被称为“后端工程师的前端库”,可以让人安心用 HTML 搞定页面,同样的 Web 应用技术还能用到的有 reflex,这个老牌的 Python 工具,常做 Web 开发的人一定不陌生。
HelloGitHub
2023/08/19
3750
效率回归,工具库之美「GitHub 热点速览」
kafka连接器两种部署模式详解
一 kafka Connector介绍 Kafka Connect是一个用于在Apache Kafka和其他系统之间进行可扩展和可靠数据流传输的工具。这使得快速定义将大量数据传入和传出Kafka的连接器变得很简单。Kafka Connect可以接收整个数据库或从所有应用程序服务器收集指标到Kafka主题中,使得数据可用于低延迟的流处理。导出作业可以将来自Kafka主题的数据传送到二级存储和查询系统或批处理系统中进行离线分析。 Kafka Connect功能包括: Kafka连接器的通用框架 - Kafk
Spark学习技巧
2018/01/31
7.5K0
kafka连接器两种部署模式详解
企业如何搭建内部知识库Wiki?为什么需要知识库?
企业组织架构成长起来之后,经常有大量的业务、内部信息碎片化的散落在各个部门,如果你的员工每次都需要花费一定时间才能找到自己的信息,就把许多宝贵的时间浪费在内部流程&信息的梳理上,而没有办法把时间用来做更重要的有产出的工作。但是许多企业不知道,如何去搭建内部知识库、如何管理,今天我们就来分享一下如何创建一个内部的wiki - 知识库。
阿那个沫
2022/08/18
3.6K0
企业如何搭建内部知识库Wiki?为什么需要知识库?
云开发API连接器的最佳练习
Amazon Web Services,Microsoft Azure,Google Compute Engine等云服务提供商以及OpenStack,vCloud,OnApp等平台经过API或Web服务正变得日益可编程。若要使用这些API / Web服务,我们需要开发一个连接器。我们有开发当今几乎所有云平台或服务的API连接器的经验。本博客旨在分享我们的经验,并提供开发云服务或平台Web服务连接器所需的一些最佳练习。
踏_无痕
2018/01/10
4.8K0
云开发API连接器的最佳练习
2021年最受程序员欢迎的开发工具TOP 100名单出炉!
作者 | 丁广辉       责编 | 张红月 出品 | CSDN(ID:CSDNnews) 工欲善其事,必先利其器。这句话放到开发者的世界里也是一样的,好的开发者也需要好的开发工具。世界上那么多开发工具,总有一些是更快捷,更好用的。StackShare是一个开发者工具及服务分享平台,成立于2013年,随着开发者们的不断加入,汇集了大量的优质工具。 在过去的2021年,StackShare统计了过千万用户分享数据,汇总了600K+的技术栈使用情况,超700万对各类工具的关注度,以及数百万的开发者的评论和投票
用户1737318
2022/03/03
3.3K0
Claude 现在可以连接到你的真实世界,开始接管你的工作
Claude 于去年 11 月推出了模型上下文协议 (MCP), 将AI 应用与工具和数据连接起来的开放标准。
AIGC新知
2025/05/02
1240
Claude 现在可以连接到你的真实世界,开始接管你的工作
构建端到端的开源现代数据平台
在过去的几年里,数据工程领域的重要性突飞猛进,为加速创新和进步打开了大门——从今天开始,越来越多的人开始思考数据资源以及如何更好地利用它们。这一进步反过来又导致了数据技术的“第三次浪潮”。“第一次浪潮”包括 ETL、OLAP 和关系数据仓库,它们是商业智能 (BI) 生态系统的基石,无法应对大数据的4V[1]的指数增长。由于面向 BI 的栈的潜力有限,我们随后见证了“第二次浪潮”:由于 Hadoop 生态系统(允许公司横向扩展其数据平台)和 Apache Spark(为大规模高效的内存数据处理打开了大门)。
ApacheHudi
2022/12/09
5.9K0
构建端到端的开源现代数据平台
kafka 连接器实现 Mysql 数据同步 Elasticsearch
Mysql 作为传统的关系型数据库,主要面向 OLTP,性能优异,支持事务,但是在一些全文检索,复杂查询上面并不快。Elasticsearch 底层基于 Lucense 实现,天然分布式,采用倒排索引存储数据,全文检索效率很高,使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。
Se7en258
2021/05/18
2.8K0
kafka 连接器实现 Mysql 数据同步 Elasticsearch
如何选择Elastic Stack中的Alert和Watcher
警报是Elastic Stack的一个重要组成部分。你可以使用存储在Elasticsearch中的数据,在满足特定条件时触发警报。警报动作可能涉及发送电子邮件或Slack消息,将数据写入Elasticsearch的索引,调用并传递数据给外部网络服务,等等。
点火三周
2022/06/15
4.7K0
如何选择Elastic Stack中的Alert和Watcher
使用open-webui+deepseek构建本地AI知识库
在设置 --> 管理员设置 --> 联网搜索 --> 启用,然后下拉选择,这里选择tavily,可以去https://app.tavily.com/注册然后获取api key,最后点击保存就可以了
code4it
2025/02/18
3.5K1
使用open-webui+deepseek构建本地AI知识库
15个最佳缺陷/错误跟踪工具(2024)
缺陷/错误跟踪工具在软件开发领域扮演着关键角色,它们能够记录、上报、分配并追踪项目中出现的各种错误或缺陷。市场上虽有众多此类工具可供选择,但选择一个合适的工具对于达到最佳效果至关重要。有效的缺陷/错误跟踪系统不仅可以提高项目效率,还能确保问题得到快速且有效的解决,从而增强整个开发工作的顺利进行。
wangmcn
2024/11/14
4480
15个最佳缺陷/错误跟踪工具(2024)
SeaTunnel 连接器V1到V2的架构演进与探究
整个SeaTunnel设计的核心是利用设计模式中的控制翻转或者叫依赖注入,主要概括为以下两点:
tyrantlucifer
2022/11/29
1K0
SeaTunnel 连接器V1到V2的架构演进与探究
2025 年 1 月 Apache Hudi 社区新闻
欢迎阅读2025年1月的Hudi简报,由Onehouse.ai[1]为您带来!随着我们迈入新的一年,Hudi生态系统继续发展壮大,带来新的项目更新、社区贡献和实际应用案例。让我们一起探索!
ApacheHudi
2025/02/06
1030
2025 年 1 月 Apache Hudi 社区新闻
推荐阅读
相关推荐
danswer——一键构建私人本地知识库的最佳选择之一
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档