Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >99行代码!教会你用Doris+DeepSeek实现AI舆情分析

99行代码!教会你用Doris+DeepSeek实现AI舆情分析

作者头像
一臻数据
发布于 2025-03-12 06:46:34
发布于 2025-03-12 06:46:34
44400
代码可运行
举报
文章被收录于专栏:一臻数据一臻数据
运行总次数:0
代码可运行

你是否曾经历过这样的场景:公司号突然被喷,评论区一片狼藉,客服电话被打爆,老板紧急召集会议,大家手忙脚乱却不知从何入手? 舆情危机好比一场没有预警的暴风雨,瞬间就能让企业陷入困境。对处在风口浪尖的企业来说,拥有一套高效的舆情分析系统简直就是救命稻草。 正巧,一位Doris小伙伴:"WX!!! 急需AI舆情分析。" "好滴,安排"

舆情分析中的痛点

小华是某政务中心的舆情分析师,每天需要处理上千条网络评论。

传统的舆情分析流程繁琐又耗时:手动筛选关键信息,分析情绪趋势,生成报告,往往一天下来只能处理几百条数据。

"如果系统能自动识别高风险言论就好了,我也不用天天熬夜加班。"小华经常这样感叹。

张总是一家快消品企业的公关部负责人,公司刚上市新产品就遭遇了全网吐槽。面对铺天盖地的负面评论,张总的团队只能疲于奔命地一条条回复。

"我们需要知道舆情的源头在哪里,是质量问题还是营销策略出了错。可现在的分析速度远跟不上网络传播速度。"

......

Doris+DeepSeek:舆情分析的黄金组合

Apache Doris是一款基于 MPP 架构的高性能、实时分析型数据库,能够处理海量数据并提供毫秒级查询性能。

DeepSeek则是一款强大的大语言模型,拥有出色的语义理解和情感分析能力。

两者结合,好比给数据分析插上了AI的翅膀。

Doris负责数据存储和快速检索,DeepSeek负责深度解读文本背后的情感和意图。

这套组合的工作流程:

1️⃣ 数据采集:通过爬虫收集平台的评论和帖子等内容

2️⃣ 数据入库:将收集到的数据实时写入Doris

3️⃣ 大模型分析:DeepSeek对文本进行多维度分析

4️⃣ 可视化展示:将分析结果以直观的方式呈现

确认好组合思路,接下来就开始撕代码 ⬇️

99行代码速通AI舆情分析

环境准备

本文demo环境相对简易,参考DorisAi前文环境即可:

3步!教会你用Doris+DeepSeek搭建ChatBI系统(保姆级教程)

代码实现

经过一臻和老崔七七四十九秒的编写调试,完整的99行示例代码如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import pymysql
from dbutils.pooled_db import PooledDB
import requests
from langchain.agents import initialize_agent, Tool
from langchain_openai import ChatOpenAI

"""
AI舆情分析|自动投诉处理系统 v1.0
Description: 基于LangChain Agent的智能流程自动化系统,替代硬编码方式处理投诉数据
"""

# 定义Apache Doris数据库查询的Agent Tool
def dorisTool(query):
    POOL_DORIS_OFF = PooledDB(
        user='{user}',password='{password}',host='{host}',port={port},database='{database}',
        charset='utf8',creator=pymysql,blocking=True,maxusage=None,setsession=[],maxconnections=30,mincached=10,ping=0,
    )
    cursor = POOL_DORIS_OFF.connection().cursor()
    cursor.execute(query)
    columns = [col[0] for col in cursor.description]
    rs = [dict(zip(columns, row)) for row in cursor.fetchall()]
    return rs

# 定义发送钉钉消息的Agent Tool
def dingdingTool(msg):
    markdown_message = f"""
           {msg}
           """
    webhook_url = (
        "{webhook_url}")
    headers = {'Content-Type': 'application/json'}
    payload = {
        "msgtype": "markdown",
        "markdown": {
            "title": "投诉数据明细",
            "text": markdown_message
        }
    }
    try:
        response = requests.post(webhook_url, headers=headers, json=payload)
        response.raise_for_status()
        print("钉钉消息推送成功")
    except requests.exceptions.RequestException as e:
        print(f"钉钉消息推送失败: {e}")

# 定义LangChain Agent工具列表
tools = [
    Tool(
        name="执行sql查询doris数据",
        func=dorisTool,
        description="根据传入的doris sql直接执行,返回结果集,返回格式为list"
    ),
    Tool(
        name="推送钉钉消息",
        func=dingdingTool,
        description="根据传入的msg通过钉钉机器人的形式推送msg到钉钉群"
    )
]

# 初始化LLM
llm = ChatOpenAI(base_url='https://ark.cn-beijing.volces.com/api/v3',
                 api_key="{api_key}",
                 model='{model}')

# 初始化LangChain Agent
agent = initialize_agent(
    tools,
    llm,
    agent="zero-shot-react-description",
    verbose=True,
    handle_parsing_errors=True
)

# 提示模板,指导AI代理如何处理查询
question = "请问近30天有关于一臻数据的投诉信息吗"
promptTemplate = """
你是“一臻数据”平台的投诉识别以及处理员,需完成以下任务:
1. 根据用户的问题,生成一个 SQL 查询,具体查询时间范围以用用户实际问题为准。
2. 从查询结果中筛选出与“一臻数据”相关的投诉信息。
3. 将筛选结果汇总为易读的格式,并给出处理建议以及将命中的投诉信息根据你的建议排出一个紧急程度来,尽可能多的挖掘一些信息返回给客户,做专家指导,如“舆情分类”、“定义分类”、“紧急程度”等。
4. 如果存在与“一臻数据”相关的投诉,将汇总信息和你的处理建议通过钉钉机器人推送到指定群组。
5. 在推送内容中添加表情符号,增强可读性。
注意:
-如需调用工具,根据工具的作用在该任务里调用合适的工具,并根据工具的要求传入需要的参数,要求参数传入格式准确
-只能从获得的doris库中的数据中做分析,不允许自己fake数据。
数据库信息:
- 表名:yz_complaint_detail
- 字段:complaint_time(投诉时间), detail(具体投诉内容)
- SQL 查询示例:SELECT detail FROM yz_complaint_detail WHERE complaint_time >= NOW() - INTERVAL 60 DAY;
"""
prompt = f"{question}\n{promptTemplate}"

# 运行Agent
try:
    result = agent.run(prompt)
    print("Final Result:")
    print(result)
except Exception as e:
    print(f"代理执行出错: {e}")
代码解析

代码经过精简,很多block没有进行过多地细化深入。主要是为了让大家能够快速熟悉Doris+DeepSeek V3体验AI舆情分析的完整流程,后续可以结合自己需求,按模块进行调整应用。

代码主流程如下:

1️⃣ 用户查询:用户向系统提问,例如请问近30天有关于一臻数据的投诉信息吗

2️⃣ 任务分析:LangChain Agent接收问题和提示模板prompt,将其发送给大语言模型(DeepSeek V3)分析。语言模型理解问题意图,确定需要查询近30天的投诉数据

3️⃣ Doris数据库查询:Agent决定需要查询数据库,调用dorisTool函数,生成对应SQL进行查询并返回查询结果

4️⃣ 投诉分析:Agent将Doris查询结果发送给DeepSeek进行分析,DeepSeek筛选出与"一臻数据"相关的投诉,生成分析报告,包括舆情分类、紧急程度等信息

5️⃣ 结果处理:系统根据分析结果分两种情况处理:

无投诉:DeepSeek生成一个表明没有发现相关投诉的回复

有投诉:Agent调用dingdingTool函数,函数将分析报告格式化为Markdown,通过钉钉webhook发送到指定群组,返回发送状态给Agent

其它说明

1. 钉钉告警配置

🔗 钉钉自定义机器人安全设置:https://open.dingtalk.com/document/robots/customize-robot-security-settings#title-7fs-kgs-36x

1️⃣ 创建一个至少3人行的钉钉群组

2️⃣ 创建一个机器人

3️⃣ 初始化机器人信息,并获取Webhook

2. 缺省参数补齐

1️⃣ 补齐dorisTool的连接信息

2️⃣ 补齐dingdingToolWebhook

3️⃣ 补齐LLMapi_keymodel,可以参考DorisAi前文获取

3. 测试表和数据

代码所使用的Doris表和测试数据如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
-- 测试表
CREATETABLE`yz_complaint_detail` ( 
`complaint_time` datetime NULLCOMMENT'投诉时间',
`detail`textNULLCOMMENT'具体投诉内容',
INDEX index_complaint_time (`complaint_time`) USING INVERTED ) 
ENGINE = OLAP DUPLICATEKEY(`complaint_time`) 
COMMENT'一臻数据投诉信息表'
DISTRIBUTEDBYHASH(`complaint_time`) BUCKETS 30
PROPERTIES ( 
"replication_allocation" = "tag.location.default: 1"
);

-- 测试数据
insertinto yz_complaint_detail values
('2025-03-11 15:30:30','一臻数据真垃圾,总是拖稿'),
('2025-03-10 13:30:30','一臻数据真不错'),
('2025-03-09 15:30:30','一臻数据真垃圾,严重拖稿'),
('2025-02-08 15:30:30','一臻数据服务很好'),
('2025-02-07 15:30:30','一臻数据不处理问题,客服被投诉!'),
('2025-02-06 15:30:30','一臻数据断更被暴利催更'),
('2025-02-05 15:30:30','投诉一臻数据,严重拖稿'),
('2025-03-00 18:30:30','一臻数据真好')
结果验证

配置好钉钉告警->补齐缺省参数->初始化完Doris相关表和测试数据后,直接Run,就会在钉钉收到对应的AI舆情分析通知:

结语

随着Doris和大模型技术的进步,未来的舆情分析系统将更加智能化。

我们可以期待这些趋势:

1️⃣ 多模态分析:不仅分析文字,还能识别图片、视频中的情绪和内容

2️⃣ 预测性分析:不只是被动应对,而是预测可能出现的舆情风险

3️⃣ 个性化回应:根据不同用户的特点,生成个性化的回应策略

舆情分析不再是简单的数据统计,而是企业和组织必备的社会雷达。Doris+DeepSeek的组合将成为这个领域的有力工具。

AI赋能舆情分析,让危机变成机遇。你的99行代码,可能就是阻挡舆情风暴的最后一道防线。

感兴趣的话,下期我们将深入探讨如何使用Doris+AI处理更复杂的多维数据分析场景,敬请期待!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-03-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 一臻数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
3分钟!教会你用Doris+DeepSeek搭建RAG知识库(喂饭级教程)
❝清晨,我泡上一杯98年的咖啡,打开电脑,收到一条来自Doris用户的消息: "请问有 将doris数据库数据作为deepseek大模型的知识库的方法吗" "好滴,安排!" 于是,和这位Doris用户聊了聊,发现这类需求随着DeepSeek的爆火被无限放大了,但也确实是一个‌引申的机遇与挑战。 也罢,今天就来一探究竟,一起学习学习如何基于Doris+DeepSeek打造你的专属AI助手!
一臻数据
2025/02/26
9350
3分钟!教会你用Doris+DeepSeek搭建RAG知识库(喂饭级教程)
用 AI 读懂网友的健康情绪:搭建你自己的舆情分析助手
公共健康话题在社交媒体上随时都有“爆点”,但靠人工去追踪这些动态实在太慢了。有没有可能用 AI 来帮我们盯着这些内容,自动分析情绪、提取话题,还能画趋势图看看“热”在哪儿?这篇文章就来带你一步步用 LangChain + OpenAI(或 DeepSeek)搭建一个“AI 舆情雷达”,快速识别微博、公众号等平台上的健康相关话题,感知情绪走向,还能自动可视化趋势变化。
网罗开发
2025/04/17
870
用 AI 读懂网友的健康情绪:搭建你自己的舆情分析助手
从零玩转系列之 MCP AI 理论+项目实战开发你的MCP Server
halo,我是不易, 继ChatGPT发布已经过去了快三年了, 随着 AI 人工智能的不断发展给我们开发人员甚至UI设计人员带来了巨大的变化.
杨不易呀
2025/05/11
1.2K18
从零玩转系列之 MCP AI 理论+项目实战开发你的MCP Server
借势AI系列:人工智能驱动的舆情分析与社交媒体监测【技术应用与实战示例】
随着社交媒体的广泛使用,舆情分析和社交媒体监测在企业、政府和媒体机构中变得至关重要。人工智能(AI)的进步为舆情分析提供了强大的技术支持,帮助分析和预测社交媒体平台上的趋势和情绪。本文将探讨如何使用AI技术实现有效的舆情分析,并提供相应的代码实例。
一键难忘
2024/11/01
1.9K1
全网最全Doris+DeepSeek使用手册(客服/图表/PPT/贺岁诗)!学会了Doris熟练度提高90%【建议收藏】
❝2025注定是不凡的一年。 DeepSeek火爆出圈出国,即使春节期间,各位海内外的博主们也在马不停蹄地猛更,流量被疯狂放大! 一臻刚耍完,正巧赶上个节尾,就有不少臻友私信问 "有没有Doris+DeepSeek的玩法?" "好滴,安排!" 吭呲吭呲马不停蹄地翻阅了大大小小的DeepSeek爆文,实测总结了一些Doris+DeepSeek的玩法思路,欢迎大家一起来探究竟!
一臻数据
2025/02/05
5981
全网最全Doris+DeepSeek使用手册(客服/图表/PPT/贺岁诗)!学会了Doris熟练度提高90%【建议收藏】
0代码!教会你用Doris+DeepSeek+Dify搭建ChatBI系统(附完整DSL)
Apache Doris作为一款基于 MPP 架构的高性能、实时分析型数据库,DeepSeek作为国产Top的大语言模型,Dify作为88K✨的AI应用开发平台,三者合力打造的ChatBI系统,让对话式BI变得触手可及。
一臻数据
2025/04/02
1.5K0
0代码!教会你用Doris+DeepSeek+Dify搭建ChatBI系统(附完整DSL)
Apache Doris × AI 的5个应用场景(附完整案例)
好比用自然语言就能直接查询Doris数据,并结合AI自动进行决策分析,RAG技术让企业知识库变得超级智能,ChatBI让人人都能成为数据分析师..."
一臻数据
2025/04/09
5680
Apache Doris × AI 的5个应用场景(附完整案例)
舆情大数据系统_大数据舆情分析工具有哪些
摘要: 前言 在时下互联网信息的浪潮下,信息的传播速度远超我们的想象。微博里一条大V的帖子,朋友圈的一个状态更新,热门论坛的一条新闻,购物平台的购物评价,可能会产生数以万计的转发,关注,点赞。如果是一些非理性负面的评论会激发人们的负面感,甚至影响到消费者对企业品牌的认同,如果不能及时的采取正确的应对措施,会造成难以估计的损失。
全栈程序员站长
2022/09/30
2.7K0
用Python搭建一个股票舆情分析系统
下面的这篇文章将手把手教大家搭建一个简单的股票舆情分析系统,其中将先通过金融界网站爬取指定股票在一段时间的新闻,然后通过百度情感分析接口,用于评估指定股票的正面和反面新闻的占比,以此确定该股票是处于利好还是利空的状态。
Python编程与实战
2021/04/29
2.9K0
用Python搭建一个股票舆情分析系统
一文读懂 MCP!大模型如何用它连接世界,打造更智能的 AI Agent?
最近,MCP[1](模型上下文协议,Model Context Protocol)在 AI 圈子里火了起来。然而,很多人对它的概念仍然感到困惑,包括我在最初接触时也是如此。
AgenticAI
2025/03/19
1.1K0
一文读懂 MCP!大模型如何用它连接世界,打造更智能的 AI Agent?
【python量化】用python搭建一个股票舆情分析系统
下面的这篇文章将手把手教大家搭建一个简单的股票舆情分析系统,其中将先通过金融界网站爬取指定股票在一段时间的新闻,然后通过百度情感分析接口,用于评估指定股票的正面和反面新闻的占比,以此确定该股票是处于利好还是利空的状态。
全栈程序员站长
2022/11/08
1.5K0
【python量化】用python搭建一个股票舆情分析系统
DeepSeek 入门指导手册——从入门到精通【3】
🌟 通过这些步骤,您可以高效地构建和管理自己的私人知识库,无论是法律判例、医疗手册还是产品知识,都能轻松整理和调用!
@派大星
2025/02/26
1630
DeepSeek 入门指导手册——从入门到精通【3】
Zabbix告警分析新革命:DeepSeek四大创新场景助力智能运维
【导读】⾯对⽇益复杂的IT环境,如何⾼效分析监控数据并快速响应已成为运维工作中的关键挑战。本文深入探讨了DeepSeek与Zabbix结合的创新性应用,包括一键式智能告警分析、Zabbix文档知识库助手功能以及钉钉告警增强功能。通过详尽的部署指南和实用脚本,展示了DeepSeek如何助力提升故障排查效率,为运维工程师与系统管理员提供高效解决方案。
Zabbix
2025/03/11
3440
Zabbix告警分析新革命:DeepSeek四大创新场景助力智能运维
Zabbix告警分析新纪元:本地DeepSeek大模型实现智能化告警分析
作者介绍 :张世宏,2016-2024 Zabbix中国峰会演讲嘉宾,Zbxtable研发者,社区专家
Zabbix
2025/02/27
4301
Zabbix告警分析新纪元:本地DeepSeek大模型实现智能化告警分析
朴素贝叶斯分类器详解及中文文本舆情分析(附代码实践)
作者 | 杨秀璋(笔名:Eastmount),贵州财经大学信息学院老师,硕士毕业于北京理工大学,主要研究方向是Web数据挖掘、知识图谱、Python数据分析、图像识别等。著有《Python网络数据爬取及分析从入门到精通》等书籍,五年来在CSDN原创近300篇文章、12个专栏。
AI科技大本营
2018/11/23
6.9K1
打起来了!MCP VS A2A,谁才是Agent的未来事实标准?
谷歌在MCP协议快速发展之际推出A2A协议,定位为智能体Agent间的协调协议。本文通过具体的案例介绍了MCP和A2A的细节,通过同一案例在MCP与A2A两种模式下的实现差异,认为A2A模式下的 Agent 能够通过与大模型深度交互,交付更具价值的功能特性,从而更有效地吸引开发者群体。此外,A2A架构赋予每个 Agent 自主选择底层大模型的权利,这一开放性设计也将进一步吸引大模型供应商参与生态构建。 与行业普遍认为两种协议具有互补性的共识不同,笔者认为MCP和A2A协同发展仍面临显著挑战。文中还列举了 K8s 与Docker 的历史协同案例作为类比,将技术演进的想象空间留给读者。 限于笔者水平,本文部分观点可能存在错误,恳请大家不吝赐教。
腾讯云开发者
2025/04/30
2500
打起来了!MCP VS A2A,谁才是Agent的未来事实标准?
23.5K star!零代码构建AI知识库,这个开源神器让问答系统开发像搭积木一样简单!
嗨,大家好,我是小华同学,关注我们获得“最新、最全、最优质”开源项目和高效工作学习方法
小华同学ai
2025/04/11
1930
23.5K star!零代码构建AI知识库,这个开源神器让问答系统开发像搭积木一样简单!
AI 写文章系列——Eino 介绍文档及 DeepSeek 示例
最近对 AI 的应用越来越多,甚至我学习的时候也会深度借助大模型,自己也写了一些 RAG 的代码辅助。我发现有些生成的文档还挺不错的,于是我就决定把这些还行的文档发出来,需要的朋友们也可以参考。
amc
2025/03/21
3710
【腾讯云】AI驱动的数据库TDSQL-C如何是从0到1体验电商可视化分析小助手得统计功能,一句话就能输出
AI 技术的应用极大地提升了运营效率,并为电商行业带来了个性化推荐、用户行为分析、库存管理和市场趋势预测等关键领域的数据分析能力,在这种背景下,构建一个高效、可靠的AI电商数据分析系统显得尤为关键。
用户4294299
2024/09/13
1410
DeepSeek会说话了!只要2行代码,这家公司让任意大模型秒开口
就在最近,生成式AI行业,诞生了一个新赛道——所有文本模型,可以立刻秒变多模态了!
新智元
2025/02/26
1860
DeepSeek会说话了!只要2行代码,这家公司让任意大模型秒开口
推荐阅读
3分钟!教会你用Doris+DeepSeek搭建RAG知识库(喂饭级教程)
9350
用 AI 读懂网友的健康情绪:搭建你自己的舆情分析助手
870
从零玩转系列之 MCP AI 理论+项目实战开发你的MCP Server
1.2K18
借势AI系列:人工智能驱动的舆情分析与社交媒体监测【技术应用与实战示例】
1.9K1
全网最全Doris+DeepSeek使用手册(客服/图表/PPT/贺岁诗)!学会了Doris熟练度提高90%【建议收藏】
5981
0代码!教会你用Doris+DeepSeek+Dify搭建ChatBI系统(附完整DSL)
1.5K0
Apache Doris × AI 的5个应用场景(附完整案例)
5680
舆情大数据系统_大数据舆情分析工具有哪些
2.7K0
用Python搭建一个股票舆情分析系统
2.9K0
一文读懂 MCP!大模型如何用它连接世界,打造更智能的 AI Agent?
1.1K0
【python量化】用python搭建一个股票舆情分析系统
1.5K0
DeepSeek 入门指导手册——从入门到精通【3】
1630
Zabbix告警分析新革命:DeepSeek四大创新场景助力智能运维
3440
Zabbix告警分析新纪元:本地DeepSeek大模型实现智能化告警分析
4301
朴素贝叶斯分类器详解及中文文本舆情分析(附代码实践)
6.9K1
打起来了!MCP VS A2A,谁才是Agent的未来事实标准?
2500
23.5K star!零代码构建AI知识库,这个开源神器让问答系统开发像搭积木一样简单!
1930
AI 写文章系列——Eino 介绍文档及 DeepSeek 示例
3710
【腾讯云】AI驱动的数据库TDSQL-C如何是从0到1体验电商可视化分析小助手得统计功能,一句话就能输出
1410
DeepSeek会说话了!只要2行代码,这家公司让任意大模型秒开口
1860
相关推荐
3分钟!教会你用Doris+DeepSeek搭建RAG知识库(喂饭级教程)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验