多模态大模型通过外接数据方案实现电力智能巡检（附代码）

原创 已于 2024-05-29 15:30:12 修改 · 2.9k 阅读 · 31 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#人工智能 #python #大模型
于 2024-05-09 17:27:16 首次发布
该文章已生成可运行项目，

大模型相关目录

大模型，包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步，扬帆起航。

  1. 大模型应用向开发路径：AI代理工作流
  2. 大模型应用开发实用开源项目汇总
  3. 大模型问答项目问答性能评估方法
  4. 大模型数据侧总结
  5. 大模型token等基本概念及参数和内存的关系
  6. 大模型应用开发-华为大模型生态规划
  7. 从零开始的LLaMA-Factory的指令增量微调
  8. 基于实体抽取-SMC-语义向量的大模型能力评估通用算法（附代码）
  9. 基于Langchain-chatchat的向量库构建及检索（附代码）
  10. 一文教你成为合格的Prompt工程师
  11. 最简明的大模型agent教程
  12. 批量使用API调用langchain-chatchat知识库能力
  13. langchin-chatchat部分开发笔记（持续更新）
  14. 文心一言、讯飞星火、GPT、通义千问等线上API调用示例
  15. 大模型RAG性能提升路径
  16. langchain的基本使用
  17. 结合基础模型的大模型多源信息应用开发
  18. COT：大模型的强化利器
  19. 多角色大模型问答性能提升策略（附代码）
  20. 大模型接入外部在线信息提升应用性能
  21. 从零开始的Dify大模型应用开发指南
  22. 基于dify开发的多模态大模型应用（附代码）
  23. 基于零一万物多模态大模型通过外接数据方案优化图像文字抽取系统
  24. 快速接入stable diffusion的文生图能力
  25. 多模态大模型通过外接数据方案实现电力智能巡检（设计方案）

文章目录

需求介绍

传统电网智能巡检锚定摄像机点位，将一系列点位组成巡检业务，通过yolo对一系列点位上传来的系列图像进行目标检测，发现预训练所设定的label后计为异常，最后返回巡检报告，报告内容包括点位总体异常占比、异常类型分布、异常置信度等等。
易知，该模式下，巡检颗粒度止步异常类型，其只起到异常检测的作用，对更详细的异常处理方案、该异常点位负责人、该异常点位相关信息等等信息未能更好利用。【事实上该问题我已在https://blog.csdn.net/qq_43128256/article/details/137204652一文中提出了解决方案】
此外，该模式下，其异常评估标准单一，识别模式较弱。例如，对于工装检查，传统yolo模式检测下，往往简单地将长袖归为正常，将短袖、卷袖一律视为不正常，这与实际判别逻辑存在一定距离。这是由于yolo小模型目标检测上能力的局限带来的。

解决方案

多模态大模型的相关能力和应用开发可参考我的系列文章：

https://blog.csdn.net/qq_43128256/article/details/138163078
https://blog.csdn.net/qq_43128256/article/details/138337768
https://blog.csdn.net/qq_43128256/article/details/138574623

本文想说的是，多模态大模型完全具备很强的图像理解能力，且完全可通过agent组多步利用其语义理解和逻辑推理能力，结合外接信息，对图像进行综合分析，实现 更高颗粒度下的异常巡检，以更贴合实际逻辑的标准进行识别。

简而言之多模态大模型通过外接数据方案实现电力智能巡检，是 结合多源信息的多模态大模型应用开发。设计思路如下，在巡检过程中，不单单只应用到图像数据。
在这里插入图片描述
巡检结果，具体如下图所示：
在这里插入图片描述
多模态大模型

  1. 可利用文本对齐能力，对图像进行描述
  2. 可通过检测要求（利用prompt进行规范），对图片重点部分进行检测
  3. 可结合外部信息（脚本加载，嵌入query），与检测结果综合分析
  4. 最终给出隐患描述、隐患级别、整改措施等结论

其实现可参考往期代码，利用dify开发比较简单。

多模态大模型在线试用

https://huggingface.co/spaces/HuggingFaceM4/idefics2_playground

实例代码

import pandas as pd
import numpy as np
from datetime import datetime
import sqlite3
import openai
from openai import OpenAI

API_BASE = "https://api.lingyiwanwu.com/v1"
API_KEY = ""

client = OpenAI(
    # defaults to os.environ.get("OPENAI_API_KEY")
    api_key=API_KEY,
    base_url=API_BASE
)

def get_dcandlc(input_data:str):
    camera_node = input_data
    # 连接到SQLite数据库（如果不存在，它将被创建）  
    conn = sqlite3.connect('db.sqlite3')  
    # 创建一个Cursor对象  
    cursor = conn.cursor()  
    # 查询并读取数据  
    cursor.execute("SELECT * FROM camera_node_table WHERE camera_code = {input_data_1}".format(input_data_1 = '"'+camera_node+'"'))  
    rows = cursor.fetchall()  
    # 关闭数据库连接  
    conn.close()
    # 打印查询结果 
    if len(rows) == 1:
        return rows[0][1],rows[0][2]
    else:
        print('Error : Data Select Error!')
        return None,None
    
def get_device_info(input_data:str):
    device_node = input_data
    # 连接到SQLite数据库（如果不存在，它将被创建）  
    conn = sqlite3.connect('db.sqlite3')  
    # 创建一个Cursor对象  
    cursor = conn.cursor()  
    # 查询并读取数据  
    cursor.execute("SELECT * FROM device_info_table WHERE device_code = {input_data_1}".format(input_data_1 = '"'+device_node+'"'))  
    rows = cursor.fetchall()  
    # 关闭数据库连接  
    conn.close()
    # 打印查询结果 
    if len(rows) == 1:
        if rows[0][5] == 1:
            return rows[0][0],rows[0][1],rows[0][3],rows[0][4]
        else:
            print('Error : Device Can Not Use!')
            return None,None,None,None
    else:
        print('Error : Data Select Error!')
        return None,None,None,None
    
def get_worker_info(input_data:str):
    worker_name = input_data
    # 连接到SQLite数据库（如果不存在，它将被创建）  
    conn = sqlite3.connect('db.sqlite3')  
    # 创建一个Cursor对象  
    cursor = conn.cursor()  
    # 查询并读取数据  
    cursor.execute("SELECT * FROM worker_info_table WHERE name = {input_data_1}".format(input_data_1 = '"'+worker_name+'"'))  
    rows = cursor.fetchall()  
    # 关闭数据库连接  
    conn.close()
    # 打印查询结果 
    if len(rows) == 1:
        return rows[0][1]
    else:
        print('Error : Data Select Error!')
        return None

def get_time_distance(date_time_str1,date_time_str2):
    # 将字符串转换为datetime对象  
    dt1 = datetime.strptime(date_time_str1, '%Y-%m-%d %H:%M:%S')  
    dt2 = datetime.strptime(date_time_str2, '%Y-%m-%d %H:%M:%S')  

    # 计算时间差  
    time_difference = dt1 - dt2
    # 如果你想要更详细的时间差（包括天、小时、分钟和秒）  
    return f"时间差为：{time_difference.days} 天, {time_difference.seconds // 3600} 小时, {time_difference.seconds // 60 % 60} 分钟, {time_difference.seconds % 60} 秒"

sbbz = {
    '变压器':'检测变电器设备是否存在渗油、漏油情况',
    '呼吸器':'检查呼吸器是否存在缺失、损坏情况；检查硅胶是否存在变色情况；检查油封是否存在油标无显示、油位超过上/下限、污浊情况'
}

sbms = {
    '变压器':'图像中的白色主题设备为变电器，需检查机器本身及其周边的渗漏油情况',
    '呼吸器':'图像中圆柱状物体为呼吸器，共分为上下两部分上部分。上部分为玻璃柱形容器，内含蓝色颗粒状硅胶，硅胶不为蓝色即视为变色；下部分为油封，标有刻度，装有油类物质。'
}


# pictures_path = r'C:\Users\12258\Desktop\图像理解_demo'
camera_node_ls = {'57a0f5b9':"https://01-platform-public.oss-cn-beijing.aliyuncs.com/playground/image/25059aba-83f2-4005-b919-7a65e7ecb99e-57a0f5b9.jpg",
                  '83c6b7c1':"https://01-platform-public.oss-cn-beijing.aliyuncs.com/playground/image/a471104a-4f78-4654-9877-2928e9c7eca2-83c6b7c1.jpg"}
# test = pictures_path+'\\'+ camera_node_ls[0] + '.jpg'

camera_node_list = list(camera_node_ls.keys())
print('本次巡检任务点位',camera_node_list)
for camera_node in camera_node_list:
    print('当前点位：',camera_node)
    
    result = {
        '巡检目标' : '',
        '巡检地点' : '',
        '巡检时间' : '',
        '设备负责人' : '',
        '负责人联系方式' : '',
        '据设备上次维护时间' : '',
        '检测结果' : ''
    }
    mid_dc,mid_lc = get_dcandlc(camera_node)
    mid_dn,mid_dt,mid_person,mid_time = get_device_info(mid_dc)
    print(mid_dc,mid_lc,mid_dn,mid_dt,mid_person,mid_time)
    
    # 获取当前时间  
    now_formatted_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')

    # 获取时间差
    time_distance = get_time_distance(now_formatted_time,mid_time)

    # 获取负责人电话
    mid_tele = get_worker_info(mid_person)
    
    biaozhun = sbbz[mid_dt]
    miaoshu = sbms[mid_dt]
    prompt = '''请对图像进行设备情况检查，描述该设备存在隐患。
    该设备类型为：【{input_0}】。注意，{input_1}
    具体检测依据：【{input_2}】
    '''.format(input_0 = mid_dt,input_1 = miaoshu,input_2 = biaozhun)


    completion = client.chat.completions.create(
        model="yi-vl-plus",
        messages= [
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": camera_node_ls[camera_node]
                        }
                    },
                    {
                        "type": "text",
                        "text": prompt
                    }
                ]
            }
        ]
    )
    
    conclusion = str(completion.choices[0].message.content)
    
    try:
        result['巡检目标'] = mid_dn
        result['巡检地点'] = mid_lc
        result['巡检时间'] = now_formatted_time
        result['设备负责人'] = mid_person
        result['负责人联系方式'] = mid_tele
        result['据设备上次维护时间'] = time_distance
        result['检测结果'] = conclusion
        
        print(result)
    except:
        print('Error:Device Detect Error!')

输入图像

在这里插入图片描述

在这里插入图片描述

数据库信息

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

输出

本次巡检任务点位 ['57a0f5b9', '83c6b7c1']
当前点位： 57a0f5b9
yt_fs_bd_1 山东省烟台市福山区国网福山供电公司变电站二区 变压器SFPZ9-120000/110 变压器 张测 2024-04-11 14:47:12
{'巡检目标': '变压器SFPZ9-120000/110', '巡检地点': '山东省烟台市福山区国网福山供电公司变电站二区', '巡检时间': '2024-05-13 17:16:08', '设备负责人': '张测', '负责人联系方式': 15075461234, '据设备上次维护时间': '时间差为：32 天, 2 小时, 28 分钟, 56 秒', '检测结果': '经观察，图片中的变压器外壳上存在明显的油渍和渗透迹象，这表明变压器存在渗漏油的问题。油渍主要集中在变压器的下部区域，特别是靠近底部接线盒的位置。此外，变压器周围的油迹也表明油液可能已经渗入到变压器内部，这可能会导致绝缘性能下降，甚至引起火灾等安全隐患。根据变压器运行维护规程，变压器渗漏油是必须引起高度重视和立即处理的问题。'}
当前点位： 83c6b7c1
yt_fs_bd_2 山东省烟台市福山区国网福山供电公司变电站二区 呼吸器0.2KG 呼吸器 张测 2024-04-11 14:47:12
{'巡检目标': '呼吸器0.2KG', '巡检地点': '山东省烟台市福山区国网福山供电公司变电站二区', '巡检时间': '2024-05-13 17:16:15', '设备负责人': '张测', '负责人联系方式': 15075461234, '据设备上次维护时间': '时间差为：32 天, 2 小时, 29 分钟, 3 秒', '检测结果': '根据描述和图片，该呼吸器存在以下几个隐患：\n\n1. 硅胶变色情况：硅胶在正常工作状态应保持蓝色，如图中显示硅胶颜色已经变为棕色，这表明硅胶可能已经失效或污染。这可能导致呼吸器过滤性能下降，影响呼吸器正常的使用。\n\n2. 油封油位情况：油封上标有油位刻度，但图像中无法清晰看到油位是否符合要求。检查油位时，需要确认油位是否位于刻度的上限和下限之间。\n\n3. 油封的清洁程度：油封是否清洁也是影响呼吸器性能的重要因素。油封如果过于污浊，可能会影响过滤效果。\n\n4. 呼吸器整体是否完整：在检查中，还需要确认呼吸器主体结构是否完整，是否有破损或丢失部件。\n\n综上所述，根据检查标准，该呼吸器存在硅胶变色和油封可能存在的油位不合适、油封污浊等问题，需要进行维护或更换部件以保证其正常使用。'}
本文章已经生成可运行项目
电力央企数智化转型中的大模型构建及智能巡检机器人的应用
Chaoweijiqiren的博客
10-08 1719
以创新链、产业链、资金链、人才链“4链融合”建立长效机制，以“1个运营体系”为支撑，以“1个安全体系”为保障，计划到2025年重点打造出50个“AI+电力”示范场景，2026年生产AI巡视替代率不低于90%，人工智能融入公司生产、经营和管理各环节。全球能源结构的调整、可再生能源比例的提升，迫使电力央企需要更高效、更智能的管理方式，以应对市场需求的波动和环保政策的压力。在全球经济数字化转型的大背景下，电力行业面临着多重挑战，包括能源结构的转型、市场竞争的加剧以及环境保护的压力。数据是数智化转型的核心资源。
巡检机器人与机器视觉的融合：巡检运维的未来趋势
Chaoweijiqiren的博客
02-19 3608
因此，未来的研究应该集中于进一步提高机器视觉技术的精度和稳定性，降低智能巡检机器人的成本和能耗，加速其在工业、医疗、军事等领域的广泛应用。随着技术和市场的不断成熟，智能巡检机器人的机器视觉技术将发挥越来越重要的作用，为各个行业带来更多的创新和发展机会。随着摄像头、传感器和计算设备等硬件技术的不断改进和降低成本，智能巡检机器人的机器视觉系统越来越小巧、轻便、灵活，并且具备更高的性能和可靠性。基于OpenCV的HSV色彩空间，通过专业的工业相机，支持红、黄、蓝、橙、绿、紫、白共计七种颜色识别和告警。
大模型赋能的 zCloud 数据库巡检报告分析，让发现的问题不再是问题
weixin_54551388的博客
03-11 543
最新版本的多元数据库智能管理平台 zCloud 将集成 DeepSeek 大模型这件事想必大家都已经知道了。最近我在“疯狂”试用该新版本，不得不说，AI加持下的 zCloud 新特性让我这个算是比较资深的DBA眼里发光。DBA的日常工作里，数据库巡检报告的处理占据了我们不少时间和精力，而 zCloud 利用大模型对巡检报告进行智能分析的新特性可谓一缕福音，大幅提升了DBA对巡检报告的处理效率，解决...
浙大团队提出PowerGPT：面向电力巡检的多模态基础模型，构建20万张图像数据集与专用评估基准
最新发布
SUNNY_SHUN的博客
03-30 1010
浙江大学团队提出PowerGPT，一个面向电力巡检的多模态基础模型，通过统一架构解决传统任务碎片化问题。研究构建了包含20万图像、80万指令对的PSID数据集和覆盖70个场景的PowerBENCH评估基准。PowerGPT融合自适应视觉提示和知识检索增强技术，在5项任务中全面领先通用模型，其中GroundedCaption得分达9.6（LLaVA仅5.0）。消融实验显示，仅领域数据微调就带来平均13.82分的性能提升，验证了专业数据的核心价值。该工作为电力巡检提供了从数据、评估到模型的完整技术方案。
AI助力电力行业：DeepSeek大模型与国家电网的智能融合案例！
2401_84495872的博客
03-10 6447
国家电网选择DeepSeek，绝非简单“技术采购”，而是一场。
电力巡检机器人搭载大模型：边缘端TensorRT实战
weixin_36122351的博客
12-26 623
电力巡检机器人通过TensorRT在Jetson等边缘设备上实现高效推理，融合层优化、FP16/INT8量化与内核调优，将延迟压至50毫秒内，功耗降低40%，支持断网本地智能分析。结合全天候校准与轻量化设计，保障复杂场景下的稳定响应。
智能巡检机器人的大模型训练
Chaoweijiqiren的博客
10-21 1977
在电力、石油化工、煤矿、数据中心等行业中，智能巡检机器人通过自主巡检、故障检测等功能，提高了设备管理的效率和安全性。大模型通过丰富的数据输入和强大的计算能力，使得机器人能够实时分析数据、识别异常情况，并进行自主决策。通过实时数据共享和反馈，机器人能够支持人类做出更为准确的决策，同时人类的经验也能帮助机器人更好地理解复杂的环境和任务。大模型的成功训练将推动跨领域的应用，提升整个行业的智能化水平。3）图像与视频数据：通过摄像头和无人机获取的图像和视频，能够提供设备的外观和状态信息，用于识别表面缺陷和异常现象。
基于红外可见光融合可视化的电力智能巡检管理模式研究
星空外
10-13 1269
【摘要】随着智能电网发展，传统人工巡检模式已难以满足现代变电站高精度运维需求。本文综述了基于红外与可见光图像融合的电力智能巡检研究进展，系统分析了多模态感知、图像配准与融合算法、智能诊断机制等关键技术。研究表明，深度学习驱动的融合技术显著提升了故障检测精度，三维可视化平台实现了"感知-诊断-决策"闭环管理。然而，当前仍面临数据标注成本高、设备接口不统一等挑战。未来需发展弱监督学习、制定行业标准，推动该技术向规模化商用迈进，为构建新型电力系统提供支撑。
增强现实与 5G 通信结合的智能巡检系统在电力设备维护中的实时指导与数据采集
2501_92430902的博客
06-15 2112
主要技术瓶颈包括：AR图像传输时延波动（实测5-15ms）、多设备协同识别冲突（误识别率3.2%）、复杂环境下的AR定位漂移（定位误差＞5cm）。针对时延问题，采用动态QoS（服务质量）管理，为AR流量分配5G网络最高优先级（Wang等人，2021，《IEEE Communications Magazine》）。多模态传感器网络构成数据采集基础，包括：红外热成像仪（分辨率≤0.1℃）、振动传感器（频率范围5-2000Hz）、声纹识别装置（识别精度≥95%）和图像识别摄像头（支持200+种设备型号识别）。
电力设备智能巡检、变电站自动化运维、多模态目标检测研究 电力设备图像变电站设备检测数据集 红外可见光多模态图像变电站设备检测数据集
2401_88440984的博客
12-15 1308
电力设备智能巡检、变电站自动化运维、多模态目标检测研究 电力设备图像变电站设备检测数据集 红外可见光多模态图像变电站设备检测数据集
【电力智能巡检Agent构建指南】：从0到1打造高精度图像识别系统
LiteTrans的博客
12-18 1100
掌握电力巡检Agent的图像识别技术，实现输电线路缺陷智能检测。适用于杆塔、绝缘子等场景，基于深度学习模型提升识别精度与效率，降低人工成本。从数据标注到模型部署全流程解析，值得收藏。
GLM-4.7-Flash多场景落地：电力巡检报告生成+缺陷描述标准化
weixin_32251525的博客
03-21 641
本文介绍了如何在星图GPU平台自动化部署GLM-4.7-Flash镜像，实现电力巡检报告的智能生成与缺陷描述标准化。该方案能快速将现场巡检数据转化为专业、规范的报告，提升电力设备巡检的效率和准确性，适用于输电线路、变电设备等多场景应用。
揭秘输电线路异常识别黑科技：电力巡检Agent的3种关键模型架构
LogicWander的博客
12-18 1212
揭秘电力巡检Agent的图像识别如何高效识别输电线路异常，涵盖无人机巡检等场景，解析3种关键模型架构，提升检测精度与效率。实现自动化缺陷识别，降低运维成本，值得收藏。
MiniCPM-V-2_6电力巡检图识别：设备异常状态+维修优先级评估
weixin_42584507的博客
03-19 25
本文介绍了如何在星图GPU平台自动化部署MiniCPM-V-2_6镜像，实现电力设备智能巡检。该方案能自动识别设备异常状态（如裂纹、腐蚀），并评估维修优先级，大幅提升电网运维效率与安全性。
大模型VS小模型：论国产数据库运维AI Agent的正确打开方式
2501_92049521的博客
06-20 479
基于小模型实现三种运维AI Agent
Qwen3-VL-30B在电力巡检图像分析中的适用性验证
weixin_42591413的博客
12-01 669
本文探讨了Qwen3-VL-30B在电力巡检图像分析中的应用，重点验证其在微小缺陷识别、时序变化检测、可解释性诊断和行业知识融合方面的能力。通过架构解析与实战代码，展示其从‘看得见’到‘看得懂’的认知跃迁，并提出云边协同部署方案及实际应用注意事项。
电网开始猛扑大模型！大模型挺进核心业务
2401_84495872的博客
11-03 6585
央国企落地大模型，正在进入新阶段。24年9月的一场大会上，一位资深行业人士告诉数智前线，大模型的落地，已经不局限于某行某业，而是各行各业全面开花，在各企业内部的落地深度和广度，也都往前又走了一大步。一些领先的央国企已经率先完成大模型初步落地试点，开始逐步向更核心的场景迈进。”百度副总裁谢广军告诉数智前线。今年下半年，大模型落地再度向前迈进，。单月中标项目也已进入上百个阶段。大模型正加速在各行各业全面开花。其中，尤以能源、金融、教育、互联网等行业极为活跃。1.国网湖南电科院：配网视觉大模型。
泰迪杯特等奖案例深度解析：基于多模态点云融合与域自适应的电力设备缺陷检测系统设计
qq_63961628的博客
05-28 944
本文提出了一种多模态融合的电力设备缺陷检测方法，针对传统检测面临的数据同步、小样本学习和边缘计算三大挑战。通过PTPv2协议实现激光点云与红外热成像的硬件级同步，采用动态图卷积网络(DGCNN)和跨模态注意力机制处理异构数据，结合Focal Loss和MMD域对齐损失解决样本不均衡问题。在Jetson AGX Orin边缘设备上，通过TensorRT优化实现30ms内完成推理，模型精度(mAP)提升至92%以上，跨设备泛化性能提升67%。工程部署采用MQTT分布式架构，支持联邦学习实现模型持续优化。
助力风力发电风机设备智能化巡检，基于YOLOv7全系列【tiny/l/x】参数模型开发构建无人机巡检场景下风机叶片缺陷问题智能化检测预警模型
Together_CZ的博客
11-04 1204
助力风力发电风机设备智能化巡检，基于YOLOv7全系列【tiny/l/x】参数模型开发构建无人机巡检场景下风机叶片缺陷问题智能化检测预警模型
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

德讯软件（欢迎合作）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值