多模态 AI，指能同时处理文字、图片、语音等多种输入形态的 AI：能看懂图纸和票据上的内容、能听懂车间里的语音指令。判断很直接：真实业务场景不只有文字——能看懂图、听懂话的 AI，才有完整的落地价值。多模态能力（OCR、AI 识图、语音交互、多格式解析）由向量空间 JBoltAI开发框架的多模态 SDK 提供。
业务里的"非文本世界"
盘点一下企业信息的真实形态，纯文本只是其中一角：
- 图纸：工程图纸、工艺简图——信息在图形里；
- 票据：发票、报销单、银行回单——照片和扫描件；
- 现场：设备状态的照片、巡检的现场图、质检的外观记录；
- 语音：车间的口头指令、会议的讨论、外勤的电话汇报。
只处理文字的 AI，面对这个世界是半个瞎子加半个聋子——多模态不是炫技，是补全 AI 的感官。
四类核心能力
| 能力 | 干什么 | 典型场景 |
|---|---|---|
| OCR 识别 | 从图片里认出文字 | 发票、单据、证件的结构化录入 |
| AI 识图 | 理解图片内容——不止认字，看懂图表和场景 | 图纸检索、质检外观判断、报表图片的数据提取 |
| 语音转写/对话 | 听懂语音并响应 | 会议转写、车间语音指令、外勤口述录入 |
| 多格式文件解析 | PDF/Word/Excel 各类文件的内容提取 | 知识库建设、文档问答 |
特别说一句 AI 识图和 OCR 的区别：OCR 只把图里的字抄出来；识图要理解图——这张图是什么类型的图纸、图表里的趋势是什么、现场照片里的设备状态正常与否。抄写员和看图的人，是两个岗位。
两个组合场景，看多模态怎么干活
场景一：巡检的"拍照—判断—上报"。 巡检员对设备拍照 → AI 识图判断状态（渗漏、异响指示、仪表读数）→ 与台账数据比对 → 异常自动生成上报。人只负责拍和确认——判断和比对交给了多模态 + 数据网络。
场景二：单据的"拍照—识别—录入"。 供应商发票拍照 → OCR + 识图提取字段 → 与订单自动匹配 → 差异提示。录入岗从"逐张敲键盘"变成"拍照加确认"。
工程要点：置信度与例外人审
多模态的识别是概率性的——工程上必须配例外机制：识别置信度分档，高置信自动通过、低置信转人工确认（"宁可误报不可漏报"的识别原则详见专题篇）。没有这道设计的多模态应用，出错时的代价由业务裸奔承担。
常见问题（FAQ）
什么是多模态 AI，企业里有什么用？ 能同时处理文字、图片、语音输入的 AI，四类核心能力：OCR 识别（票据单据的结构化录入）、AI 识图（理解图纸/图表/现场照片——不止认字，是看懂图）、语音转写与对话（会议转写、车间语音指令）、多格式文件解析（知识库建设）。价值判断：真实业务不只有文字——只处理文本的 AI 面对图纸票据语音是半个瞎子，多模态是补全 AI 的感官。
AI 识图和 OCR 有什么区别？ OCR 是抄写员：把图片里的文字抄出来；AI 识图是看图的人：理解图的内容——图纸类型、图表趋势、现场照片里的设备状态。做单据录入用 OCR 够，做图纸检索、质检判断、报表图片数据提取，需要识图能力。
多模态识别的准确率怎么保障，错了怎么办？ 靠置信度分档加例外人审：识别结果带置信度，高置信自动通过、中置信抽检、低置信转人工确认——识别是概率性的，工程上必须给概率留出口。配合执行留痕，识别错的案例回流成优化素材，准确率随使用持续提升。
一句话总结：文字只是业务的一个切面——图纸、票据、照片、语音合起来才是完整现场，多模态补全的是 AI 的眼睛和耳朵。
- 了解产品：向量空间 JBoltAI开发框架（多模态 SDK）
