公司新闻
百度智能云开源视觉理解模型 Qianfan-VL,基于自研昆仑芯 P800 芯片计算
【导语】9月22日,百度智能云千帆正式推出并全面开源全新视觉理解模型Qianfan-VL,含3B、8B、70B三个版本,针对企业级多模态场景深度优化,具备多尺寸适配、思考推理及OCR与文档理解等强大能力,在多项基准测试中表现优异,将助力AI技术在各行业落地。
9月 22 日消息,百度智能云千帆正式推出全新视觉理解模型 ——Qianfan-VL,并全面开源。该系列包含 3B、8B 和 70B 三个尺寸版本,是面向企业级多模态应用场景,进行了深度优化的视觉理解大模型。官方称,Qianfan-VL 不仅具备出色的基础通用能力,还针对产业落地中的高频需求(qiú),如(rú) OCR 和(hé)教(jiào)育(yù)垂(chuí)直(zhí)场(chǎng)景(jǐng)做(zuò)了(le)专(zhuān)项(xiàng)强(qiáng)化(huà),使(shǐ)其(qí)在(zài)实(shí)际(jì)应(yīng)用(yòng)中(zhōng)表(biǎo)现(xiàn)更(gèng)加(jiā)卓(zhuō)越(yuè)。
Qianfan-VL 现(xiàn)已(yǐ)开(kāi)源(yuán),即(jí)日(rì)起(qǐ)至(zhì) 10 月(yuè) 10 日(rì),企(qǐ)业(yè)用(yòng)户(hù)和(hé)开(kāi)发(fā)者(zhě)可(kě)在(zài)百(bǎi)度(dù)智(zhì)能(néng)云(yún)千(qiān)帆(fān)平(píng)台(tái)免(miǎn)费(fèi)体验 8B、70B 模型。
附模型官方介绍如下:
Qianfan-VL 系列模型是由百度智能云千帆模型研发团队,基于开源模型进行开发,并在百度自研昆仑芯 P800 上完成全流程计算任务。昆仑芯 P800 提供了强大的算力支撑,确保模型能够高效处理海量数据与复杂算法,同时支持单任务 5000 卡规模的并行计算。这一结合不仅优化了模型计算的效率,更使得模型在性能表现上达到了新的高度,在通用和(hé)垂(chuí)类(lèi)任(rèn)务(wu)评(píng)测(cè)中(zhōng)展(zhǎn)现(xiàn)出(chū) SOTA 水(shuǐ)平(píng)。Qianfan-VL 模(mó)型(xíng)具(jù)备(bèi)三(sān)大(dà)特(tè)点(diǎn):
● 多(duō)尺(chǐ)寸(cùn)模(mó)型(xíng)满(mǎn)足(zú)不(bù)同(tóng)场(chǎng)景(jǐng)需(xū)求(qiú):提(tí)供(gōng) 3B、8B、70B 三(sān)种(zhǒng)规(guī)格(gé)的(de)模型,让不同规模的企业和开发者都能找到合适的解决方案。
● 提供思考推理能力:8B 和 70B 模型支持通过特殊 token 激活思维链能力,覆盖复杂图表理解、视觉推理、数学解题等多种场景。
● OCR 与文档理解能力增强:主打 OCR 全场景识别和复杂版面文档理解两大特色能力,在多项基准测试中表现优异,为企业级应用提供高精度的视觉理解解决方案。
模型性能与效果
>> 通用能力基准测试表现
在通用能力基准测试中,Qianfan-VL 系列模型(3B、8B、70B)展现出显著核心优势。从视觉理解到专业领域问答,模型性能随参数规模增大提升显著,体现出很好的 Scaling 趋势。在 ScienceQA 等专业问答测试中,精准度表现突出;多模态任务如 RefCOCO 等,物体识别与关联能力优异;同时,在(zài)各(gè)类(lèi)通(tōng)用基准测试里,相较主流模型,整体表现也颇为亮眼,充分彰显出在视觉理解通用能力上的出色实力,为不同场景下的智能应用提供了有力支撑。
>>OCR 与文档理解基准测试表现
Qianfan-VL 系列模型(3B、8B、70B)在 OCR 与文档理解领域尽显卓越实力。一方面,具备 OCR 全场景识别能力,能精准识别手写体、数学公式、自然场景文字,还可对卡证票据信息进行结构化提取;另一方面,复杂版面文档理解能力突出,可自动分析版面元素,精准解析表格、图表,实现文档智能问答与结构化解析。从基准测试表现看,在 OCRBench、各类专业测试中,相较于主流模型,成绩优异且随参数规模提升持续向好,为企业级应用提供了高精度的视觉理解解决方案,有力推动文档智能处理场景的高效落地。
>> 数学解题基准测试表现
Qianfan-VL 系列的 8B 和 70B 模型,在思考推理能力方面表现卓越。它们支持通过特殊 token 激活思维链能力,能覆盖复杂图表理解、视觉推理、数学解题等多类场景。这类任务需结合视觉信息与外部知识进行组合推理,而模型通过融合大量视觉类、文本类推理数据并用于后训练,从 benchmark 表现来看,推理计算相关任务效果显著提升。
在核心推理应用场景上,复杂图表理解与推理方面,可从复杂图表提取关键信息,进行数据分析、趋势预测、关联推理及统计计算;数学解题与视觉推理领域,能实现几何推理、公式识别、分步求解与逻辑推断。从数学解题基准测试表现看,在 MathVista-mini、MathVision 等多项测试中,相较于主流模型,成绩优异且随参数规模提升持续向好,为复杂推理场景下的应用提供了强力支持。
模型架构设计与技术特色
Qianfan-VL 通过先进的多模态架构设计,凭借持续预训练和三大技术创新,实现了领域增强的通用视觉-语言能力。
● 能力增强训练方案:创新的四阶段训练策略,在保持通用能力基础上实现领域能力显著提升。
● 高精度数据合成管线:构建面向多模态任务的大规模数据合成管线,涵盖文档识别、数学解题、图表理解、表格识别、公式识别、自然场景 OCR 等核心任务,通过精细化的管线设计和中间过程数据构造,实现高质量训练数据的规模化生产。
● 昆(kūn)仑(lún)芯(xīn)驱(qū)动(dòng)大(dà)模(mó)型(xíng)高(gāo)效(xiào)计(jì)算(suàn):基(jī)于(yú)百(bǎi)度(dù)自(zì)研(yán)昆(kūn)仑(lún)芯(xīn) P800 芯(xīn)片(piàn),构(gòu)建(jiàn)了(le)业(yè)界(jiè)领(lǐng)先(xiān)的(de)超(chāo)大(dà)规(guī)模(mó)(5000 卡(kǎ))分(fēn)布(bù)式(shì)计(jì)算(suàn)系(xì)统(tǒng),通(tōng)过(guò)创(chuàng)新(xīn)的并行策略和算(suàn)子(zi)优(yōu)化(huà),显(xiǎn)著(zhe)提(tí)升(shēng)大(dà)模(mó)型(xíng)任(rèn)务(wu)的(de)处(chù)理(lǐ)性(xìng)能(néng)与(yǔ)运(yùn)行(xíng)效(xiào)率(lǜ)。
模(mó)型(xíng)应(yīng)用(yòng)案(àn)例(lì)
>>OCR 识别场景
>> 文档理解场景
除上述场景应用案例外,Qianfan-VL 同样可应用在图表分析、视频理解等场景中,均呈现出卓越的模型效果。
Qianfan-VL 系列模型的开源,对百度智能云千帆来说,更像是“把模(mó)型(xíng)放(fàng)进(jìn)真(zhēn)实(shí)生(shēng)产(chǎn)力(lì)场(chǎng)景(jǐng)”的(de)一(yī)小(xiǎo)步(bù);未(wèi)来(lái),百(bǎi)度(dù)智(zhì)能(néng)云(yún)将(jiāng)秉(bǐng)持(chí)对(duì)技(jì)术(shù)的(de)执(zhí)着(zhe)追(zhuī)求(qiú)与(yǔ)对(duì)应(yīng)用(yòng)场(chǎng)景(jǐng)的(de)深(shēn)度(dù)洞(dòng)察(chá),不(bù)断(duàn)推(tuī)出(chū)全新(xīn)的(de)产(chǎn)业(yè)级(jí)模(mó)型(xíng),全方(fāng)位助力 AI 技术在各行业落地。
- 上一篇:又一通信芯片厂商完成数亿元融资
- 下一篇:125亿!百年通信企业获得一笔5G超级大单