“文澜BriVL”模型设计者、人大教授卢志武：多模态大模型，我国弯道超车的可能性很大 | 36氪专访
采访 | 周鑫雨、苏建勋、杨轩
【资料图】
文 | 周鑫雨
编辑 | 苏建勋
想过河，但连一块石头都摸不着。这是2020年卢志武和中国人民大学高瓴人工智能学院团队自研多模态大模型时遇到的困境。
彼时，GPT-3已经发布，国内NLP（自然语言处理）领域的研究已逐渐形成规模。但将涉及领域从文字扩展到图像、视频的多模态大模型，依然几近“无人区”。
在一年多的时间里，团队做了许多“前无古人”的尝试。比如在2021年初，率先采用微软新推出的Deep Speed框架来支持几十亿参数模型的训练。在资源稀缺的情况下，“巧劲”也是必须的——为了减少显存占用，团队尝试性地采用了ViT（VisionTransformer）架构，还在自监督训练中采取了较小的Batch（分批处理）而不降低效果。
2021年3月，团队的无人区探索有了初步的成果：多模态大模型“文澜BriVL 1.0（Bridging-Vision-and-Language 1.0）”，后续还发布了 “文澜BriVL 2.0”。两年后，2023年3月8日，卢志武团队借鉴文澜的研究经验，自主研发了多模态对话大模型，并落地了第一款应用级多模态ChatGPT产品： “元乘象 ChatImg”。
“元乘象 ChatImg”好比是“会看图的ChatGPT”。据卢志武介绍，基于多模态融合模块和语言解码器，目前Chatlmg参数规模大概为150亿。用户输入一张图片，Chatlmg就能对其中的内容进行解读，并继续相关的对话。
元乘象 ChatImg图文交互演示。
从艰难穿越无人区到落地应用，卢志武认为，中国AI模型研究者不仅要精于技术，也要敢于拥抱新技术。同时，学者们也要认识到，从研究走向落地，仍需要跨过一些鸿沟。
以下是36氪和卢志武的对话：
穿越无人区
36氪：您为什么在3月8日这个时间点推出多模态大模型产品ChatImg？
标签：
推荐
-
-
电子车牌板块3月29日涨1.1%，同方股份领涨，主力资金净流出2.95亿元
3月29日电子车牌板块较上一交易日上涨1 1%，同方股份领涨。当日上证指数报收于3240 06，下跌0 16%。...
来源： -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
电子车牌板块3月29日涨1.1%，同方股份领涨，主力资金净流出2.95亿元
3月29日电子车牌板块较上一交易日上涨1 1%，同方股份领涨。当日上证指数报收于3240 06，下跌0 16%。...
来源： -
-
全球滚动:美股异动 | Lululemon(LULU.US)一度涨15% 为2020年3月来最大涨幅
周三，Lululemon(LULU US)在公布四季度业绩后一度涨15%，为2020年3月以来最大涨
来源： -
-
-
-
-
-
深交所启动“三阳光两促进”专项行动，20多项举措贯穿审核、监管、服务三大环节，力促审核质效、廉洁文化提升
财联社3月29日讯（记者黄靖斯）贯穿审核、监管、服务三大环节，涉及具体措施20余项，在深交所近期开
来源： -
-
-
-
-
-
新动态：快手CEO程一笑：积极加强商品力建设，从供给和需求两端强化对“货”的理解
3月29日，快手发布2022年Q4及年度业绩显示，快手电商交易总额（GMV）同比增长32 5%达9012亿，迈向全年...
来源： -
-
环球快讯:快手2022年Q4广告收入同比增14%至151亿元 大幅超越市场预期 收入创单季新高
作为快手营收增长的重要引擎，线上营销服务（广告）业务承载着包括探索内容变现、提升电商综合货币化率...
来源： -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
财富更多》
-
山东东营开发区：链聚成群 释放新材料产业新动能
山东东营开发区：链聚成群释放新材料产...
-
全品类教育装备产业基地落户山东鄄城
全品类教育装备产业基地落户山东鄄城---...
-
天津天开高教科创园将开园
天津天开高教科创园将开园---记者从天津...
-
【报资讯】淡水河谷在华签署七项合作文件 涉及脱碳金融及技术合作等
淡水河谷在华签署七项合作文件涉及脱碳...
-
家电消费迈入“数智化”时代
家电消费迈入“数智化”时代---3月29日...
动态更多》
热点
- realme10系列正式宣布 采用双曲面屏正面顶部居中挖孔
- 五菱全新微型电动车内饰官图发布 座椅采用星际形打孔工艺
- 努比亚Z40星空典藏版正式开售 采用微米级油画笔触纹理技术
- iQOO11系列正式官宣 首批搭载骁龙8Gen2机型之一
- 海信34英寸带鱼屏显示器发布 支持165Hz刷新率
- OPPO明年将商用240W超级闪充 新一代电芯支持更高倍率充电
- 第一款Android手机渲染图曝光 横向滑盖设计和全尺寸键盘
- 吉利首款纯电皮卡11月9日上市 车辆续航里程超过610公里
- 努比亚Z40SPro星空典藏版正式公布 堪称窄边框天花板
- vivo无线运动耳机2今日正式上市 首销只要119元
- 近三年浙江检察机关为企挽损7.9亿元 打击涉企虚假诉讼
- 全球焦点！《人生之路》高加林为什么没有及时赴约去找黄亚萍？
- A股银行净息差滑坡未止，民生银行两年下行54基点堪称“最惨”，常熟银行仍是“3”字头独苗
- 热文：荔枝(LIZI.US)获批转板至纳斯达克资本市场
- 天天最资讯丨iPhone15感应器新升级，位置也变了，挖孔外观不会有影响
- 光正眼科涨停 机构净卖出2894.23万元
- 腾讯投资快乐时代传媒公司 后者经营范围含互联网销售
- 焦点快看：豪鹏科技拟发不超11亿可转债 半年前上市募10.44亿
- 荣盛石化涨停 机构净卖出1.66亿元
- 热点在线丨中国长城龙虎榜：机构净卖出4.02亿元
- 前沿资讯!华锦股份龙虎榜：机构净卖出1.74亿元
- 每日热议!金阳新能源国投电力等成立新公司 注册资本2亿
- 全球观察：天奈科技国城矿业等成立材料科技公司 注册资本1亿
- 木头姐痛斥FED加息：银行业动荡正转向另一场危机
- 安琪酵母“A拆北”:做伊利、蒙牛包装生意，年赚三千万
- 智能制造产业升级 武汉这家智能化“零废工厂”投产
- 世界热点评！王思聪投资成立梅鹤雅品公司 含数字创意产品展览服务
- 中国神华与双马一矿无直接关联
- 全球最新：苹果公司已注册多个AirPower商标
- 翰森制药2022年创新药收入约50.06亿元，占据总营收半壁江山
- 全球速读：生物医药板块跌1.04% 新莱应材涨7.4%居首
- 当前热门：白酒概念板块涨0.22% 吉宏股份涨5.75%居首
- 焦点速递！海富通基金吕越超：政策创新双擎驱动 科技浪潮或开启
- 环球观热点：太平恒安三个月定开债增聘基金经理朱燕琼
- 微软为 Windows 12 打造全新现代平台：加强安全和 AI 功能
- 环球关注：锂电池板块跌0.39% 科大国创涨11.41%居首
- 快资讯：蔡英文窜美，美官员警告中国不要过度反应，外交部回应
- 全球视讯！NYMEX原油上看75.86美元
- AMD锐龙7000平台终于要便宜了！
- 这款“克隆版”ChatGPT开发成本仅需30美元，还开源了！
- 【世界热闻】索尼zv-e相机谍照曝光
- “赛迪创新百强区”出炉 广东江苏并列第一
- 微动态丨生态环境部：PM2.5浓度实现“十连降”
- 今日播报!国内首本“碳标签”主题蓝皮书发布
- 环球看热讯：汽车雷达在无人陵园内显示全是人影 理想回应：将OTA升级
- 环球今头条！极米科技：副总经理沈毅辞职
- 2023年第三届中国稀土产业链论坛举办
- 最新快讯!他被判无期徒刑，鹦鹉成关键“证人”！
- vivo穿戴设备专利可在佩戴时无线充电 vivo穿戴设备无线充电专利公布
- 每日播报!理想汽车于海南天津成立能源服务公司
- 中煤协：2023年煤炭供需将保持基本平衡
- 焦点观察：国际金价重新走低，银行业危机可控，FED将着力对付它
- 助力优化营商环境 浙江检察发布“显担当”十大典型案例
- 天天讯息：钟薛高推出3.5元雪糕 使用AI技术设计包装
- 每日快播：B站入股动漫研发公司笔酷文化
- iPhone16Pro渲染图：两个大招让库克骄傲
- 钟薛高已申请SASAA商标 钟薛高曾申请钟薛不高商标
- 每日焦点！爱奇艺诉人人视频侵权
- 环球今日报丨“不让任何人掉队” 联合国世界数据论坛聚焦可持续发展
- 苹果11的闪光灯在哪里设置？苹果11闪光灯不亮了怎么回事？
- 红米手机电量显示怎么设置在哪里？红米手机电量消耗快怎么解决？
- 办公理想之选Brother DCP-B7535DW黑白激光一体机
- 苹果手机怎么绑定门禁卡?苹果手机门禁卡怎么添加？
- 苹果11怎么取消订阅自动续费?苹果11订阅无法连接怎么回事？
- vivo手机私密相册怎么打开?vivo手机网络卡顿怎么处理?
- vivo手机的骚扰拦截怎么关闭？vivo手机网络卡顿怎么处理？
- 苹果11pro如何显示电池百分比？苹果11pro电池百分比怎么调出来？
- 苹果11刘海灯怎么设置闪烁?苹果11闪烁灯在什么地方设置？
- iphone如何查看拦截的电话？iPhone手机拦截怎么查看？
- 苹果手机按键震动怎么关闭?苹果手机按键声音怎么设置？
- 环球观察：微波炉什么牌子好家用最合适_微波炉什么牌子好
- 五年30万辆、营收破400亿 江淮汽车入局新能源赛道“团战模式”
- vivo手机录音功能在哪里?vivo手机录音快捷键在哪里？
- oppo手机悬浮球怎么关？oppo手机悬浮球怎么换皮肤？
- 苹果11麦克风在哪里设置?苹果11手机定位在哪里打开？
- 苹果手机网络连接不上怎么回事?苹果手机网络重置怎么设置?
- 苹果11双击截屏怎么设置?苹果11截屏怎么设置敲两下?
- oppo怎么取消盲人模式？oppo盲人模式下怎么进去桌面？
- 小米呼吸光效怎么设置？小米的呼吸光效在哪里设置？
- 苹果11的指纹在哪里设置?苹果11指纹密码怎么设置？
- 泡泡玛特诉德芙侵权索赔200万
- vivox23怎么恢复出厂设置？vivox23的录音功能在哪里？
- 起底林场主跪地求水涉事双马煤矿 林场主跪地求水涉事煤矿曾无证取水被罚
- 要闻：被查董铮仅关联中超联赛公司
- 家庭打印必备Brother DCP-T426W，畅享文印自由
- 速讯：ChatGPT解除最后一道“封印”，以后AI能帮你点外卖、买衣服、订机票了？
- 【天天播资讯】王小川新注册人工智能公司「五季智能」 曾表示正快速筹备中
- vivo手机网络不稳定怎么设置？vivo手机网络卡顿怎么处理?
- 小音咖涉人社局行政案件成老赖
- 苹果无线耳机如何重置配对?苹果无线耳机怎么重新配对?
- 家用打印机理想之选Brother DCP-T426W喷墨多功能一体机
- oppo小游戏桌面怎么删除?oppo小游戏怎么改实名认证?
- oppo手机红包提示音怎么设置？oppo手机忘记密码了怎么解锁?
- 苹果手机怎么锁屏旋转？苹果手机可以用两个微信吗?
- 苹果11怎么设置可以省电？苹果11的电量显示怎么变黄了？
- 苹果蓝牙自动开启怎么关闭？苹果手机蓝牙怎么搜索设备？
- 苹果11airplay在哪里设置？苹果11airplay怎么投屏到电视？
- 小米手机的投屏功能在哪里找？小米手机投屏为什么连接不上？
- opporenoace超清视效在哪里开启？opporeno超清视效怎么用？
- 苹果手机通话中断怎么回事？苹果手机通话自动录音怎么设置？
- 苹果11怎么设置四位数密码？苹果11的广角镜头怎么打开？
- 苹果微信怎么设置主题皮肤？苹果微信视频悬浮窗怎么设置？
- 三星电视如何调节音量?三星电视的语音助手怎么喊？
- iphone查找怎么添加设备？iphone的系统数据怎么清理？
- 小米音响怎么连接手机热点？小米音响能连接台式电脑吗？
- 天天通讯！果粉不用等了，3年内苹果iPhone手机都是灵动岛设计！
- oppo云备份怎么恢复到手机？oppo云备份照片怎么恢复到相册？
- 【报资讯】现货黄金交易策略： 美债收益率上涨带动美元反弹，黄金空头要大反攻了？
- 消息！泰和新材：公司的芳纶隔膜产业化方案仍在设计之中，经董事会审议通过后将及时披露
- 苹果11手势功能怎么用?苹果11手势返回键怎么设置？
- oppo悬浮键盘怎么关闭？oppo悬浮键盘怎么调透明度？
- iphone锁屏渐变怎么设置？iphone锁屏小组件怎么设置？
- 苹果id照片同步怎么关闭?苹果手机怎么清理内存垃圾清理？
- 苹果手机朋友圈怎么回到顶部？苹果手机朋友圈删了怎么恢复回来？
- vivoy81s怎么设置指纹解锁？vivoy81s的语音助手在哪里？
- 荣耀9x单手模式怎么开启？荣耀9x的电池容量是多少？
- 苹果11收不到短信怎么回事？苹果11短信不提醒了怎么回事？
- 天天速讯：vivo或将整合旗下iQOO手机开启降本增效
- 苹果11pro怎么设置小圆点？苹果11pro的小圆点怎么设置内容？
- 苹果微信浮窗怎么关闭?苹果微信浮窗回复怎么设置?
- 苹果怎么设置来电关机？苹果来电闪光灯在哪里打开?
- OPPO手机怎么设置下载密码?oppo手机怎么恢复出厂设置？
- iphone11怎么自定义手机铃声?iphone11手机铃声怎么设置成歌曲？
- 盘点胡一天商业版图
- 苹果手机调音量显示耳机怎么回事？苹果手机怎么清理内存垃圾清理？
- vivoiqoo充电特效怎么设置？vivoiqoo的电池容量是多少?
- oppoa5虚拟按键怎么设置？oppoa5虚拟按键怎么显示出来？
- 红米note5aOTG如何开启?红米note5aogt功能怎么开启？
- 博道基金陈连权：像智能汽车一样管理股债组合
- 信贷稳了？月末票据利率冲高，机构预计3月信贷规模或达3.5万亿
- 【天天时快讯】阿里在上海成立瓴羊数智科技公司
- 卢伟冰：Note系列全球销量破3.2亿 进入全球单品十强
- 软通动力助力打造全方位国产化信创体系
- 泡泡玛特发布全年财报 2022年净利润5.7亿
- 每日热文：为什么国外少有贪官被抓的消息，是外国没有贪官还是不开展反腐？