1. 参会感受
大模型技术更新速度大于商业决策速度！
大模型技术更新速度大于评测能力建设速度！
底层技术和商业应用百花齐放，资本市场活跃！
2. 行业洞察
2.1. 中国AI发展环境
2.1.1. 资本投入
较去年相比，今年第一季度融资金额远超去年同季度。2023年整体AI领域投资事件39起，融资金额50.7亿元，2024年第一季度，AI领域投资事件13起，融资金额74.9亿元。融资轮次处于早期融资。
2.1.2. 相关政策
以包容审慎的态度，支持引导AIGC“可靠、可控”发展。
2.2. 中国AI行业现状
2.2.1. 产业大图
技术变革：模型层 > 工具层 > 算力层 > 应用层;
资源要素：算力层 > 模型层 > 应用层 > 工具层;
市场机会：应用层 > 工具层 > 模型层 > 算力层
2.2.2. 行业影响
AI渗透行业众多，包含营销、金融、零售、企业服务、教育、医疗、电力等。
2.2.3. 应用阶段
目前市场还未出现杀手级应用，探索大都处于市场投放期阶段，正向赋能核心业务方向努⼒
2.2.4. 零售行业
- 零售应用阶段：内容生成和投放推荐成为应⽤“先锋队”
- 零售场景核⼼升级点围绕效率提升与体验优化
- 中国零售AGI厂商图谱
2.3. 中国AI未来预测
2.3.1. 市场规模
机构对中国AI市场规模长期持续增长保持乐观。
2.3.2. 成本与收益
2.4. 云服务新范式-MaaS+BaaS
模型即服务(Model as a Service, MaaS)构建新型AI基础设施，重构AI开发部署范式。大模型将成为AI产业的操作系统，其基础设施特性可为AI应用开发做好底座，将AI模型变得可维护、可扩展、可迭代，极大降低AI应用的开发门槛。从需求侧来看，客户能通过更低成本、高效率的MaaS路径获得AI能力，完成AIGC应用的个性化开发、 优化及部署，持续兑现大模型的技术红利，将AI能力应用渗透到各行各业的场景业务中。类似地，机器人即服务(Bot as a Service, BaaS)指的是构建以大模型为中心的Copilot、Agent服务提供给外部使用。
2.5. 大模型时代的电力需求
中国在算力、算法和数据方面与美国差异较大，但能源上有很大优势。
3. 技术发展
3.1. 大模型应用的困难
3.1.1. 基座模型挑选困难
困难一：基座模型多
困难二：评测困难
3.1.2. 领域微调的数据问题
3.1.3. 基座模型变化影响行业应用
模型更新、速度更快、成本更低不代表良心，更不代表性能变强。需要严格管理行业应用的大模型版本，变更前需要严格对比。
3.1.4. 确定基座后困难才刚开始
3.2. 大模型时代还需要小模型么？
3.2.1. “大小模型融合赋能” 是当下核心应用落点
3.2.2. 大小模型如何协作
3.3. 大模型与端智能
大模型加速往终端渗透，是当前非常明确的发力点，不过应用还处于初步探索期。
3.3.1. 大模型加速AI与终端融合
3.3.2. 自动驾驶
统一的大模型架构是自动驾驶明确演进方向。
3.3.3. 手机“大”模型
多模态大模型可以帮助人类完成复杂的手机APP，有望成为新一代的“操作系统” 。一个8B的Llama大概需要4.7GB，对于手机APP来说，植入一个大模型过重，端云协同较为可行。
3.4. Agent技术
3.4.1. Agent发展现状
在企业应用中，绝大多数应用范式都是大模型增强原工作流的某些环节，利用大模型完全自主规划、调用工具在复杂应用中还不具有可行性。
在学术界，Agent并没有出现突破性进展，只是从研究上更加体系、规范，在某些细节上有微创新，有点像玩排列组合。
3.4.2. Agent评估维度
3.4.3. Agent的对齐
3.4.4. 代价敏感的Agent
运行在真实环境中的大模型智能体需感知环境代价，而不应仅以任务达成为目标。
在Prompt中加入代价提示几乎没作用：
第一步：期望价值估计
给定用户请求，基于历史经验估计工具对解决该用户请求的期望价值。
第二步：频次限制估计
给定用户请求，基于历史经验估计工具在全过程被调用的最大频次。
第三步：制定并应用规划
上述方法显著增强了代价受限条件下的任务通过率。
3.4.5. 领域增强的Agent
大模型获取领域知识往往有下面两种手段：
创新思路：学习专家偏好实现无参知识传输
以专家小模型输出分布作为偏好，利用大模型对其进行逆向解释形成可泛化知识。
推理阶段检索与当前请求相关的历史知识对模型行为进行引导。
多个文本分类任务上呈现良好知识传输效果，且同样观察到“举一反三”现象。
3.4.6. 环境感知的Agent
智能体可利用任务执行过程的交互轨迹，通过训练语言模型增强环境感知，进而学习解决任务的策略。人类或基于提示工程的智能体均难获取大规模多样化的训练轨迹。
创新思路：智能体自主实现训练轨迹的标注，进而进行自我训练
ReAct和ActRe定义
- 现有的智能体(ReAct)基于推理(Reason)给出动作(Action)
- 引入基于动作(Action)解释原因(Reason)的智能体(ActRe)
采样流程如下：
- 采样新动作**(Action)时，利用ActRe得到动作的原因(Reason)**
- 得到的原因**(Reason)和采样的动作(Action)构成ReAct**轨迹标注
标注得到的轨迹有失败有成功，通过对比式自我训练增强环境感知。
3.5. 小语种问题
CoT(思维链)+MT(翻译)已成行业基本共识。
3.6. 前沿：AI for Science
3.6.1. AI for Science新范式
3.6.2. 蛋白质结构预测-AlphaFold2
预测蛋白质结构在多个科学和应用领域具有重大意义，因为蛋白质的三维结构直接影响其功能，一个相关专业的博士在读期间也就能发现1～2种结构。AlphaFold2的出现标志着在蛋白质结构预测领域的革命性进展，不仅使得长期以来的科学难题得以解决，还为生物医学研究开辟了新的前景。AlphaFold2预测蛋白质空间结构的误差小于一个原子尺寸。
从生成式AI的角度来看，问题可以抽象为：
模型结构如下：
可以拆解为三大模块：
3.7. 大模型应用领域百花齐放
3.7.1. BI场景
3.7.2. A/B实验分析
3.7.3. 工程理解
3.7.4. 医疗
3.7.5. 法律
3.7.6. 金融
3.7.7. 会议系统
3.7.8. 音视频创作
3.8. 其他主题
- 基础大模型训练
- 大模型推理速度优化
- 多模态大模型
- 大模型基础设施
- RAG技术
- 具身智能
- …