R26 - DeepSeek私有化部署完整支持

发版日期:2024.07.19
DeepSeek完整支持,包括同时支持在Nvidia显卡和华为晟腾910/310系列NPU上进行推理。SmartChat提供多模态支持,用户可以使用GPT-4o模型对上传的图片内容进行识别。

主要特性或改进

1. 对DeepSeek模型提供完整支持

针对DeepSeek 6.7 Base 和 DeepSeek 6.7 Instruct模型的支持已经完整,已经可以支持以下场景

  • 使用 DeepSeek 6.7 Base 模型进行代码补全和提示词(完成模式)模板的支持,包括:explain, review, unit test 和 code check 四个提示词均可以正常使用。
  • 使用 DeepSeek 6.7 Instruct 模型进行对话,在SmartChat Web (ChatUI)中已经支持

部署环境支持

  • 使用 Nvidia A10 部署 DeepSeek 6.7 Base 和 Instruct 模型并支持以上场景
  • 使用 华为晟腾910B/310部署 DeepSeek 6.7 Base和Instruct模型
    • 提供初始版本的部署手册 华为910/310系列mindie离线部署方案和 FT038 - DeepSeek 模型适配。手册内容仍然需要打磨和整理
    • 对关键模型参数组合进行验证,主要包括:maxSeqLen, maxIterTimes 和 input/prompt入参长度问题的探索 模型参数设置合理值

2. SmartChat 多模态 - 支持GPT4o模型,上传图片进行识别

在SmartChat中上传图像,针对图像内容进行理解,解析和内容生成,默认是关闭状态,可按照如下顺序打开图片识别开关

  1. 首先打开 aise.feature.chat_image 这个开关
  2. 在 aise.model.config.default 里面正确配置 image_model_type
  3. 设置用户对于image_model_type 所对应的模型权限访问 备注:图片上传识别功能的使用与用户当前对话模型无关,是一个独立任务;只要以上条件满足,用户可以在与任何模型对话过程中使用此功能。 后续还需要调用通过私有化模型提供类似多模态能力,

3. 针对华为晟腾NPU+mindIE部署的优化

针对使用华为晟腾910/310 NPU作为算力,使用 mindIE 作为推理服务的环境,优化了模型,推理服务端的部署参数以及对应的Deepseek模型的个性化参数,确保硬件可以稳定运行。

4. SmartCode 用户体验改进

  • 针对deepseek模型在华为晟腾mindIE推理服务下流式返回数据进行适配,修复信息截断问题
  • 插件端动态获取模型适配器上的默认模型行为参数,针对不同模型进行最优化的默认行为控制
  • 插件端增加模型行为控制界面,允许对模型行为进行动态调整
  • 插件信息增加服务器地址信息,方便问题定位
  • VSCode 菜单增加 “重新加载”选项,方便用户在插件异常情况下回复插件状态
  • JetBrains 简化配置菜单,去除与用户无关的设置
  • JetBrains 增加日志级别选项:信息/调试
  • JetBrains 修复设置私有插件市场链接中可能出现的重复设置问题
  • JetBrains codelens新增X关闭按钮,设置界面新增启用、禁用设置;用户可以通过配置界面再次开启 codelens。

其他更新

  • 【插件】SmartCode Chat 适配模型适配器参数和个性化参数支持
  • smartcode vscode 增加codelens关闭功能,实现对上下文悬浮菜单关闭。
  • 修复【插件】SmartCode Chat 历史对话一直加载无法打开
  • 修复【插件】SmartCode Chat 在 晟腾910/310 + MindIE 环境运行 DeepSeek 6.7B Instruct模型下对话信息被截断问题
  • 修复【插件】【代码补全】SmartCode JetBrains 代码上下文结构化分析 - 多行补全模式下,实现对生成内容的按方法体截断
  • 修复smartcode-jetbrains《上下文悬浮》菜单位置出现不对。
  • 优化 smartcode-vscode chat功能,用户在回答过程中,切换会话,导致会话卡住。
  • 修复博时 客户smartcode-vscode(2.24.19606) 插件端,提示警告信息:SmartCode is encountering temporary issues 。在什么情况下提示上述信息
  • 修复 smartcode-vscode 对话task,过程中会输出到一半停止,停止后不输出内容,点停止按钮也不管用
  • 【插件】SmartCode Chat 适配模型适配器参数和个性化参数支持
  • 修复【插件】SmartCode Chat 历史对话一直加载无法打开
  • 完善增加完模型端异常排查提示处理机制
  • 实现单机部署模式
  • 修复当AISE升级后 ,出现用户头像丢失情况
  • 修复菜单有问题,《会话明细信息》不应该显示,将菜单变更增加到脚本变更中。
  • 实现【多模态支持】SmartChat for Web 支持上传图片,调用 GPT4o 模型进行图片内容提取
  • 【RAG】Workspace 增加deepseek API支持,方便个人开发者试用
  • 【RAG】Workspace 加入 AISE 服务器,见说明详情