R26 - DeepSeek私有化部署完整支持
发版日期:2024.07.19
DeepSeek完整支持,包括同时支持在Nvidia显卡和华为晟腾910/310系列NPU上进行推理。SmartChat提供多模态支持,用户可以使用GPT-4o模型对上传的图片内容进行识别。
DeepSeek完整支持,包括同时支持在Nvidia显卡和华为晟腾910/310系列NPU上进行推理。SmartChat提供多模态支持,用户可以使用GPT-4o模型对上传的图片内容进行识别。
主要特性或改进
1. 对DeepSeek模型提供完整支持
针对DeepSeek 6.7 Base 和 DeepSeek 6.7 Instruct模型的支持已经完整,已经可以支持以下场景
- 使用 DeepSeek 6.7 Base 模型进行代码补全和提示词(完成模式)模板的支持,包括:explain, review, unit test 和 code check 四个提示词均可以正常使用。
- 使用 DeepSeek 6.7 Instruct 模型进行对话,在SmartChat Web (ChatUI)中已经支持
部署环境支持
- 使用 Nvidia A10 部署 DeepSeek 6.7 Base 和 Instruct 模型并支持以上场景
- 使用 华为晟腾910B/310部署 DeepSeek 6.7 Base和Instruct模型
- 提供初始版本的部署手册 华为910/310系列mindie离线部署方案和 FT038 - DeepSeek 模型适配。手册内容仍然需要打磨和整理
- 对关键模型参数组合进行验证,主要包括:maxSeqLen, maxIterTimes 和 input/prompt入参长度问题的探索 模型参数设置合理值
2. SmartChat 多模态 - 支持GPT4o模型,上传图片进行识别
在SmartChat中上传图像,针对图像内容进行理解,解析和内容生成,默认是关闭状态,可按照如下顺序打开图片识别开关
- 首先打开 aise.feature.chat_image 这个开关
- 在 aise.model.config.default 里面正确配置 image_model_type
- 设置用户对于image_model_type 所对应的模型权限访问 备注:图片上传识别功能的使用与用户当前对话模型无关,是一个独立任务;只要以上条件满足,用户可以在与任何模型对话过程中使用此功能。 后续还需要调用通过私有化模型提供类似多模态能力,
3. 针对华为晟腾NPU+mindIE部署的优化
针对使用华为晟腾910/310 NPU作为算力,使用 mindIE 作为推理服务的环境,优化了模型,推理服务端的部署参数以及对应的Deepseek模型的个性化参数,确保硬件可以稳定运行。
4. SmartCode 用户体验改进
- 针对deepseek模型在华为晟腾mindIE推理服务下流式返回数据进行适配,修复信息截断问题
- 插件端动态获取模型适配器上的默认模型行为参数,针对不同模型进行最优化的默认行为控制
- 插件端增加模型行为控制界面,允许对模型行为进行动态调整
- 插件信息增加服务器地址信息,方便问题定位
- VSCode 菜单增加 “重新加载”选项,方便用户在插件异常情况下回复插件状态
- JetBrains 简化配置菜单,去除与用户无关的设置
- JetBrains 增加日志级别选项:信息/调试
- JetBrains 修复设置私有插件市场链接中可能出现的重复设置问题
- JetBrains codelens新增X关闭按钮,设置界面新增启用、禁用设置;用户可以通过配置界面再次开启 codelens。
其他更新
- 【插件】SmartCode Chat 适配模型适配器参数和个性化参数支持
- smartcode vscode 增加codelens关闭功能,实现对上下文悬浮菜单关闭。
- 修复【插件】SmartCode Chat 历史对话一直加载无法打开
- 修复【插件】SmartCode Chat 在 晟腾910/310 + MindIE 环境运行 DeepSeek 6.7B Instruct模型下对话信息被截断问题
- 修复【插件】【代码补全】SmartCode JetBrains 代码上下文结构化分析 - 多行补全模式下,实现对生成内容的按方法体截断
- 修复smartcode-jetbrains《上下文悬浮》菜单位置出现不对。
- 优化 smartcode-vscode chat功能,用户在回答过程中,切换会话,导致会话卡住。
- 修复博时 客户smartcode-vscode(2.24.19606) 插件端,提示警告信息:SmartCode is encountering temporary issues 。在什么情况下提示上述信息
- 修复 smartcode-vscode 对话task,过程中会输出到一半停止,停止后不输出内容,点停止按钮也不管用
- 【插件】SmartCode Chat 适配模型适配器参数和个性化参数支持
- 修复【插件】SmartCode Chat 历史对话一直加载无法打开
- 完善增加完模型端异常排查提示处理机制
- 实现单机部署模式
- 修复当AISE升级后 ,出现用户头像丢失情况
- 修复菜单有问题,《会话明细信息》不应该显示,将菜单变更增加到脚本变更中。
- 实现【多模态支持】SmartChat for Web 支持上传图片,调用 GPT4o 模型进行图片内容提取
- 【RAG】Workspace 增加deepseek API支持,方便个人开发者试用
- 【RAG】Workspace 加入 AISE 服务器,见说明详情