R24 - DeepSeek初步支持以及SmartCode v2
发版日期:2024.07.05
本次更新主要针对DeepSeek模型提供基本支持,发布SmartCode v2部分特性
本次更新主要针对DeepSeek模型提供基本支持,发布SmartCode v2部分特性
主要特性或改进
1. 对DeepSeek模型的基本支持
针对DeepSeek 6.7 Base 和 DeepSeek 6.7 Instruct模型的支持基本完整,24_2 版本已经可以支持以下场景
- 使用 DeepSeek 6.7 Base 模型进行代码补全和提示词(完成模式)模板的支持,包括:explain, review, unit test 和 code check 四个提示词均可以正常使用。
- 使用 DeepSeek 6.7 Instruct 模型进行对话,在SmartChat Web (ChatUI)中已经支持,但是 SmartCode v2中的内置Chat组件仍然有兼容问题(nvidia卡部署工作正常,晟腾卡部署有问题),预计在 sprint 25 修复。 部署环境支持
- 使用 Nvidia A10 部署 DeepSeek 6.7 Base 和 Instruct 模型并支持以上场景
- 使用 华为晟腾部署 DeepSeek 6.7 Base和Instruct模型并支持以上场景仍然有问题,预计在Sprint25修复。
2. SmartCode V2 功能基本完整
SmartCode V2 主要增加内置chat能力,在24版本中主要针对提示词库提供了动态加载支持,并且修复了不少客户现场问题。 当前已经支持的场景有
- GPT模型的完整支持:使用GPT 3.5 Instruct模型进行代码补全和提示词(完成模式)的生成,使用 GPT 3.5, GPT 3.5 16K, GPT 4, GPT 4 32k 和 GPT-4o模型进行普通对话。
- DeepSeek模型在NV环境下的完整支持:使用 deepseek 6.7 base模型进行代码补全和提示词(完成模式)的生成,使用 deepseek 6.7 instruct 和 deepseek API Coder/Chat 模型进行普通对话
3. 使用 GPT-4o 进行普通对话
已经支持添加 GPT-4o模型支持普通对话,暂不支持多模态能力。
其他更新
- SmatCode V2 支持提示词仓库,确保提示词数据动态获取
- 优化SmartCode Chat功能 登录体验;
- SmartChat for Web 支持上传图片,调用 GPT4o 模型进行图片内容提取
- 修复Core各调用redis服务端容器日志都显示有重新连接redis日志,Reconnecting to aise-redis
- 修复【RAG】Workspace 修改打包方式为 dir 方式,优化启动速度。当前的onefile方式启动速度太慢,主要是因为需要动态解压文件造成。尝试修改成dir的方式,看看是否能有较大提升。
- 实现Workspace 加入 AISE 服务器
- 修复博时 UAT测试 优化 smartcode-vscode(2.24.19435-rel2) 右键 代码检查 功能已正常。 但该提示词基于不同方法(完成 \对话 )生成反馈结果体验有差异,用户更接受采用对话方法产生的结果
- 修复博时 UAT测试 smartcode-vscode(2.24.19435-rel2) core(spring23-1) 测试右键smartcode->代码检查 vscode插件报错
- 优化DeepSeek 模型适配,验证适配效果,模型配置和提示词版本匹配情况。包括:API 模式,VLLM模式(N卡使用vllm部署),TGI模式(晟腾910/310使用mindie部署)。整理DeepSeek部署标准化配置手册,包括代码补全、代码任务和对话场景。
- DeepSeek在晟腾环境部署(mindIE)时使用 generate_steam 进行chat操作的 chat 模板改造
- 晟腾910B3/310部署方案,交付完整端到端部署文档
- 模型优化】DeepSeek 在 N卡上的部署文档