AI公司需要怎样的人才?传统机器学习工程师可能并不适合
Cline - 一个会思考能执行的的AI程序员
Cline可以处理复杂的软件开发任务。通过创建和编辑文件、探索大型项目、使用浏览器以及执行终端命令(在获得许可后)等工具,Cline能够以超越代码补全或技术支持的方式协助你。
Cline甚至可以使用模型上下文协议(MCP)创建新工具并扩展自身能力。虽然传统的自主AI脚本在沙盒环境中运行,但此扩展提供了一个需要人工参与的GUI来批准每个文件更改和终端命令,为探索代理AI的潜力提供了一种安全且易于使用的方式。
- ClinePRO 中文版文档已经上线:https://aise.chat/docs/products/clinepro/
以下视频展示了使用 ClinePRO 对代码库代码行数进行统计并修改README.md的过程,可以看到Cline不仅仅是个助手,更加是一个会思考能执行的AI程序员。
注意
本文转载并翻译自Cline的 博客文章,原文作者 Nik Pash 是 Cline 的AI工程团队负责人。AI公司需要怎样的人才?传统机器学习工程师可能并不适合
在Cline,我们的用户已突破50万,并获得了顶级风投的巨额融资。作为AI负责人,我最近面试了一位优秀的机器学习工程师候选人。尽管背景扎实,我还是投了反对票。让我解释原因——这揭示了AI公司当前真正需要什么,而在这个问题上犯错可能会造成20万美元的损失。
20万美元的教训:过早雇佣ML工程师如何扼杀AI初创公司
在资金充足的AI初创公司中,我反复看到这样的模式:
- 用AI概念获得大额融资
- 急于雇佣昂贵的ML人才来"验证"AI方向
- 看着这些人才花数月时间搭建基础架构
- 最终他们跳槽到真正有ML挑战的公司
真正的成本不仅是20万美元的薪资——更是用错误团队搭建错误基础设施的机会成本。看着你的ML(机器学习)专家花六个月时间调试TypeScript错误和编写REST API,而不是做他们被雇佣来做的工作。
快速说明:“机器学习工程师和AI工程师的区别是什么?”
MLE(机器学习工程师)和AI工程师有很多共同点 – 都处理非确定性系统,都关注构建健壮系统。关键区别在于:
- MLE通常专注于从零开始训练定制模型,就像用原材料制造新引擎
- AI工程师,特别是在当今LLM驱动的环境下,专注于有效使用和改进现有强大模型——更像是懂得如何将高性能引擎集成到完整系统中,测量其性能,并系统化改进其实际工作方式的机械师
这两个角色都很重要,但目前大多数公司更需要机械师,而不是引擎制造者。
实践中的模式:面试案例分析
让我分享一个说明问题的面试对话:
“我们的代码助手有时会做出非最优的选择——例如,当用户搜索“Levis服装”时没有包含牛仔裤。你会如何改进?”
一位候选人最近回答:
“也许我们可以使用dropout层…感觉它过拟合了…”
这种在理解问题之前就跳转到ML架构的回应,完美展示了我们需要改变的一种思维方式。
这些不是错误的答案——它们是对错误问题的回答。它们揭示了一种仍然停留在传统ML的思维模式,而我们需要的是完全不同的东西。
成长中的AI公司真正需要什么
在Cline,和许多AI公司一样,我们的挑战不在于训练模型。而在于:
- 理解系统如何运行
- 系统化地衡量成功
- 有条不紊地改进行为
在讨论改进时,我经常看到这样的模式:
候选人:“也许我们可以微调模型…”
我:“我们如何衡量这是否真的带来了改进?”
候选人:“哦…我们可以看看用户行为…”
这种引导式对话不应该是我做的事情,最优秀的候选人会立即问:
- “你们目前如何衡量成功?”
- “什么信号表明工具选择错误?”
- “你们收集了哪些用户交互数据?”
新一代AI工程
我们看到了一种新型工程师的崛起——这些人需要综合以下这些特质:
- 传统软件工程的系统思维
- 对非确定性系统的严谨态度
- 对LLM能力和局限的实际理解
- 专注于测量和系统化改进
这些工程师正在构建:
- 复杂的prompt评估框架
- LLM行为的实时监控系统
- prompt改进的A/B测试基础设施
- 与业务成果一致的清晰成功指标
在Cline,这已经转化为具体成果:
- 系统化改进流程提高了成功率
- 清晰的指标驱动产品决策
- 可扩展的系统随着用户增长而发展
面试中的危险信号
注意以下这些面试者的回应:
- 用不确定而非好奇回应(“我猜也许…")
- 需要被引导到实际解决方案
- 无法独立提出测量方法
我经常看到这样的模式:
我:“你如何验证你的改进确实有效?”
候选人:“我猜我们可以收集更多验证数据…”
我:“那用户行为呢?”
候选人:“哦…对…”
优秀候选人的特征
最优秀的候选人表现出:
- 关于测量的系统思维
- 专注于理解当前行为
- 对用户反馈和指标的兴趣
- 务实的改进方法
最好的回应始于:
“首先,我们需要理解成功是什么样子的。我们是否对用户如何使用平台有可观测性?我们如何知道工具选择失败?”
组建合适的团队
对于构建基于LLM应用的AI公司,以下是需要优先考虑的:
基础设施先行
- 健壮的遥测系统
- 清晰的成功指标
- 评估框架
合适的技能
- 系统思维
- 测量专注
- LLM理解
未来发展
- 数据收集
- 系统化改进
- 可扩展架构
展望未来
我们最终需要传统的ML专业知识吗?当然。但首先,我们需要建立能让这些专业知识发挥价值的基础。
目前,我们需要能够完成以下工作的工程师。
- 构建健壮的测量系统
- 实施系统化改进
- 清晰思考LLM行为
- 创建可扩展评估框架
AI工程的未来不仅仅是ML专业知识——更是构建能够有效利用和改进AI能力的系统。我们越早认识到这一点,就越能更好地构建和扩展AI产品。