AI公司需要怎样的人才?传统机器学习工程师可能并不适合

AI公司更需要专注于现有模型测量和系统化改进的工程师,而非传统的机器学习专家。本文转载并翻译自Cline产品博客,其中探讨了过早雇佣ML工程师的20万美元错误,以及AI工程师这一新兴角色的重要性。本文使用ClinePRO完成主体翻译并人工审核。

Cline - 一个会思考能执行的的AI程序员

Cline可以处理复杂的软件开发任务。通过创建和编辑文件、探索大型项目、使用浏览器以及执行终端命令(在获得许可后)等工具,Cline能够以超越代码补全或技术支持的方式协助你。

ClinePRO Home

Cline甚至可以使用模型上下文协议(MCP)创建新工具并扩展自身能力。虽然传统的自主AI脚本在沙盒环境中运行,但此扩展提供了一个需要人工参与的GUI来批准每个文件更改和终端命令,为探索代理AI的潜力提供了一种安全且易于使用的方式。

以下视频展示了使用 ClinePRO 对代码库代码行数进行统计并修改README.md的过程,可以看到Cline不仅仅是个助手,更加是一个会思考能执行的AI程序员。

AI公司需要怎样的人才?传统机器学习工程师可能并不适合

在Cline,我们的用户已突破50万,并获得了顶级风投的巨额融资。作为AI负责人,我最近面试了一位优秀的机器学习工程师候选人。尽管背景扎实,我还是投了反对票。让我解释原因——这揭示了AI公司当前真正需要什么,而在这个问题上犯错可能会造成20万美元的损失。

20万美元的教训:过早雇佣ML工程师如何扼杀AI初创公司

在资金充足的AI初创公司中,我反复看到这样的模式:

  1. 用AI概念获得大额融资
  2. 急于雇佣昂贵的ML人才来"验证"AI方向
  3. 看着这些人才花数月时间搭建基础架构
  4. 最终他们跳槽到真正有ML挑战的公司

真正的成本不仅是20万美元的薪资——更是用错误团队搭建错误基础设施的机会成本。看着你的ML(机器学习)专家花六个月时间调试TypeScript错误和编写REST API,而不是做他们被雇佣来做的工作。

快速说明:“机器学习工程师和AI工程师的区别是什么?”

MLE(机器学习工程师)和AI工程师有很多共同点 – 都处理非确定性系统,都关注构建健壮系统。关键区别在于:

  • MLE通常专注于从零开始训练定制模型,就像用原材料制造新引擎
  • AI工程师,特别是在当今LLM驱动的环境下,专注于有效使用和改进现有强大模型——更像是懂得如何将高性能引擎集成到完整系统中,测量其性能,并系统化改进其实际工作方式的机械师

这两个角色都很重要,但目前大多数公司更需要机械师,而不是引擎制造者。

实践中的模式:面试案例分析

让我分享一个说明问题的面试对话:

“我们的代码助手有时会做出非最优的选择——例如,当用户搜索“Levis服装”时没有包含牛仔裤。你会如何改进?”

一位候选人最近回答:

“也许我们可以使用dropout层…感觉它过拟合了…”

这种在理解问题之前就跳转到ML架构的回应,完美展示了我们需要改变的一种思维方式。

这些不是错误的答案——它们是对错误问题的回答。它们揭示了一种仍然停留在传统ML的思维模式,而我们需要的是完全不同的东西。

成长中的AI公司真正需要什么

在Cline,和许多AI公司一样,我们的挑战不在于训练模型。而在于:

  1. 理解系统如何运行
  2. 系统化地衡量成功
  3. 有条不紊地改进行为

在讨论改进时,我经常看到这样的模式:

候选人:“也许我们可以微调模型…”

我:“我们如何衡量这是否真的带来了改进?”

候选人:“哦…我们可以看看用户行为…”

这种引导式对话不应该是我做的事情,最优秀的候选人会立即问:

  • “你们目前如何衡量成功?”
  • “什么信号表明工具选择错误?”
  • “你们收集了哪些用户交互数据?”

新一代AI工程

我们看到了一种新型工程师的崛起——这些人需要综合以下这些特质:

  • 传统软件工程的系统思维
  • 对非确定性系统的严谨态度
  • 对LLM能力和局限的实际理解
  • 专注于测量和系统化改进

这些工程师正在构建:

  1. 复杂的prompt评估框架
  2. LLM行为的实时监控系统
  3. prompt改进的A/B测试基础设施
  4. 与业务成果一致的清晰成功指标

在Cline,这已经转化为具体成果:

  • 系统化改进流程提高了成功率
  • 清晰的指标驱动产品决策
  • 可扩展的系统随着用户增长而发展

面试中的危险信号

注意以下这些面试者的回应:

  • 用不确定而非好奇回应(“我猜也许…")
  • 需要被引导到实际解决方案
  • 无法独立提出测量方法

我经常看到这样的模式:

我:“你如何验证你的改进确实有效?”

候选人:“我猜我们可以收集更多验证数据…”

我:“那用户行为呢?”

候选人:“哦…对…”

优秀候选人的特征

最优秀的候选人表现出:

  • 关于测量的系统思维
  • 专注于理解当前行为
  • 对用户反馈和指标的兴趣
  • 务实的改进方法

最好的回应始于:

“首先,我们需要理解成功是什么样子的。我们是否对用户如何使用平台有可观测性?我们如何知道工具选择失败?”

组建合适的团队

对于构建基于LLM应用的AI公司,以下是需要优先考虑的:

基础设施先行

  1. 健壮的遥测系统
  2. 清晰的成功指标
  3. 评估框架

合适的技能

  1. 系统思维
  2. 测量专注
  3. LLM理解

未来发展

  1. 数据收集
  2. 系统化改进
  3. 可扩展架构

展望未来

我们最终需要传统的ML专业知识吗?当然。但首先,我们需要建立能让这些专业知识发挥价值的基础。

目前,我们需要能够完成以下工作的工程师。

  1. 构建健壮的测量系统
  2. 实施系统化改进
  3. 清晰思考LLM行为
  4. 创建可扩展评估框架

AI工程的未来不仅仅是ML专业知识——更是构建能够有效利用和改进AI能力的系统。我们越早认识到这一点,就越能更好地构建和扩展AI产品。