OpenAI 发布低资源编程语言研究,测试模型能否理解并生成相关代码。它关系到企业能否辅助改造维护成本高昂的遗留系统,而不只是补全冷门语法。
原文:Advanced coding in low-resource programming languages
低资源不等于语言小众
这里的“低资源”指模型可用的训练材料、文档和测试数据较少,不代表使用人数一定少。
常见缺口有三类:
- 公开代码少。GitHub 上的项目、版本和框架组合有限。
- 文档零散。老式编译器手册、厂商 FAQ 和旧邮件很难统一获取。
- 标准测试集少。缺少像 Python
pytest生态那样稳定的公共基准。
因此,模型生成的代码可能语法正确,却无法在目标工具链中编译。
不同语言的限制也不一样。COBOL 方言、PLC 指令集或厂商专用语言,可能涉及固定列布局、数据段规则、编译器差异,以及内存和寄存器限制。
所以,“能补全语法”与“能交付程序”之间,还隔着编译、执行、测试和部署。
代码生成要放进反馈循环
低资源语言中的代码生成,不能只看模型一次输出了多少代码。更可靠的流程是:
- 读取旧代码和接口。
- 检索目标语言及设备文档。
- 生成修改方案。
- 调用编译器并运行测试。
- 根据错误继续修复。
关键在执行反馈。没有编译器、测试环境和设备模拟器,模型只能猜。
下面这段代码只能做 Python 语法检查:
from pathlib import Path
import subprocess
source = Path("candidate.py")
result = subprocess.run(
["python", "-m", "py_compile", str(source)],
capture_output=True,
text=True,
)
if result.returncode != 0:
print(result.stderr)
raise SystemExit(result.returncode)
print("compile passed")
对真实项目,这只是最低门槛。还要加入 lint、单元测试、集成测试、安全扫描和回滚验证。
Agent 可能先用于局部改造
一些低资源语言恰好出现在无法轻易重写的系统中,例如:
- 工控设备里的 PLC 和专用控制代码。
- 银行、保险和电信系统的老旧核心模块。
- 医疗设备中的固件与接口程序。
- 航空、汽车和制造设备里的嵌入式软件。
- 已运行多年、文档散落在 PDF 和旧邮件里的内部系统。
这些系统的主要成本来自维护和替换风险,不是代码量。一个字段映射或协议分支改错,都可能影响设备运行。
AI Agent 的潜在作用,是读取仓库、检索文档、调用编译器、执行测试,再按失败结果修改文件。它适合先处理边界清楚的小范围任务,不适合直接接管生产系统。
上线前,企业至少要回答:
- 模型能否接触敏感仓库和生产配置?
- 测试环境能否覆盖真实设备行为?
- 生成代码是否通过安全与合规审查?
- 修改失败时能否回滚?
这些问题没有答案,自动迁移就更接近演示项目,而不是生产方案。
评测要记录硬结果
原文没有给出本次 Hacker News 讨论的页面数据,因此不应引用未经原始页面核实的 points 或评论数量。
低资源语言的评测也不能停留在文本相似度。更硬的结果包括:
| 评测项 | 检查内容 |
|---|---|
| compile | 目标工具链能否接受代码 |
| test | 程序行为是否符合预期 |
| lint | 是否违反语言或项目规范 |
| security scan | 是否引入已知漏洞 |
| dependency check | 依赖是否可用,是否存在已知供应链风险 |
| deploy dry-run | 能否进入目标运行环境 |
还要加入人工整理的领域规则。例如,PLC 的 I/O 映射、嵌入式目标的内存限制,以及固定列宽等约束。它们不能只写进提示词。
评测结果也应区分:模型首次生成是否通过,以及 Agent 经过编译、测试和多次修复后是否通过。前者衡量代码生成,后者更接近软件工程 Agent。
编辑思考
这件事重要,因为它把代码模型的能力边界推向遗留系统。低资源语言的用户往往不多,但对应的设备、协议和业务维护成本很高。一次局部迁移是否成功,可能直接影响生产线或业务连续性。
我的判断是,近期更有效的不是让单个模型独立接管项目,而是把文档检索、编译器、测试环境和领域规则接入 Agent。模型负责提出修改,工具提供反馈,工程师负责设备与安全边界。这比按语言数量评估覆盖能力更实用。
它与过去的软件生成演示不同:以前多看单段代码是否像,现在必须验证能否编译、测试和部署。不过,原始研究能否覆盖真实企业环境,目前还不能确定。尤其是测试数据、工具链版本和设备差异,仍需要企业自行补齐。