一个为AI开发数学基准的组织直到最近才披露其获得了OpenAI的资助，这引发了AI社区一些人的不当行为指控。
Epoch AI是一个主要由Open Philanthropy资助的非营利组织，Open Philanthropy是一家研究和赠款基金会。该组织在12月20日透露，OpenAI支持了FrontierMath的创建。FrontierMath是一个专家级问题的测试，旨在测量AI的数学技能，OpenAI用它来演示即将推出的旗舰AI产品o3。
在LessWrong论坛上，一位使用用户名“Meemi”的Epoch AI承包商表示，许多贡献者在OpenAI的参与公开之前并未被告知。
“关于这一点的沟通一直不透明，”Meemi写道。“在我看来，Epoch AI应该披露OpenAI的资金，承包商在选择是否参与基准时应该获得关于他们工作的潜在用途的透明信息。”
在社交媒体上，一些用户对此保密表示担忧，认为这可能会削弱FrontierMath作为客观基准的声誉。除了支持FrontierMath，OpenAI还对基准中的许多问题和解决方案有了深入了解——这一事实在12月20日宣布o3之前并未被Epoch AI透露。
斯坦福大学数学博士生卡里娜·洪在X上也指控称，由于与Epoch AI的安排，OpenAI对FrontierMath拥有特权访问权，这让一些贡献者感到不满。
“六位对FrontierMath基准贡献显著的数学家确认[给我]……他们并不知道OpenAI将对这个基准（而其他人不会）拥有独占访问权，”洪说。“大多数人表示，如果他们知道这一点，他们不确定自己是否会参与。”
在回应Meemi的帖子时，Epoch AI副主任和该组织的联合创始人之一塔梅·贝西罗格鲁坚称，FrontierMath的完整性没有受到影响，但承认Epoch AI在透明度方面“犯了一个错误”。
“我们被限制在o3推出时才披露合作关系，回想起来，我们应该更努力地争取尽早向基准贡献者透明，”贝西罗格鲁写道。“我们的数学家有权知道谁可能访问他们的工作。尽管我们在合同上被限制了我们可以说的内容，但我们应该让与贡献者的透明度成为我们与OpenAI协议中不可谈判的一部分。”
贝西罗格鲁补充说，虽然OpenAI可以访问FrontierMath，但与Epoch AI有一个“口头协议”，即不使用FrontierMath的问题集来训练其AI。（在FrontierMath上训练AI就像是为了考试而教学。）贝西罗格鲁表示，Epoch AI还有一个“单独的保留集”，作为对FrontierMath基准结果进行独立验证的额外保护。
“OpenAI……完全支持我们保持一个单独、未公开的保留集的决定，”贝西罗格鲁写道。
然而，Epoch AI首席数学家埃利奥特·格拉泽在Reddit上的一篇帖子中指出，Epoch AI尚未能够独立验证OpenAI的FrontierMath o3结果。
“我个人认为[OpenAI的]分数是合法的（即，他们没有在数据集上进行训练），而且他们没有任何理由对内部基准表现撒谎，”格拉泽说。“然而，在我们的独立评估完成之前，我们不能为他们担保。”
这一事件再次展示了开发经验基准以评估AI的挑战——以及在没有产生利益冲突感知的情况下为基准开发获取必要资源的困难。
