计算真正有用的工作。
定义什么样的交付物可以验收。版本更多,不等于获批资产更多。
模型可以生成更多。要了解团队是否工作得更好,应看哪些成果被接受、用了多久,以及质量如何。
定义什么样的交付物可以验收。版本更多,不等于获批资产更多。
记录准备、执行、检查与返工时间。生成时间只是其中一部分。
保持范围、复杂度、周期和质量标准一致,并公开来源与假设。
选择一个示例,看看比较之前需要记录什么。
两次衡量采用相同范围和验收标准。
示意示例这些示例是衡量模板,不描述客户结果,也不计算生产力提升。
Wiwo 的历史估计缺少足够的公开文档供人复现,因此保留作背景参考,不视为已验证结果。
在明确流程中记录的活动、通过验收的交付物、人工时间、审核与返工。
仅凭 token、图像或调用次数,不能证明质量、生产力、因果关系或业务结果。
使用某项数据前,先检查证据状态和比较条件。
上一版报告了 200 亿词元当量、218 万次操作、6 zettaFLOPs、35% 的智能体流程和 8.7 倍系数。但复现这些数字所需的完整时间区间、原始记录、换算规则和分母均未公布。因此,这里仅将其保留为当时报告的历史估算,而非经验证的结果。
评估能力时,应记录任务、数量、初始人工时间、辅助后时间、审核和返工,并保持质量标准一致。比较需要相当的群体和时间窗口。
未公开公式和假设时,不要将 token、图像或调用次数换算为等效产出。质量、成本、采用率和业务结果应分开衡量。
衡量记录应包含时间区间、样本、来源、公式、排除项、负责人及可复现证据。在这些信息齐备前,不应将估算作为基准或保证。
说明 Wiwo 内部评审中的指标与假设。请结合视频一并阅读其限制。
让我们审视一项任务、它的基线,以及评估它所需的信息。