谁来评测评测者?好评测的标准
X:TypeSafe AI (@typesafeai)AIHOT score 35/100
Summary
谁来评测那些评测者? 一个好的评测是: - 短暂的。它只截取某一时刻的状态与能力。 - 有依据的。它直接衡量你关心的任务和数据上的表现。 - 具体的。它针对的是期望结果本身,而不是其某种代理指标。 记好了!
Original title
who benchmarks the benchmarkers?
X:TypeSafe AI (@typesafeai)AIHOT score 35/100
谁来评测那些评测者? 一个好的评测是: - 短暂的。它只截取某一时刻的状态与能力。 - 有依据的。它直接衡量你关心的任务和数据上的表现。 - 具体的。它针对的是期望结果本身,而不是其某种代理指标。 记好了!
who benchmarks the benchmarkers?