第四范式获得大语言模型评测专利,提升模型评估准确性!近日,国家知识产权局公布了第四范式(北京)技术有限公司一项名为“针对大语言模型的评测方法、装置、设备及存储介质”的专利申请(申请公布号:cn118862% t h ] G e $ Q l868a)。
该专利提出了一种创新的评测方法,通过构建对抗性任务来评8 b E估大语言模型的能力。这些任务需要多个参与者协同完成,并依赖参与者的语言理解和逻辑推理能力。多个大语言模型同时参与执行这些任务,每个模型对应至少一个参与者。K e g t e [ 1最终,系统根据任务执行信息对这些大语言模型进行综合O t & W i F |评估。
这项技术巧7 w U q D 2 =妙地利用了对抗性任务的多样性和对手行为的不确定性,有效防g \ y +止了模型通过预先, [ E Q C q a V \拟合数据集进行作弊或数据攻击,从而克服了传统固定数据集评测方法的局限性,@ ] = v Z 0 7 C V显著提高了大语言模型F @ R J G l ` c评估的准确性和可靠性。
以上就是第四范式“针对大语言模型的评测方法、装置、设备及存储介质”专利公布的详p | I q 3 : h V细内容!