bfcl和appword数据集论文结果复现

[linw-z]

你好，想请教一下，参数按照你们的设置配置

模型：qwen3-8b，且记忆文件用的是你们提供出来的记忆文件
跑出来的结果如下
bfcl v3结果如下：
pass@1 pass@2 pass@3 pass@4
file
bfcl-multi-turn-base-val-no-memory.jsonl 0.4350 0.5400 NaN 0.6200
bfcl-multi-turn-base-val_518-fixed-8b-me... 0.4000 0.4967 NaN 0.5867
bfcl-multi-turn-base-val_518-dynamic-8b-... 0.4367 0.5533 NaN NaN
appworld结果：

                                                                        pass@1  pass@2  pass@4  

file
test_normal-no-memory.jsonl 0.1503 0.1994 0.2321
test_normal-fixed-8b-memory.jsonl 0.1443 0.2083 0.2738
test_normal-dynamic-8b-memory.jsonl 0.1473 0.2351 0.3214

论文中标注的结果：

为什么基线和fixed固定记忆的结果也会相差那么多呢？这正常吗？并且我做了多次实现，发现每次的结果不一样，有的时候fixed-memory要比no-memory的pass@4高一点，有的时候要低一点

[linw-z]

其中，appworld的no-memory的结果为什么会差那么多，我跑出来的是test_normal-no-memory.jsonl 0.1503 0.1994 0.2321
论文中是pass@4 32.85（～23.21），非常期待您的回复

[jinliyl]

@linw-z Thank you very much for your feedback. Regarding the reproduction of this experiment, please reach out to Yingcao Zou at https://github.com/zouyingcao.
She has already left our team and only responds to questions occasionally. If you're in urgent need of assistance, feel free to contact her directly through her GitHub.

[zouyingcao]

@linw-z hello linw，我有收到你的email，相关问题已回复，希望能帮助到你～