一部のバグに対して再現性がない

[mtj0928]

D4JのMath 13に対して，実行ログが毎回異なる．　
全てのmathの実験結果が異なるわけではない(むしろ多くの場合は異ならない)．
原因は不明

[mtj0928]

Math 12でも発生

[shinsuke-mat]

作業メモ

math013のkgp構成，1世代 x 20個体 (タイムアウト3000秒)

$ cd math013
$ cat kgenprog.toml
root-dir = "./"
src  = ["src/main/java"]
test = ["src/test/java"]
exec-test = ["org.apache.commons.math3.optimization.fitting.PolynomialFitterTest"]
max-generation = 1
mutation-generating-count = 20
time-limit = 3000
log-level = "DEBUG"

kgpのバージョン

$ cd kgp
$ git show
commit 9cafd2e0f1630300700bf672ac461596147fb92b (HEAD -> master, tag: v1.3.5, origin/master, origin/HEAD)
...
$ gradle assemble
$ kgp=$(realpath build/libs/kGenProg-1.3.5.jar)

1回目 (win環境なのでencoding指定付き)

$ (cd ../math013; echo java -Dfile.encoding=UTF8 -jar $kgp)
...
Variants: generated 20, build-succeeded 2, build-failed 15, syntax-invalid 1, redundant 2
Fitness: max 0.7777777777777778(1), min 0.0(1), ave 0.3888888888888889

2回目

$ (cd ../math013; echo java -Dfile.encoding=UTF8 -jar $kgp)
...
Variants: generated 20, build-succeeded 2, build-failed 15, syntax-invalid 1, redundant 2
Fitness: max 0.8888888888888888(1), min 0.0(1), ave 0.4444444444444444

確かに再現していない
1世代目のsyntax-validの1個体目から結果が変わってる

[shinsuke-mat]

可視化の結果
1回目

2回目

適用されている操作が全く同じなのに，テストの結果が異なる．
AST操作自体は再現されているが，テスト結果が再現しない問題っぽい．

テストが再現しないのでfitnessが変わる
→ それ以降の結果がどんどん変わっていく．

テストメソッド PolynomialFitterTest#testRedundantUnsolvable が怪しい．
path = src/test/java/org/apache/commons/math3/optimization/fitting/PolynomialFitterTest.java

[shinsuke-mat]

一旦作業ミスがあった古いコメントを削除．
後学のため，作業ミスの混乱を排除してコメントを書き直し．

[shinsuke-mat]

いろいろ前提情報

注意

mathにはほぼ同名っぽい2つのテストクラスがある．
見間違えると混乱するので注意．

org.apache.commons.math3.optimization.fitting.PolynomialFitterTest // こっちがd4jの言う落ちるテスト
org.apache.commons.math3._____________fitting.PolynomialFitterTest // こっちは関係ない

前者が古いテストで古いObsoleteなAPIを利用している．
後者が新しいテストっぽい．
後者は今回の問題には全く関係ないので無視すること．

ラベル付け

• PolynomialFitterTest#testRedundantUnsolvable → testR，
• PolynomialFitterTest#testLargeSample → testL，

テストがどうfailするか

d4j曰く，testL がOutOfMemoryErrorで死ぬバグらしい．
kgpの可視化を見る限り，testR が再現していないようには見える．

なお，kgpでは testL はタイムアウトで死ぬ．

start: org.apache.commons.math3.optimization.fitting.PolynomialFitterTest#testLargeSample
fail: test timed out after 10 seconds

OutOfMemory が発生する前に10秒経過で落ちているととらえると納得．