前回(開発史4)で、理論値(DryRun)の累積カーブが445トレードで右肩になった、と書きました。その後もカーブは伸びています。下のグラフが最新で、578トレード・除外なし。例によって縦軸の金額は非公開ですが、形はそのままです。
この右肩を作っているのは、出口の設計と、入口のフィルターです。今回はその入口のフィルターについて、評価で危うく間違えた話を書きます。8月の出来事で、すでに決着済み。当サイトの通常形式である「事後検証」に戻ります。
成績表の首位に、採用しかけた
当時、入場フィルター(当方は「門」と呼んでいます)の候補を複数、同じ期間のデータに並走させて評価していました。門とは「この条件を満たさない銘柄には入場しない」という関所です。
成績表を見ると、ある門——仮に門Aとします——が首位でした。差し引きの成績がいちばん良い。普通に考えれば、採用です。実際、採用する寸前まで行きました。
正体——通過率98%、負け31件中1件
止まったきっかけは、成績の「中身」を主指標で見直したことでした。門Aの通過率は98%。来た銘柄をほぼすべて通していたのです。その窓の負けトレードは31件。門Aが入口で止めた負けは、31件中わずか1件でした。
つまり門Aは、フィルターとしての仕事をほぼしていません。では、なぜ成績首位だったのか。答えは単純で、その期間の相場が良かったからです。大勝ち銘柄が連発する好調な窓では、何もしないフィルターは好調をそのまま透過します。晴れの日に差した傘を「この傘は雨を一滴も通さない名品だ」と評価するようなものです(本記事の比喩はこれ一つにします)。当方はこれを「素通し門」と呼んで、恒久の戒めにしました。
規律——フィルターは「何を排除したか」でしか測れない
この一件から、評価のルールを明文化しました。3つあります。
第一に、評価の主指標を「目的」に固定する。入場フィルターの目的は損失の排除です。だから主指標は「排除した負けの件数・排除率」であって、差し引きの成績ではない。差し引きは相場の良し悪しに簡単に汚染されます。
第二に、排除(守り)と犠牲(代償)を別々の軸で数える。フィルターは負けだけを選んで止めてはくれません。勝ちだったはずの銘柄も一緒に止めます。この犠牲を隠して「排除率87%」とだけ言うのは誇大広告です。両方並べて、交換が割に合うかを判断する。
第三に、合成指標ひとつで優劣を宣言しない。「守り−代償=差引」のような一本の数字に畳むと、相場の追い風と門の実力が混ざって見分けがつかなくなる——門Aの一件がまさにそれでした。
ちなみに同じ窓で、別の門Bは負け31件中27件(87%)を入口で止めていました。見かけの差引成績では門Aに劣って見える局面もあった。主指標を変えた瞬間に、序列が逆転したわけです。
もう一つの罠——半日で、判定が裏返る
評価にはもう一つ落とし穴がありました。ある門の判定が、半日で裏返ったのです。夜の時間帯のデータでは「良い門」、翌日の昼帯では「悪い門」。もし朝の時点の成績で採用を決めていたら、間違えていました。
以来、門の評価は事前登録制にしています。閾値・式・評価指標を先に文書で固定(封印)し、採点は封印した時刻より後の未来データのみで行う。過去データの答案を見てから線を引けば、どんな門でも好成績に見えてしまうからです。これは機械学習で言う過学習対策と同じ発想ですが、お金が懸かると人間は驚くほど簡単に「答案を見てから線を引き」ます。仕組みで縛るしかありません。
現在地——直近7日の、排除と犠牲の台帳
この規律は今も毎週回っています。直近7日(9/29〜10/6)の実測を、件数ベースでそのまま出します(金額は非公開)。現在の入口は4系統のフィルター構成です。
| 項目 | 件数 |
|---|---|
| 入口に来た銘柄 | 604件 |
| 通過して入場 | 506件(通過率83.8%) |
| 入口で排除 | 98件 |
| └ 排除した中身: 負けだったはず | 66件(崩落25・手数料負け41) |
| └ 排除した中身: 勝ちだったはず | 32件(うち大勝ち級19件) |
| 通過して実際に負けた | 382件(崩落148・手数料負け234) |
この表の読み方が、この記事の本題です。まず、犠牲の行が隠されていないこと。入口の守りは、66件の負けを止める代わりに、32件の勝ち(うち19件は大勝ち級)を道連れにしています。この交換が割に合うかどうかは金額で別途検証していますが、「割に合う/合わない」以前に、両方の行が台帳に載っていることが規律です。片側だけ見せられたフィルターの成績は、信用してはいけません。
次に、通過側でまだ382件が負けていること。通過率83.8%は、8月の素通し門(98%)よりは締まっていますが、まだ粗い。入口の改善余地は大きく、それが現在の検証テーマです。それでも累積カーブが右肩なのは、前回書いた通り、少数の大勝ちが多数の小さな負けを養う構造が機能しているからです。
これはBotだけの話ではない
「素通し門」は、たぶんどこにでもいます。施策のABテストで、市場全体が伸びている時期に「打ち手が効いた」と評価されるケース。好相場の年に「このファンドは優秀だ」と評価されるケース。環境の追い風と、仕組みの実力は、意識して分離しないと必ず混ざります。分離の最初の一歩が、「この仕組みの目的は何か」を一行で書き、その目的の指標だけを主指標にすることです。差し引きの総合成績は、いちばん最後に見る数字であって、最初に見る数字ではない——当方はこれを授業料付きで学びました。
まとめ
要点は3つです。第一に、見かけの好成績は環境の反映かもしれない。通過率98%・負け31件中1件排除の門が、成績表の首位にいた。フィルターの価値は「何を排除したか」でしか測れない。第二に、守りと犠牲は別軸で数えて、両方公開する。直近7日の実測では、負け66件を止める代わりに勝ち32件を犠牲にしている——この行を隠した台帳は台帳ではない。第三に、評価は事前登録・封印で未来データのみ。答案を見てから引いた線は、必ず楽観になる。
実弾(Live)側の検証は前回宣言した通り継続中です。決着がついたら——勝っても負けても——書きます。
本記事の内容は2026年8月〜10月の当方検証に基づきます。金額・フィルター条件の数値等は非公開です。本記事は投資助言ではありません。暗号資産の自動売買には元本を失うリスクがあります。
コメント