Nonparametric Kernel Regression Subject to Monotonicity Constraints

Peter Hall and Li-Shan Huang
The Annals of Statistics
Vol. 29, No. 3 (Jun., 2001), pp. 624-647

自分で使うかもしれないから読んだ論文。
この前もうちの大学でカンファレンスがありましたが、関数の形状に制約があるような下でのノンパラメトリックな推定って流行っているようです。

この論文のように単調性であったり、経済学っぽい話だとスルツキー行列が半負値という条件の下での需要関数の推定など。
経済学のモデルが導く形状への制約を最大限に使うっていう方向でもりもり発展していくのではないかと思ってます。

単調性のもとでNonparametric Regressionをするとき、一番メジャーな方法は「ノンパラメトリックに推定した関数が単調になるようにサンプルを選ぶ」っていう感じだと思います。y=f(x)+εっていう関数を単調増加っていう条件のもとで推定したいとしても、実際のデータ上では、ｘがすごく大きいけどｙの値が小さいっていうデータは出てきうる。何らかの基準のもとで、実際に使うデータを選んで（ｘがすごく大きいけどｙの値が小さいデータやxが小さいけどｙが大きいデータを無視して）推定するっていう感じです。

この論文では、通常のカーネル推定の方法を拡張して、単調性を入れれるようにしている。
たとえば、
$g(x)\equiv E(Y|X=x)$
という関数を推定したいとき、適当なAをとって、
$\hat{g}(x)=n^{-1} \sum A_i(x)Y_i$
という風に推定するのが一般的だが（カーネル推定も含まれる）、各サンプルに割り振るウェイトを1/nでなく、p_iとし、
$\hat{g}(x|p)= \sum p_i A_i(x)Y_i$
と書くこともできる。
ここで、p_iを
$\hat{g}'(\cdot |p)\geq 0$
という制約の元で、一様分布
$p^{uni}=(1/n,....,1/n)$
との距離を最小にするように選び、そのargminで出てくるｐをつかってｇを推定する。

これで、定義から単調性は担保されるし、Consistencyやなんやらも証明される。
直感的には、単調性をViolateするようなサンプルに小さい確率を割り振ることで単調性を確保しつつ、一様分布との乖離をPunishすることでConsistentな推定を可能にしているっていうことでしょうか。

僕が少しブートストラップ法や経験尤度を勉強したからか、すごくシンプルかつ直感的な方法に思えるし、すごくいい論文だと思った。実際のインプリメントするのも難しくなさそうだ。