この記事で，
その計算さえ面倒なら数値微分(今風に呼ぶと自動微分?)しても良いです．良しなにやってください．
と書いたんですが，怖いおじさんから自動微分と数値微分は違うとのご指摘をいただきここに訂正させていただきます・・・．ご指摘ありがとうございます．ニワカなのがバレていく・・・．
先ほどググっていくつか記事を読みましたが，自動微分はバックプロパゲーション(BP)を包含する上位概念で，数値微分とは別物です．数値微分は微分係数を求めることを目的としますが，自動微分はネットワーク構造を持つモデルでチェインルールを使うことで，出力側の微分係数を使って入力側の微分係数を構成します(フィードフォーワードのNNの状況だとBPと同値)．
雑なことを書いてすみませんでした・・・．
