完全な形でのBPTTは計算コストがかかるので，実現されいませんでした。時間的に完全な形でのBPTTによる学習が行われたのは２００７年のグレーブスの論文からでした。実装では今でも時間的に完全なBPTTを解くよりも切断BPTTを使う場合があります。ChainerもTensorFlowもBPTTの時間幅はオプションで指定します。

学習時には，勾配消失問題，勾配爆発問題を回避するために，勾配正規化，勾配クリップという技法が使われます。