FPGAで各種画像フィルタを実装するというのは良く行われます。 ちょっと検索した範囲では、フィルタに必要な3x3のデータ等を作るのに必要な回路の構成法について、 詳しく記載されているページを見つけることができませんでした。 FPGA使いには当たり前なのかもしれませんが、あまり画像処理回路に詳しくない場合、 その方法が分かりにくいことも考えられます。

それで、参考までに資料を作成しました。

とにかく、Block RAMの使い方とレイテンシ調整がキモになります。