まとめて色々vimの設定をかえたら、vimのカーソル移動が急に遅くなってしまいました。.vimrcをところどころコメントアウトしていって原因を探していったところ、とても初歩的なミスだったので、ちゃんと原因を探すのがめんどくさい人がググって見つかるようにメモしておきます。
僕の場合、マークダウンの見出しサイズを変えるのに設定した以下のようなキーマップに、移動キーが含まれていたのが原因でした。移動キーが含まれているキーマップを設定してしまうと、次のキーを押すか、一定時間何も押されないのを待つまで、どのコマンドなのかを判断できないため、移動が遅くなってしまいます。
" markdown
:nnoremap h1 mx0i<C-r>'#<ESC>`x
:nnoremap h2 mx0i<C-r>'##<ESC>`x
:nnoremap h3 mx0i<C-r>'###<ESC>`x
:nnoremap h0 mx0dw`x
h*の部分をt*に変えて解決。ちなみに上記のキーマップは、いまいる行の先頭に#をいれたり消したりできるようになっていて、ちょっとしたメモをマークダウンでとるときにはMouを普段使っている僕としては便利だと思っています。