正確に言うと、インサートモードで入力した文字以外を delete で消せない。
ということで .vimrc に以下設定追加したらできるようになりました。ついでにカーソルの移動についても便利な設定あったので追加してます。(リンク先から全コピです）
参考：vimのインサートモード中にカーソルキー及びBSキーが使えるようにする | sseze's blog
"viとの互換性を無効にする(INSERT中にカーソルキーが有効になる)
set nocompatible
"カーソルを行頭，行末で止まらないようにする
set whichwrap=b,s,h,l,<,>,[,]
"BSで削除できるものを指定する
" indent : 行頭の空白
" eol : 改行
" start : 挿入モード開始位置より手前の文字
set backspace=indent,eol,start
めちゃ便利。