这种事情，你起诉不了银行，只能起诉你的前妻。因为银行是与你建立贷款合同，而不是你的前妻，离婚协议只起到证明应由女方缴清剩余贷款的作用。如果你要与银行终止合同关系，必须是在全额还清剩余贷款的情况下。起诉女方的理由就是：女方拒不履行离婚协议书里写明的还清剩余房贷的义务。
