从情理和法理上来看，拒绝退卡都不对。卡里的资金是你付给食堂作为消费的预付金，如果消费金额未用完预付金的，剩下的余额仍然是你的。至于你是否在这里继续消费，是你的个人选择，如果不准备再次消费的，退卡并退回余额是食堂经营方的应有之义。如果坚持无故拒绝退钱退卡的，是非法占有他人财产的行为。建议和食堂方理性沟通，如果食堂方拒绝配合，可以向校方投诉，如果校方不配合，可以向教育局，媒体举报。说理的地方总是有的。
