你跟单位讲明原因了吗?如果单位同意的话,就是双方协商一致,那么就是可以终止协议;如果单位不同意的话,就是属于个人单方的,应该是需要交违约金的吧。
那你要和另一方好好商量了,如果他同意就不用交了,如果不同意,那你和他签了合同,肯定要交违约金了。