合同的解除需要双方协商一致才可以，相对方单方退还定金并不等于取消了合同，相对方的行为只是表达了不继续履行合同的意愿，该行为是违约的。作为守约方可以要求继续履行合同也可以要求适用定金罚则。《合同法》第九十三条当事人协商一致，可以解除合同。当事人可以约定一方解除合同的条件。解除合同的条件成就时，解除权人可以解除合同。第一百一十五条当事人可以依照《中华人民共和国担保法》约定一方向对方给付定金作为债权的担保。债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定的债务的，无权要求返还定金；收受定金的一方不履行约定的债务的，应当双倍返还定金。