我租的房子合同到期后正常搬离，退房时房东检查了房屋，当时没提出任何问题。但之后一直以“需要核算”为由拖延退还押金（5000元）。一个月后，他突然声称墙面有污渍、厨房油烟机老化，要扣掉全部押金作为“维修费”，甚至说我搬走时没做彻底清洁，要额外收500元保洁费。请问这种情况下，我该如何通过法律途径要回押金？是否需要先发书面通知？如果起诉，需要准备哪些证据？