如果说是银行方的失误，导致系统误认为用户逾期，从而收取了逾期罚息，用户可以通过申诉，要求撤销征信报告中的逾期记录，并退回罚息。而用户自己没有按时还款，银行根据规定收取了罚息，这种情况罚息是不会退回的。

总而言之，罚息能否退回要看过错方是哪一方，用户自己的过错，是无法追回罚息的。