贷款评估费不是给银行也不是给中介，这个费用是给评估机构的。如果是在贷款前产生的评估费，这个费用由贷款人承担。而在贷款过程中产生了评估费，则这个评估费用由银行来承担。当用户的贷款评估费是违规收取的，则可以通过与银行协商的方式要求退回评估费。

另外，通常在办理抵押贷款时会需要进行评估，这时候银行与贷款人会就评估费进行约定，约定后按照约定的内容来执行。