如果快递未能按照约定退回到指定地址，应该先与快递公司联系，寻求解决方案。如果快递公司不予配合或解决问题，可以向消费者协会投诉或通过相关平台投诉。在投诉时应提供相关证据，如快递单号、收发地址及时间、联系记录等，以便有力地维护自己的权益。