出口罚金问题

现在碰到个问题，有个单子是12年11月出口到阿尔及利亚的，货到港后，客户迟迟未提货（是14年12月份我才知道此事），我们工厂是没出口权，找代理公司出口的，14年收到代理公司通知说船公司要我们交罚金2万多usd，还打对折，只要交1万美金，可是，我们工厂很冤枉啊，到港三个月内客户不提货。为什么不通知我们啊。于是找到货代问，货代说中间人换了好几波，有没有收到船公司通知也不知道，船公司那边也没证据说通知没通知。
现在就要工厂负这个责任。现在求救工厂一定非要交这个罚金吗？我知道船公司肯定是找代理的，因为我们还有钱在代理账上，代理要扣我们账上的钱。所以这事我们工厂要怎么处理好呢？