Problemas para usar o comando ssh no script

[Adonai Silveira Canez]

Pessoal, estou fazendo um script para sincronizar dois diretórios, e
uma das etapas é a remoção de arquivos do servidor remoto que eu estou
realizando usando o comando ssh conforme o código abaixo.
Eu leio de um arquivo o caminho completo dos arquivos que vão ser
removidos e apago eles logando no servidor via ssh e usando o comando
rm para remover, mas não sei porque quando eu coloco o comando ssh no
loop, o loop só executa uma vez e não apaga os outros arquivos que
estão na lista.
O login automático no ssh esta funcionando bem, por isso não sei o que
pode estar interrompendo o loop.

while read linha
do
      echo Removendo arquivo do servidor remoto: ${linha}
     ssh ${SERV_REMOTO_USER}@${SERV_REMOTO} 'rm -f ${linha}'
done < ${DIR_SCRIPT}/arquivos_removidos_serv_local.txt

Também aceito sugestões de outros comandos para realizar esse processo
de remoção remoto, creio que deve existir uma forma melhor para
remover arquivos de um servidor remoto.

Adonai