sign_and_send_pubkey: signing failed for RSA "...." from agent: agent refused operation
По аналогии с этой ошибкой, проблема в слишком широких правах на ключи, дадим права только на чтение и запись:
chmod 700 ~/.ssh && chmod 600 ~/.ssh/*
