さくらVPSで(Errno::ECONNREFUSED: Connection refused – connect(2))エラー

Capistranoでデプロイ環境を構築する | ミラボ

ポート番号が指定されていないとエラーになるようである。
故に、以下のように設定する必要がある。

set :ssh_options, :port => "ポート番号"

なお、ポート番号は/etc/ssh/sshd_configで確認出来る。
SSHの設定 | 初心者でもわかる！さくらVPS | Sakura VPS 設定マニュアル