Что бы работал :git => "github/mymodule" в capistrano:deploy необходимо

указать в deploy.rb

ssh_options[:forward_agent] = true
default_run_options[:pty] = true

это будет пробрасывать в удаленный шелл ваши локальные ключи

и первый раз из шелла на удаленном сервере сделать

ssh git@github.com для того что бы github.com был добавлен в known hosts