Raspbian 2016-11-25 のリリースから ssh がデフォルトで無効になっていて port 22: Connection refused となる。

起動してからキーボードで有効化してもいいが、boot パーティション (FAT) のルートに "ssh" という名前のファイルを作っておけば、sshd が起動するようになっている。

たとえば (OS X ) 以下のように

touch /Volumes/boot/ssh
sudo umount /Volumes/boot