TeraTermで接続するといいでしょう。
以下の記事の(5)SSHでの接続　です。
http://sm.seeeko.com/archives/18733856.html

接続した後は、TeraTermの画面の「ファイル」>「SSH SCP」を開き
From　にWindows上のファイルを指定し、ToにAWSのLinux上パスを指定します。
そして、「Send」を押すだけです。

※デフォルトのままだと、/home/ec2-user/　のフォルダにUploadされることでしょう。

※残念ながら、フォルダごとのUploadはできません。なので、やる場合は圧縮が必要です（※未実施）