Смотря через какую программу сжимаешь. Про такие форматы, как avi и wmv забудь сразу - ютуб их люто ненавидит из-за того, что это стандарты мелкомягких, а гугл, которому принадлежит ютаб, их злейший враг.
Ну, а из универсальных - mp4 или flv. Но, к сожалению, они сами по себе делают качество видео ущербным. Так что тут зависит от того, через что и как сжимаешь - видеоредактор или просто конвертер.