Для файла:
git rm --cached mylogfile.log
для папки:
git rm --cached -r mydirectory
Так можно удалить уже залитый (push) файл/папку из удалённого репозитория (например, GitHub).