"при этом" вводным словом не является, а потому выделять запятыми не нужно, то есть, например, писать правильно так:
В дипломе были одни пятёрки. При этом он совершенно не знал математики
(ц)
Но тем не менее - запятая может быть поставлена как подчёркивающий что-то (напр. - противопоставление) авторский знак.
