Ядром линейного оператора $A: X \rightarrow Y$ называется множество
$${x \in X∣ Ax=0}$$ -- т.е. таких элементов из области определения $A$, для которых результат действия на них оператором равен нулевому элементу векторного пространства $Y$, т.е. того, в которое оператор производит отображение.
Обозначается ядро оператора $A$ как $\ker A$, т.е. кратко определение оператора можно записать как:
$$\ker A = {x \in X∣ Ax=0}$$