Тэг (тег) - что это в программировании (tag)

Тэг -- это некое ключевое слово, которое что-то значит для какой-то программной системы (то есть это слово является не просто текстом, более того, тэги обычно не отображаются для пользователя являясь, как бы встроенными в текст командами).

Обычно тэги применяются в языках разметки (а-ля HTML).
То есть нужно чтобы отделять разные части документа друг от друга. Именно на основании HTML-тэгов (html - самый яркий пример их использования), веб-браузер понимает, какую часть страницы показывать пользователю, а какую, скажем, поисковому роботу.

Или какой фрагмент текста сделать более крупным шрифтом, а какой более мелким.

Одинарные тэги

В принципе можно тэг понимать как команду для какой-программы, например в html, для перевод строки в текст документа вставляют одинарный (такой тэг не открывает блока данных, а служит указанием сам по себе) html-тэг:

<br>

Двойные тэги

Но чаще тэг служит границей (началом или концом) какого либо блока, например в файлах php-скриптов можно писать одновременно и php-код и html разметку (например, как здесь). Чтобы отделить код от разметки используют открывающий php-тэг:

<?php

-- в качестве же закрывающего используют тэг из двух символов:

?>

-- показывает, что блок с php-кодом закончился.

Многие тэги сгруппированы по парам, так, например, в HTML для выделения текста жирным используют тэг b:

просто текст, </b> жирный текст </b>

а для абзацы "окружают" тэгом пэ:

<p> первый абзац </p>
<p> второй абзац </p>

Тэги в PHP -- есть ли они

В PHP самом по себе тэгов нет, а тэги:

<?php   ?>

служат, чтобы выделить php код из чего-то ещё, например, из html-файла.

С другой стороны, если подразумевать под тэгами некие слова-границы внутри текста, то "тэгами" в php можно считать, например, знаки многострочных комментариев:

/* это не код */ 

которые являются указанием интерпретатору на то, то текст внутри них не надо воспринимать как код и не надо исполнять. Обычно их называют знаками комментариев.