NLP Нейросети: Что должен знать стажер - С чего начать

По рекомендации коллеги:

Можно почитать/изучить на эту тему:

• 1. База по NLP, тут хорошо подойдет курс Елены Войты https://lena-voita.github.io/nlp_course.html
• 2. Лекции от стэнфорда cs224n https://web.stanford.edu/class/cs224n/
• 3. Что-то более углубленное про языковые модели. Тут конкретный курс не могу посоветовать, но можно в этом репозитории посмотреть материалы https://github.com/mlabonne/llm-course

Если все-все изучить, то думаю уже уровень выше стажера будет, но там уже от практического опыта зависит

Если по темам, то что-то такое:

• База NLP: эмбеддинги, токенизация, стандартные задачи NLP и метрики для них, трансформеры,
• LLM: стратегии обучения и инференса на нескольких GPU, PEFT, LLM training: pretraining, sft, alignment, бенчмарки LLM, стратегии генерации, ускорение инференса с помощью разных фреймворков (llama.cpp, vllm и тд), Retrieval-augmented-generation и тд, few/zero-shot learning

Что по математике:
По математике ожидаем, что кандидат понимает мат основу тех подходов, которые описаны выше. Также ожидаются базовые знания по матану, линалу, теорверу и статистике.
(Какой-нибудь стандартный курс по математике для ML это покрывает)