Egor Howell thumbnail

📝 Egor Howell Blog

Ключевые выводы и инсайты

  • Для успешной карьеры в AI необходимы крепкие навыки программирования и софтверной инженерии, особенно Python, но также полезны языки как Rust, Go или Java.
  • Изучение фундаментальной математики (статистика, линейная алгебра, калькуляция) критично для глубокого понимания работы моделей ИИ.
  • Современный AI — это в основном генеративный AI и Large Language Models (LLM), но важно понимать историю и базовые принципы машинного обучения.
  • Для глубокого понимания и практического применения AI нужно изучать как теорию, так и практические навыки — строить проекты и развивать hands-on опыт.
  • Роль AI инженера больше связана с развёртыванием и интеграцией существующих моделей, чем с разработкой моделей с нуля.
  • В обучении важна итеративность, обучение на практике, а также сравнение себя только с прошлым собой, а не с другими.

Практические стратегии

  • Начать с изучения Python через курсы FreeCodeCamp (4 часа), «Python for Everybody» на Coursera, а также практиковаться на HackerRank, LeetCode и NeetCode.
  • Изучать фундаментальную математику с помощью трёх основных ресурсов: «Practical Statistics for Data Science», «Mathematics for Machine Learning» и курса «Mathematics for Machine Learning and Deep Learning Specialization» от DeepLearning.AI.
  • Для машинного обучения рекомендованы книги и курсы:
  • Книга «Hands-On Machine Learning with Scikit-Learn, TensorFlow and Keras» — полный охват тем.
  • Курс «Machine Learning Specialization» от Andrew Ng.
  • Книга «100-page Machine Learning Book» для быстрого обзора.
  • Книга «Elements of Statistical Learning» для глубокого понимания теории.
  • Буткемп «Zero to Mastery Complete AI, Machine Learning and Data Science Bootcamp» — для практического обучения с проектами.
  • Для глубокого обучения изучать PyTorch (предпочтительнее TensorFlow) и пройти курс «Deep Learning Specialization» от Andrew Ng.
  • После базового обучения смотреть видео «Introduction to LLMs» от Andrej Karpathy и пройти курс «Neural Networks Zero to Hero» — построение нейросетей и GPT с нуля.
  • Для понимания LLM и трансформеров рекомендована книга «Hands-On Large Language Models» от Jay Alammar.
  • Для AI инженерии и развёртывания моделей — книги «Practical MLOps» и «AI Engineering» от Chip Huyen.
  • Важно применять знания на практике, строить реальные проекты, а не ограничиваться теорией.

Конкретные детали и примеры

  • PyTorch использовался в 77% исследовательских работ в 2021 году и 92% моделей на Hugging Face.
  • Курс FreeCodeCamp по Python длится 4 часа и охватывает базовые темы.
  • «Hands-On Machine Learning with Scikit-Learn, TensorFlow and Keras» — ключевая книга, покрывающая фундаментальные темы, включая reinforcement learning и LLM.
  • Курс Andrew Ng по машинному обучению — один из старейших и наиболее уважаемых.
  • Буткемп Zero to Mastery охватывает проекты: приложение для диагностики сердечных заболеваний, предсказатель цены бульдозера, классификатор пород собак.
  • Книга Jay Alammar — расширенная версия известного блога «The Illustrated Transformer».
  • Andrej Karpathy — ведущий исследователь AI, его видео и курсы дают современное понимание LLM.

Предупреждения и распространённые ошибки

  • Не нужно пытаться изучить все ресурсы досконально, это может привести к перегрузке и застою.
  • Не стоит пренебрегать практикой — теория без реализации малоэффективна.
  • Не ограничивайтесь только поверхностным использованием готовых моделей — понимание работы моделей под капотом важно для развития.
  • Не сравнивайте себя с другими, только с прошлым собой — это помогает держать мотивацию и видеть прогресс.
  • Не думайте, что можно обойтись без математики, если хотите стать экспертом.

Ресурсы и следующие шаги

  • Курсы:
  • FreeCodeCamp — Learn Python
  • Coursera — Python for Everybody
  • Coursera — Machine Learning Specialization (Andrew Ng)
  • DeepLearning.AI — Deep Learning Specialization
  • Zero to Mastery — AI, Machine Learning and Data Science Bootcamp
  • Книги:
  • «Practical Statistics for Data Science»
  • «Mathematics for Machine Learning»
  • «Hands-On Machine Learning with Scikit-Learn, TensorFlow and Keras» (Aurélien Géron)
  • «100-page Machine Learning Book» (Andriy Burkov)
  • «Elements of Statistical Learning»
  • «Hands-On Large Language Models» (Jay Alammar)
  • «Practical MLOps»
  • «AI Engineering» (Chip Huyen)
  • Видео и курсы от Andrej Karpathy:
  • «Introduction to LLMs»
  • «Neural Networks Zero to Hero»
  • Практика на платформах HackerRank, LeetCode, NeetCode.
  • Следующий шаг — выбрать один из ресурсов и начать практическое изучение с проектами.
  • Для ускорения обучения можно воспользоваться персональным коучингом и CV-ревью, предложенными автором.

Основные темы

  • Важность навыков программирования и софтверной инженерии в AI.
  • Роль Python и альтернативных языков в AI-разработке.
  • Фундаментальная математика для AI: статистика, линейная алгебра, калькуляция.
  • История и современное состояние AI, акцент на генеративный AI и LLM.
  • Лучшие курсы и книги по машинному обучению и глубокому обучению.
  • Использование PyTorch как основной библиотеки глубокого обучения.
  • Понимание и построение LLM и трансформеров.
  • Значение AI инженерии и развёртывания моделей в продакшен.
  • Практика через проекты как ключ к успешному обучению.
  • Мотивация и советы по эффективному обучению и развитию в AI.