За пару ночей до NeurIPS-дедлайна Uszkoreit вспомнил, что для статьи нужно название. Jones отметил, что команда пришла к радикальному отказу от лучших практик того времени (в особенности LSTM) ради одного подхода: attention. Тут Джонс, как настоящий британец, вспомнил песню “битлов”: “All You Need Is Love”. Почему бы не назвать нашу статью “Attention Is All You Need”?
Так 8 сотрудников Google написали статью про “трансформеры” и изменили мир.
Где авторы этой статьи сегодня?
Ashish Vaswani - основатель Essential AI, а ранее - Adept
Noam Shazeer - основатель Character AI
Niki Parmar - со-основатель Essential AI, а ранее - Adept
Jakob Uszkoreit - основатель Inceptive
Llion Jones - основатель Sakana AI
Aidan N. Gomez - основатель Cohere
Lukasz Kaiser - сотрудник OpenAI и один из создателей Q*
Illia Polosukhin - основатель NEAR
Все (кроме NEAR) продолжают работу над трансформерами.
Photo credit: Contrary Research
Подробности, как появилась эта революционная статья - в новой статье Стивена Леви.
