Мощный AI теперь помещается в коробку размером с книгу

Глава AMD вышла на сцену с компьютером размером с толстую книгу. И прямо на нём запустила мощный искусственный интеллект. Обычно такой AI работает на огромных серверах. А тут он крутится в маленькой коробке – без интернета и облака. Эта коробка тянет одну из самых больших AI-моделей в мире – сравнимую по масштабу с топовыми чат-ботами вроде ChatGPT. Чем «больше» модель, тем умнее её ответы. Раньше такие жили только в дата-центрах за миллионы долларов.

У коробки очень много памяти – 128 гигабайт. AI нужна память, чтобы целиком «поместиться» и работать. Даже топовые игровые видеокарты Nvidia за тысячи долларов дают всего 24–32 ГБ – в 3 раза меньше. В одном тесте коробка обогнала дорогую видеокарту Nvidia больше чем в 3 раза. Но это когда AI слишком большой и в видеокарту просто не влезает. На моделях поменьше Nvidia всё ещё быстрее – и тест проводила сама AMD.

Источник: precisox в Х