В Китае создали нейросеть в 10 раз мощнее самой «продвинутой» нейросети GPT-3
Илья Склюев –
Отмечается, что для обучения новой сети китайские исследователи использовали изображения и тексты общим объёмом почти пять терабайтов, где 1.2 терабайта представляли собой тексты на китайском и английском языках.
Специалисты Пекинской академии искусственного интеллекта разработали новую генеративную нейронную сеть глубокого обучения Wu Dao 2.0 с рекордным количеством параметров обучения, позволяющим ей обойти по мощности нейросети Open AI GPT-3 и Google Switch Transformers.
Известно, что одна из самых «продвинутых» нейросетей мира Open AI GPT-3 использует для своего обучения 175 миллиардов параметров, что позволяет ей писать довольно осмысленные тексты, имитируя человеческую речь, создавать музыку и даже писать программный код.
В новой разработке китайских исследователей количество параметров обучения составило в 10 раз больше GPT-3, или 1.75 триллиона. Для сравнения, самая мощная из нейросетей Google Switch Transformers использует в своей работе 1,6 триллиона параметров для имитации человеческой речи.
Wu Dao 2.0 представляет собой мультимодальную сеть. Она может писать эссе, двустишия на традиционном китайском языке, распознавать изображения и генерировать их на основе словесного описания, создавать кулинарные рецепты и предсказывать трёхмерную структуру белков.
Отмечается, что для обучения новой сети китайские исследователи использовали изображения и тексты общим объёмом почти пять терабайтов, где 1.2 терабайта представляли собой тексты на китайском и английском языках. Об интересе к разработке уже успели заявить 22 компании, включая Xiaomi.
Фото: SupChina
Это новость от журнала ММ «Машины и механизмы». Не знаете такого? Приглашаем прямо сейчас познакомиться с этим удивительным журналом.