текст
В Китае создали нейросеть в 10 раз мощнее самой «продвинутой» нейросети GPT-3
Отмечается, что для обучения новой сети китайские исследователи использовали изображения и тексты общим объёмом почти пять терабайтов, где 1.2 терабайта представляли собой тексты на китайском и английском языках.
Специалисты Пекинской академии искусственного интеллекта разработали новую генеративную нейронную сеть глубокого обучения Wu Dao 2.0 с рекордным количеством параметров обучения, позволяющим ей обойти по мощности нейросети Open AI GPT-3 и Google Switch Transformers.
Известно, что одна из самых «продвинутых» нейросетей мира Open AI GPT-3 использует для своего обучения 175 миллиардов параметров, что позволяет ей писать довольно осмысленные тексты, имитируя человеческую речь, создавать музыку и даже писать программный код.
В новой разработке китайских исследователей количество параметров обучения составило в 10 раз больше GPT-3, или 1.75 триллиона. Для сравнения, самая мощная из нейросетей Google Switch Transformers использует в своей работе 1,6 триллиона параметров для имитации человеческой речи.
Wu Dao 2.0 представляет собой мультимодальную сеть. Она может писать эссе, двустишия на традиционном китайском языке, распознавать изображения и генерировать их на основе словесного описания, создавать кулинарные рецепты и предсказывать трёхмерную структуру белков.
Отмечается, что для обучения новой сети китайские исследователи использовали изображения и тексты общим объёмом почти пять терабайтов, где 1.2 терабайта представляли собой тексты на китайском и английском языках. Об интересе к разработке уже успели заявить 22 компании, включая Xiaomi.
Фото: SupChina
Технологии
Илья Склюев
Машины и Механизмы
Всего 0 комментариев
«Роскосмос» улучшит точность системы ГЛОНАСС до 10 сантиметров после 2030 года
Процесс таяния льда в Арктике протекает в два раза быстрее, чем считалось
