serj_aleks wrote in metamodeling

Categories:

Конструкторы и Трансформеры

Теория конструкторов - это новый подход к формулировке фундаментальных законов физики. Вместо описания мира в терминах траекторий, начальных условий и динамических законов, в теории конструкторов законы касаются того, какие физические преобразования возможны, а какие невозможны и почему.

С момента своего появления Трансформеры стали предпочтительной моделью для решения многих проблем обработки естественных языков, заменив старые модели рекуррентных нейронных сетей, такие как долговременная краткосрочная память (LSTM). Поскольку модель Transformer способствует большему распараллеливанию во время обучения, она дает возможность обучения на больших наборах данных, чем это было возможно до того. Внедрение Transformer выявило тот факт, что механизмы внимания сами по себе являются мощными и что последовательная периодическая обработка данных не является необходимой для достижения прироста производительности RNN с вниманием. 

Error

Anonymous comments are disabled in this journal

default userpic

Your reply will be screened