Что такое механизм внимания в трансформере?
Механизм внимания позволяет модели одновременно смотреть на все временные точки в истории и определять, какие события важнее всего. Например, при анализе котировок акции внимание может выделить день крупной новости или отчёт о прибыли, игнорируя шум. Это не просто фильтр — модель сама учится весам, которые определяют релевантность каждого события.