textbot

Вне зависимости от многочисленных метамоделей памяти, можно выделить следующие варианты кратковременной памяти о тексте (включая статьи, книги, диалоги, переписки и т.д.):

• запоминается вся предыдущая информация; (1)

• запоминается n последних токенов из текста; (2)

• запоминается некоторая сжатая модель длины k всей предыдущей информации; (3)

• запоминаются n последних токенов из текста и некоторая сжатая модель длины k всей предыдущей информации. (4)

Вариант 1 нереализуем из-за потенциально большой длины текста. Вариант 2 суть метамодель типа Attention/Transformer (BERT, GPT и т.д.). Вариант 3 есть метамодель типа RNN-LSTM. Вариант 4 суть метамодель “рекуррентного Transformer’а”.