Великі мовні моделі, нейронні мережі, навчання на немаркованому тексті, самокероване навчання, широке застосування в обробці природної мови, переваги перед спеціалізованими моделями, розвиток штучного інтелекту, різноманітні завдання, попереднє навчання на великих корпусах.