Transformer: wnętrze modelu
Nastał czas iść dalej. Pora się uzbroić i przejść przez wnętrze modelu, oraz najwspanialszy mechanizm self-attention.
IV etap: początek
Wiedziałbyś już, jak zakodować zdanie, aby zachować wszystkie informacje — pozostaje jednak zagadką, jak
model potrafi te informacje przetworzyć. Przejdziemy więc przez cały model i pokażemy to na przykładach, bo
tak najłatwiej to zrozumieć.
Za przykład posłuży nam zdanie The cat sit on the mat. Po wszystkich
dotychczasowych przekształceniach (z
poprzednich pokojów) każdy token dostaje pewien wektor, a my złożymy te wektory w macierz X.
| x₁ | x₂ | x₃ | |
|---|---|---|---|
| The | 0.12 | -0.35 | 0.81 |
| cat | 0.91 | 0.15 | -0.24 |
| sit | -0.18 | 0.77 | 0.35 |
| on | 0.54 | -0.11 | 0.63 |
| the | 0.10 | -0.32 | 0.79 |
| mat | -0.62 | 0.58 | 0.11 |
Przyjmijmy, że te wektory zawierają w sobie informacje o pozycji i znaczeniu oraz mają 3 wymiary. Wartości są losowe — służą wyłącznie ilustracji.
Zaloguj się, aby czytać dalej
To tylko początek modułu. Załóż darmowe konto lub zaloguj się, aby mieć dostęp do bezpłatnych modułów.