Słowniczek systemów uczących się

W tym glosariuszu znajdziesz ogólne terminy związane z systemami uczącymi się oraz charakterystycznych dla TensorFlow.

A

ablacja

Technika oceny znaczenia cech lub komponent przez tymczasowe usunięcie go z modelu. Następnie ponownie trenujesz model bez tej funkcji lub komponentu. Jeśli po ponownym przeszkoleniu model działa znacznie gorzej, prawdopodobnie usunięta funkcja lub komponent był ważny.

Na przykład załóżmy, że trenujesz model klasyfikacji na 10 funkcjach i uzyskać precyzję na poziomie 88%, zestaw testowy. Aby sprawdzić znaczenie pierwszej cechy, możesz przetrenować model tylko z użyciem 9 innych cech. Jeśli ponownie wytrenowany model osiąga znacznie gorszą skuteczność (na przykład precyzji wynoszącej 55%), usunięta funkcja była prawdopodobnie ważna. Jeśli natomiast model po ponownym przeszkoleniu działa równie dobrze, prawdopodobnie dana cecha nie była aż tak ważna.

Ablacja może również pomóc określić znaczenie:

• większe komponenty, np. cały podsystem większego systemu ML.
• procesy lub techniki, np. etap wstępnego przetwarzania danych

W obu przypadkach możesz obserwować, jak zmienia się (lub nie zmienia) skuteczność systemu po usunięciu komponentu.

Testy A/B

Statystyczny sposób porównywania dwóch (lub więcej) technik – A, i B. A to zazwyczaj istniejąca technika, a B to nowa technika. Testy A/B nie tylko określają, która technika jest skuteczniejsza, ale też czy różnica jest istotna statystycznie.

Testy A/B polegają zwykle na porównaniu jednego danych za pomocą 2 metod: na przykład jak dokładność modelu wypada dla dwóch? ? Testy A/B mogą jednak porównywać dowolną ograniczoną liczbę danych.

układ akceleratora

Kategoria specjalistycznych komponentów sprzętowych zaprojektowanych do do obliczeń potrzebnych w algorytmach deep learning.

Układy akceleracyjne (czyli po prostu akceleratory) mogą znacznie zwiększyć szybkość i wydajność zadań związanych z trenowaniem oraz wnioskowaniem w porównaniu z procesorem uniwersalnym. Są one idealne do trenowania sieci neuronowych i podobnych zadań wymagających dużej mocy obliczeniowej.

Przykłady układów przyspieszających:

• Jednostki Tensor Processing Unit (TPU) firmy Google (TPU) z dedykowanym sprzętem do deep learningu.
• Procesory graficzne NVIDIA, które chociaż początkowo były zaprojektowane do przetwarzania grafiki, mają umożliwiać równoległe przetwarzanie, co może znacznie zwiększyć szybkość przetwarzania.

dokładność

Liczba prognoz poprawnych klasyfikacji podzielona przez przez łączną liczbę prognoz. Czyli:

Na przykład model, który dokonał 40 poprawnych prognoz i 10 błędnych prognozy będą miały dokładność:

Klasyfikacja plików binarnych zawiera konkretne nazwy dla różnych kategorii prawidłowych prognoz i niepoprawnych prognoz. Wzór dokładności w przypadku klasyfikacji binarnej:

gdzie:

• TP to liczba wyników prawdziwie pozytywnych (prawidłowych prognoz).
• TN to liczba wartości prawdziwie negatywnych (prawidłowych prognoz).
• FP to liczba wyników fałszywie dodatnich (nieprawidłowych prognoz).
• FN to liczba wyników fałszywie negatywnych (nieprawidłowe prognozy).

Porównaj dokładność z precyzjością i czułością.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36499) / (0 + 36499 + 0 + 25) = 0.9993 = 99.93%

Więcej informacji znajdziesz w artykule Klasyfikacja: dokładność, czułość, precyzja i powiązane z nimi dane z Kursu intensywnego z systemów uczących się.

działanie

W przypadku uczenia przez wzmacnianie mechanizm, za pomocą którego agent przejścia między stanami klasy środowisko. Agent wybiera działanie na podstawie polityki.

funkcja aktywacji

Funkcja, która umożliwia sieciom neuronowym uczenie się nonlinear (złożone) relacje między obiektami; i etykietę.

Popularne funkcje aktywacji:

• ReLU
• Sigmoid

Wykresy funkcji aktywacyjnych nigdy nie są pojedynczymi liniami prostymi. Na przykład wykres funkcji aktywacji ReLU składa się z: dwie proste linie:

Schemat funkcji aktywacji sigmoidalnej wygląda tak:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Zobacz Sieci neuronowe: aktywacja funkcje w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

aktywne uczenie się

Metoda treningowa, w której algorytm wybiera część danych, z których się uczy. Aktywna nauka jest szczególnie przydatny, gdy przykłady oznaczone etykietami są rzadkie lub kosztowne. Zamiast ślepo szukać zróżnicowanego zakresu przykładów z oznacznikami, algorytm aktywnego uczenia się selektywnie wyszukuje określony zakres przykładów, których potrzebuje do nauki.

AdaGrad

Zaawansowany algorytm gradientu prostego, który zmienia skalę gradientów każdego parametru, co w efekcie daje każdemu parametrowi niezależną szybkość uczenia się. Pełne wyjaśnienie znajdziesz w materiałach na temat tym artykule AdaGrad.

agent

W nauczaniu wzmacniającym jest to podmiot, który korzysta z reguły, aby zmaksymalizować oczekiwany zwrot uzyskany z przejścia między stanami otoczenia.

Ogólnie rzecz biorąc, agent to oprogramowanie, które autonomicznie planuje i wykonuje sekwencję działań w celu osiągnięcia celu, przy czym jest w stanie dostosować się do zmian w swoim środowisku. Na przykład agent oparty na LLM może używać LLM do generowania planu zamiast stosować zasady uczenia ze wzmocnieniem.

grupowanie aglomeracyjne

Zobacz hierarchiczne grupowanie.

wykrywanie anomalii

Proces identyfikowania wyjątków odstających. Jeśli np. średnia cechy wynosi 100, a odchylenie standardowe – 10, wykrywanie anomalii powinno oznaczyć wartość 200 jako podejrzaną.

AR

Skrót od terminu rzeczywistość rozszerzona.

powierzchnia pod krzywą PR

Zobacz PR AUC (obszar pod krzywą PR).

powierzchnia pod krzywą ROC

Zobacz AUC (obszar pod krzywą ROC).

sztuczna inteligencja

Mechanizm niebędący człowiekiem, który wykazuje szerokie spektrum umiejętności rozwiązywania problemów, kreatywności i adaptacji. Na przykład program prezentujący sztuczne na podstawie ogólnej inteligencji potrafi tłumaczyć tekst, skomponować symfonie oraz doskonalić w grach, które nie zostały jeszcze wynalezione.

sztuczna inteligencja

Program lub model nieprzeznaczony dla ludzi, który potrafi rozwiązać złożone zadania. Na przykład program lub model, który tłumaczy tekst, lub program lub model, który identyfikuje choroby na podstawie obrazów radiologicznych, wykorzystuje sztuczną inteligencję.

Formalnie systemy uczące się to poddziedzina sztucznej inteligencji. Jednak w ostatnich latach niektóre organizacje zaczęły używać terminów sztuczna inteligencja i uczenie maszynowe zamiennie.

uwaga

Mechanizm używany w sieci neuronowej, który wskazuje znaczenie danego słowa lub jego części. Uwaga kompresuje ilość informacji, których model potrzebuje, aby przewidzieć następny token/słowo. Typowy mechanizm uwagi może składać się suma ważona na zbiorze danych wejściowych, gdzie waga poszczególnych danych wejściowych jest obliczana przez inną część dzięki sieci neuronowej.

Zapoznaj się też z konceptami samouczenia się i samouczenia się z wieloma głowami, które są elementami składowymi transformacji.

Zobacz LLM: co to jest duży język model 3D? w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

atrybut

Synonim funkcji.

W obiektywności uczenia maszynowego atrybuty często odnoszą się do na cechy fizyczne.

próbkowanie atrybutów

Taktyka trenowania lasu decyzji, w którym każdy Drzewo decyzji uwzględnia tylko losowy podzbiór możliwych funkcje podczas poznawania stanu. Zazwyczaj w przypadku każdego węzła jest losowany inny podzbiór cech. Natomiast podczas trenowania drzewa decyzyjnego bez próbkowania atrybutów dla każdego węzła są brane pod uwagę wszystkie możliwe cechy.

AUC (obszar pod krzywą ROC)

Liczba z zakresu od 0,0 do 1,0, która reprezentuje zdolność modelu klasyfikacji binarnej do oddzielania klas pozytywnych od klas negatywnych. Im wartość AUC jest bliższa wartości 1,0, tym większa zdolność modelu do rozdzielenia i lekcji.

Na przykład ilustracja poniżej przedstawia model klasyfikatora, który doskonale oddziela klasy pozytywne (zielone owalne pola) od klas negatywnych (fioletowe prostokąty). Ten nierealistycznie idealny model ma AUC 1,0:

Ilustracja poniżej przedstawia wyniki modelu klasyfikatora, który generował losowe wyniki. Ten model ma wartość AUC wynoszącą 0,5:

Tak, poprzedni model ma AUC 0,5, a nie 0,0.

Większość modeli znajduje się gdzieś pomiędzy tymi dwoma skrajnościami. Na przykład plik poniższy model oddziela nieco wartości dodatnie od negatywnych, dlatego ma wartość AUC mieszczącą się w zakresie od 0,5 do 1,0:

AUC ignoruje każdą ustawioną wartość próg klasyfikacji. Zamiast tego AUC uwzględnia wszystkie możliwe progi kwalifikacji.

Zobacz klasyfikację: ROC i AUC w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

rzeczywistość rozszerzona

Technologia, która nakłada obraz wygenerowany komputerowo na widok świata widziany przez użytkownika, tworząc w ten sposób obraz złożony.

autoencoder

System, który uczy się wyodrębniać najważniejsze informacje z danych wejściowych. Autoenkoder to połączenie enkodera i dekodera. Autoenkodery działają w ramach następującego dwuetapowego procesu:

1. Koder mapuje dane wejściowe na (zwykle) stratny, mniej-wymiarowy (pośredni).
2. Dekoder kompiluje stratną wersję pierwotnych danych wejściowych przez mapowanie tym niższym wymiarom niż oryginalne, format wprowadzania.

Autoenkodery są trenowane kompleksowo, a dekodery próbują odtworzyć oryginalne dane wejściowe z pośredniego formatu kodowania w jak najbliższej postaci. Format pośredni jest mniejszy (mniejszy wymiar) niż w formacie oryginalnym, autokoder jest wymuszany aby dowiedzieć się, jakie informacje wejściowe są niezbędne, a dane wyjściowe nie będą będą całkowicie identyczne z danymi wejściowymi.

Na przykład:

• Jeśli dane wejściowe to grafika, kopia niepełna będzie podobna do oryginalnej grafiki, ale nieco zmodyfikowana. Być może kopia niepełna usuwa szum z pierwotnej grafiki lub wypełnia brakujące piksele.
• Jeżeli danymi wejściowymi jest tekst, autokoder wygeneruje nowy tekst, imituje (ale nie jest identyczny) oryginalny tekst.

Zobacz też automatyczne kodery zmiennoprzecinkowe.

błąd automatyzacji

Gdy osoba decyzyjna preferuje rekomendacje automatyczne do procesu decyzyjnego w odniesieniu do informacji podejmowanych bez automatyzacji, nawet gdy automatyczny system decyzyjny popełnia błędy.

Zobacz Obiektywność: typy uprzedzenie w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

AutoML

Każdy zautomatyzowany proces tworzenia systemów uczących się. modeli. AutoML może automatycznie wykonywać takie zadania jak:

• Wyszukaj najbardziej odpowiedni model.
• Dostosuj hiperparametry.
• Przygotuj dane (w tym wykonaj ekstrakcję wyróżników).
• Wdróż powstały model.

AutoML przydaje się badaczom danych, ponieważ pozwala zaoszczędzić czas wysiłek w tworzenie potoków systemów uczących się i usprawnienie prognozowania dokładności. Ta metoda jest też przydatna dla osób, które nie są ekspertami, ponieważ komplikują i zadania uczenia maszynowego łatwiej dostępne.

Więcej informacji znajdziesz w sekcji Automatyczne systemy uczące się (AutoML) w szybkim szkoleniu z uczenia maszynowego.

model autoregresywny

model, który wyprowadza prognozę na podstawie swoich poprzednich prognoz. Na przykład automatycznie regresywne modele językowe przewidują kolejne token na podstawie wcześniej przewidywanych tokenów. Wszystkie modele oparte na Transformer duże modele językowe są automatycznie regresywne.

Z kolei modele obrazów oparte na GAN zwykle nie są autoregresyjne, ponieważ generują obraz w jednym przejeździe do przodu, a nie w kolejnych krokach. Jednak niektóre modele generowania obrazów są automatycznie regresywne, ponieważ krok po kroku generują obraz.

strata usługi pomocniczej

Funkcja straty – używana w połączeniu z funkcją Model sieci neuronowej funkcję utraty danych, która pomaga przyspieszyć trenowanie podczas w przypadku wczesnych iteracji, gdy wagi są zainicjowane losowo.

Funkcje pomocnicze funkcji straty przesyłają skuteczne gradienty do wcześniejszych warstw. Ułatwia to konwergencji podczas treningu, ponieważ zwalcza problem zanikania gradientu.

średnia precyzja

Dane podsumowujące skuteczność sekwencji wyników uporządkowanych według rankingu. Średnia precyzja jest obliczana na podstawie średniej wartości precision dla każdego trafnego wyniku (każdy wynik lista rankingowa, na której czułość zwiększa się w stosunku do poprzedniego wyniku).

Zobacz też Obszar pod krzywą PR.

warunek wyrównany do osi

W drzewie decyzyjnym warunek, który obejmuje tylko 1 cechę. Na przykład, jeśli pole jest cechą, to taki warunek jest dopasowany do osi:

area > 200

Kontrast z warunkiem ukośnym.

B

propagacja wsteczna

Algorytm implementujący gradient gradientowy w sieci neuronowych.

Szkolenie sieci neuronowej obejmuje wiele iteracji w ramach tego 2-etapowego cyklu:

1. W trakcie przebiegu do przodu system przetwarza grupę obejmującą przykłady generowania prognoz. System porównuje każdą prognozę z każdą wartością etykiety. Różnica między prognozą a wartością etykiety to strata w danym przykładzie. System agreguje straty dla wszystkich przykładów, aby obliczyć łączną wartość dla bieżącego wsadu.
2. Podczas przesyłania wstecznego (backpropagation) system zmniejsza straty przez dostosowanie wag wszystkich neuronów we wszystkich warstwach ukrytych.

Sieci neuronowe często zawierają wiele neuronów w wielu ukrytych warstwach. Każdy z tych neuronów przyczynia się do całkowitej utraty danych na różne sposoby. Propagacja wsteczna określa, czy zwiększyć czy zmniejszyć wagę dla konkretnych neuronów.

Tempo uczenia się to mnożnik, który kontroluje stopień, o jaki każde przejście wstecz zwiększa lub zmniejsza każdą wagę. Duże tempo uczenia się będzie zwiększać lub zmniejszać każdą wagę więcej niż małe tempo uczenia się.

W ramach rachunku rachunkowego przez propagację wsteczną implementuje się reguła łańcucha. na podstawie rachunku różniczkowego. Oznacza to, że propagacja wsteczna oblicza częściową pochodną błędu względem każdego parametru.

Wiele lat temu osoby zajmujące się systemami uczącymi się musiały pisać kod, aby wdrożyć propagację wsteczną. Nowoczesne interfejsy API systemów uczących się, takie jak Keras, wdrażają teraz propagację wsteczną. Uff...

Zobacz Sieci neuronowe w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

bagging

Metoda treningu zbioru, w którym każdy model jest trenowany na losowym podzbiorze przykładów treningowych z wymianą. Na przykład losowy las to zbiór drzew decyzyjnych wytrenowanych za pomocą metody baggingu.

Termin bagging to skrót od bootstrap aggregating.

Więcej informacji znajdziesz w temacie lasy losowe w kursie Lasy decyzyjne.

torba słów

reprezentacja słów w wyrażeniu lub fragmencie tekstu, niezależnie od ich kolejności. Na przykład torebka słów reprezentuje te 3 wyrażenia w identyczny sposób:

• pies podskakuje
• skaczący pies
• pies skacze

Każde słowo jest mapowane na indeks w rozproszonym wektorze, gdzie wektor ma indeks każdego słowa w słowniku. Na przykład wyrażenie pies skacze jest mapowane na wektor cech z wartościami innymi niż 0 w 3 indeksach odpowiadających słowom the, dog i jumps. Wartość różna od 0 może być dowolna:

• 1 oznacza obecność słowa.
• Liczba wystąpień słowa w torbie. Jeśli na przykład wyrażenie brzmiałoby brązowy pies to pies o brązowym futrze, zarówno brąz, jak i pies miałyby wartość 2, a pozostałe słowa – wartość 1.
• Inna wartość, np. logarytm liczby razy jakieś słowo pojawi się w torbie.

bazowa

Model używany jako punkt odniesienia przy porównywaniu (zwykle jest on bardziej złożony). Na przykład model regresji logistycznej może stanowić dobrą podstawę dla głębokiego modelu.

W przypadku konkretnego problemu punkt odniesienia pomaga deweloperom modeli określić minimalną oczekiwaną skuteczność, jaką nowy model musi osiągnąć, aby był przydatny.

wsad

Zestaw przykładów użytych w jednej iteracji. Rozmiar wsadu określa liczbę przykładów w wsad.

Wyjaśnienie związku grupy z grupą znajdziesz w sekcji epoka. epoki.

Więcej informacji znajdziesz w sekcji Regresja liniowa: hiperparametry w Kursie intensywnym z obsługi uczenia maszynowego.

zbiorcze wnioskowanie

Proces wnioskowania na podstawie wielu danych przykłady bez etykiet podzielone na mniejsze podzbiory („wsady”).

Wnioskowanie wsadowe pozwala korzystać z funkcji równoległości układów akceleratora. Oznacza to, że wiele akceleratorów może jednocześnie dokonywać prognoz na różnych zbiorach nieoznaczonych przykładów, znacznie zwiększając liczbę wnioskowań na sekundę.

Zobacz produkcyjne systemy ML: statyczne a dynamiczne wnioskowanie w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

normalizacja wsadowa

Normalizowanie danych wejściowych lub wyjściowych funkcji aktywacyjnych w ukrytą warstwę. Normalizacja zbiorcza może przynieść następujące korzyści:

• Ustabilizuj sieci neuronowe, chroniąc je przed odstępstwami od normy.
• Włącz wyższe szybkość uczenia się, co może treningu prędkości.
• Zmniejsz nadmierne dopasowanie.

wielkość wsadu

Liczba przykładów w grupie. Jeśli na przykład rozmiar partii wynosi 100, model przetwarza 100 przykładów na iterację.

Oto popularne strategie dotyczące wielkości wsadu:

• Stochastic Gradient Descent (SGD), gdzie rozmiar wsadu wynosi 1.
• Pełny wsad, w którym rozmiar wsadu to liczba przykładów w całej training set (zestaw treningowy). Jeśli na przykład zbiór treningowy zawiera milion przykładów, wielkość wsadu będzie wynosić milion przykłady. Strategia polegająca na użyciu pełnej partii jest zwykle nieskuteczna.
• minipartii, w której rozmiar partii wynosi zwykle od 10 do 1000. Strategia minipartii jest zwykle najskuteczniejsza.

Więcej informacji znajdziesz w tych artykułach:

• Produkcyjne systemy ML: wnioskowanie statyczne a dynamiczne w szybkim szkoleniu z uczenia maszynowego.
• Dostrajanie do deep learningu Poradnik.

Bayesowskie sieci neuronowe

Prawdopodobna sieć neuronowa odpowiadająca za: niepewności w wagach i danych wyjściowych. Standardowa sieć neuronowa model regresji zwykle prognozuje wartość skalarną; Na przykład model standardowy przewiduje cenę domu, z 853 000. Bayesowskie sieć neuronowa przewiduje natomiast rozkład values; Na przykład model Bayesa przewiduje cenę domu na poziomie 853 000, odchylenie standardowe wynoszące 67 200.

Sieć neuronowa Bayesa korzysta z  twierdzenia Bayesa do obliczania niepewności wag i prognoz. Bayesowski neuronowy przydaje się, gdy trzeba ocenić niepewność, na przykład powiązanych z farmaceutykami. Bayesowskie sieci neuronowe również mogą pomóc i zapobiegaj nadmiernym dopasowaniu.

Optymalizacja bayesowska

Technika modelu regresji probabilistycznej służąca do optymalizacji kosztownej pod względem obliczeniowym funkcji celu, która zamiast tego optymalizuje funkcję zastępczą, która określa niepewność za pomocą techniki uczenia bayesowskiego. Optymalizacja bayesowska jest bardzo kosztowna, dlatego zwykle służy do optymalizowania zadań, które są kosztowne w weryfikacji i mają niewielką liczbę parametrów, np. dobierania hiperparametrów.

równanie Bellmana

W uczeniu ze wzmocnieniem ta tożsamość jest zaspokajana przez optymalną funkcję Q:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

Stosują je algorytmy uczenia przez wzmacnianie Tożsamość na potrzeby tworzenia Q-learning za pomocą tej reguły aktualizacji:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

Poza uczeniem wzmacniającym równanie Bellmana ma zastosowanie w programowaniu dynamicznym. Zobacz Wpis w Wikipedii dotyczący równania Bellmana

BERT (koder dwukierunkowy prezentacje z przekształceń)

Architektura modelu do reprezentacji tekstu. Wytrenowany model BERT może być częścią większego modelu do klasyfikacji tekstu lub innych zadań uczenia maszynowego.

BERT ma te cechy:

• Korzysta z architektury Transformer, a zatem opiera się na samouczeniu.
• Używa części enkodera w modelu Transformer. Zadaniem kodera jest tworzenie dobrych reprezentacji tekstu, a nie wykonywanie konkretnych zadań, takich jak klasyfikacja.
• Jest dwukierunkowy.
• Używa maskowania do treningu nienadzorowanego.

Dostępne warianty BERT:

• ALBERT czyli skrót od A Light BERT.
• LaBSE:

Zobacz Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Przetwarzam aby dowiedzieć się więcej o modelu BERT.

uprzedzenia (etyka/sprawiedliwość)

1. Tworzenie stereotypów lub faworyzowanie określonych rzeczy, ludzi lub grup względem innych. Te uprzedzenia mogą wpływać na zbieranie i interpretowanie danych, projektowanie systemu oraz sposób, w jaki użytkownicy z nim współpracują. Do form tego rodzaju uprzedzeń należą:

• automatyzacja
• efekt potwierdzenia
• błąd badacza,
• błędna atrybucja grupowa
• nieświadome uprzedzenia
• uprzedzenia w grupie
• odchylenie jednorodności poza grupą

2. Błąd systematyczny wprowadzony przez procedury próbkowania lub raportowania. Do form tego rodzaju uprzedzeń należą:

• odchylenia zasięgu
• błąd braku odpowiedzi
• błędów uczestnictwa
• błędów raportowania
• Błąd próbkowania
• odchylenie doboru

Nie należy mylić z terminem uprzedzeń w modelach systemów uczących się. czy odchylenia prognozy.

Zobacz Obiektywność: typy uprzedzenie w Szybkie szkolenie z uczenia maszynowego, aby dowiedzieć się więcej.

bias (matematyka) lub wyraz upośledzenia

Przecięcie lub przesunięcie od punktu początkowego. Odchylenie to parametr w systemów uczących się, które są symbolizowane przez :

• b
• ty₀

Na przykład wartość przesunięcia to b w tej formule:

W przypadku prostej linii dwuwymiarowej odchylenie oznacza po prostu „współrzędna y”. Na przykład na ilustracji poniżej nachylenie linii wynosi 2.

Występuje ona, ponieważ nie wszystkie modele zaczynają się od punktu wyjścia (0,0). Przykład: Załóżmy, że wstęp do parku rozrywki kosztuje 2 EUR i dodatkowo 0,5 euro za każdą godzinę pobytu klienta. Dlatego model mapujący łączny koszt ma odchylenie do 2, ponieważ najniższy koszt to 2 euro.

Uprzedzeń nie należy mylić z uprzedzeniami w kwestiach etyki i uczciwości czy odchylenia prognozy.

Zobacz regresję liniową. w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

dwukierunkowe

Termin używany do opisania systemu oceniającego tekst, który następuje i śledzi docelową sekcję tekstu. Natomiast jednokierunkowy system analizuje tylko tekst, który poprzedza docelowy fragment tekstu.

Rozważ na przykład model językowy z maskowaniem, który musi określać prawdopodobieństwo dla słów lub słów reprezentujących podkreślenie w następujące pytanie:

Jaka jest _____ z Tobą?

Model językowy jednokierunkowy musiałby opierać swoje prawdopodobieństwa tylko na kontekście określonym przez słowa „co”, „jest” i „ten”. W przeciwieństwie do tego: dwukierunkowy model językowy może też uzyskać kontekst dzięki słowu „z” i „Ty”, co może pomóc modelowi w generowaniu lepszych prognoz.

dwukierunkowy model językowy

model językowy, który określa prawdopodobieństwo wystąpienia danego tokena w danym miejscu w wyciągu z tekstu na podstawie poprzedzającego i następującego tekstu.

bigram

N-gram, w którym N=2.

klasyfikacja binarna

Typ zadania klasyfikacji, które prognozuje jedną z dwóch wzajemnie wykluczających się klas:

• klasa pozytywna,
• klasa wyników negatywnych.

Na przykład te 2 modele systemów uczących się osiągają skuteczność: klasyfikacja binarna:

• Model, który określa, czy wiadomości e-mail są spamem (klasa pozytywna) czy nie są spamem (klasa negatywna).
• Model, który ocenia objawy medyczne, aby określić, czy dana osoba ma określoną chorobę (klasa pozytywna) czy nie (klasa negatywna).

Porównaj z klasyfikacją wieloklasową.

Zobacz też regresję logistyczna i wartość progową klasyfikacji.

Więcej informacji znajdziesz w sekcji Klasyfikacja w szybkim szkoleniu z uczenia maszynowego.

warunek binarny

W drzewie decyzji warunek który ma tylko 2 możliwe wyniki – zwykle tak lub nie. Na przykład taki warunek binarny:

temperature >= 100

Porównaj z stanem niebinarnym.

Więcej informacji znajdziesz w sekcji Typy warunków w kursie Lasy decyzyjne.

Binning

Synonim bucketingu.

BLEU (Bilingual Evaluation Understudy)

Wynik od 0,0 do 1,0 włącznie, który wskazuje jakość tłumaczenia między dwoma językami ludzkimi (np. angielskim i rosyjskim). A BLEU Wynik 1,0 oznacza tłumaczenie perfekcyjne; Wynik BLEU równy 0,0 wskazuje kiepskie tłumaczenie.

wzmacnianie

Technika systemów uczących się, która iteracyjnie łączy zestaw prostych i niezbyt dokładnych klasyfikatorów (zwanych „słabymi”) w klasyfikator o wysokiej dokładności (czyli „silny”). Dokonuje tego, zwiększając wagę przykładów, które model obecnie klasyfikuje błędnie.

Zobacz decyzję z wzmocnieniem gradientu Drzewa? lekcji na temat lasów decyzyjnych.

ramka ograniczająca

Na obrazie współrzędne (x, y) prostokąta wokół obszaru zainteresowania, np. psa na obrazie poniżej.

transmisja

Rozszerzanie kształtu operandu w operacji matematycznej do postaci macierzy wymiarów zgodnych z tą operację. Na przykład w algebrze liniowej wymagane jest, aby 2 operandy w operacji dodawania macierzy miały te same wymiary. Nie można dodać macierzy kształtów (m, n) do wektora o długości n. Transmisja włącza tę operację przez wirtualnie rozszerzając wektor o długości n do macierzy kształtu (m, n) przez powielanie tych samych wartości w dół każdej kolumny.

Na przykład, biorąc pod uwagę poniższe definicje, algebra liniowa zabrania A+B, ponieważ A i B mają różne wymiary:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

Jednak transmisja umożliwia operację A + B poprzez wirtualne rozszerzenie B do:

 [[2, 2, 2],
  [2, 2, 2]]

A+B jest teraz prawidłową operacją:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

Zobacz opis tej funkcji transmisja w NumPy, aby uzyskać więcej informacji.

skategoryzowanie w przedziałach

Przekształcanie pojedynczej cechy w wiele cech binarnych zwanych zasobnikami lub bindami, zwykle na podstawie zakresu wartości. Przecięty obiekt to zwykle cechy ciągłej.

Na przykład zamiast przedstawiać temperaturę jako pojedynczą ciągłą cechę zmiennoprzecinkową, możesz podzielić zakresy temperatur na oddzielne zbiory, takie jak:

• <= 10 stopni Celsjusza będzie „zimno” zasobnika.
• Od 11 do 24 stopni Celsjusza to temperatura umiarkowana zasobnika.
• >= 25 stopni Celsjusza będzie „ciepłe” zasobnika.

Model będzie traktować każdą wartość w tym samym zasobniku jednakowo. Na przykład wartości 13 i 22 znajdują się w worku z umiarkowanym klimatem, więc model traktuje te 2 wartości tak samo.

Patrz: Dane liczbowe: Łączenie w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

C

warstwa kalibracyjna

Korekta po prognozie, zwykle uwzględniająca błąd prognozy. Skorygowane prognozy i wartości prawdopodobieństwa powinny być zgodne z rozkładem obserwowanego zbioru etykiet.

generacja kandydatów

Początkowy zestaw rekomendacji wybrany przez systemem rekomendacji. Weźmy na przykład księgarnię, która oferuje 100 tys. tytułów. Faza generowania kandydatów tworzy czyli znacznie krótszej listy książek odpowiednich dla konkretnego użytkownika, np. 500. Ale nawet 500 książek to za dużo, aby polecić je użytkownikowi. Kolejne, droższe fazy systemu rekomendacji (np. ocenianie i ponownie ustalanie rankingu) ograniczają te 500 wartości do znacznie mniejszego, bardziej przydatnego zestawu rekomendacji.

Zobacz Generowanie kandydatów omówienie znajdziesz więcej informacji o systemach rekomendacji.

próbkowanie kandydatów

Optymalizacja podczas trenowania, która oblicza prawdopodobieństwo dla wszystkich pozytywnych etykiet, używając na przykład softmaxa, ale tylko dla losowej próbki negatywnych etykiet. Na przykład w przypadku przykładu z etykietą beagle i dog próbkowanie kandydatów oblicza przewidywane prawdopodobieństwa i odpowiednie warunki utraty dla:

• beagle
• pies
• losowy podzbiór pozostałych klas negatywnych (np. cat, lizak czy płot).

Założenie jest takie, że klasy negatywne mogą się uczyć na podstawie rzadszego wzmocnienia negatywnego, o ile klasy pozytywne zawsze otrzymują odpowiednie wzmocnienie pozytywne. Jest to rzeczywiście obserwowane empirycznie.

Dobór kandydatów jest bardziej wydajny pod względem obliczeń niż algorytmy trenowania które obliczają prognozy dla wszystkich klas negatywnych, zwłaszcza gdy jest bardzo duża liczba klas negatywnych.

dane kategorialne

Funkcje mające określony zestaw możliwych wartości. Rozważmy na przykład cechę kategorialną o nazwie traffic-light-state, która może mieć jedną z tych 3 możliwych wartości:

• red
• yellow
• green

Dzięki temu, że traffic-light-state jest cechą kategoryczną, model może nauczyć się różny wpływ usług red, green i yellow na zachowanie kierowcy.

Funkcje kategorialne są czasami nazywane funkcjami dyskretnymi.

Kontrastuje z danymi liczbowymi.

Zobacz Praca z kategoriami dane w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

przyczynowy model językowy

Synonim jednokierunkowego modelu językowego.

Zobacz dwukierunkowy model językowy, aby: kontrastują różne podejścia kierunkowe w modelowaniu językowym.

centroid

Środek klastra określony za pomocą wartości k-średnich lub algorytm k-mediana. Jeśli na przykład k = 3, algorytm k-średnich lub k-median znajdzie 3 centroidy.

Zobacz Algorytmy grupowania. , aby dowiedzieć się więcej.

grupowanie oparte na centroidach

Kategoria algorytmów grupowania, które porządkują dane w niehierarchiczne klastry. Zmienna k-średnie jest najpopularniejszą algorytm grupowania oparty na centroidach.

kontrast z grupowaniem hierarchicznym; za pomocą algorytmów.

Zobacz Algorytmy grupowania. , aby dowiedzieć się więcej.

wykorzystanie w prompcie łańcucha myśli

Technika zastosowania prompta, która zachęca duży model językowy (LLM) do wyjaśnienia swojego rozumowania krok po kroku. Weź pod uwagę tę prośbę, zwracając szczególną uwagę na drugie zdanie:

Ile ciężarów g-my wystąpi w samochodzie, którego wartość mieści się w zakresie od 0 do 60 mil na godzinę w 7 sekundach? W odpowiedzi pokaż wszystkie odpowiednie obliczenia.

Odpowiedź LLM prawdopodobnie:

• Pokaż sekwencję wzorów fizycznych, dołączając wartości 0, 60 i 7 w odpowiednich miejscach.
• Wyjaśnij, dlaczego wybrano te wzory i co oznaczają poszczególne zmienne.

Prompty z łańcuchem myśli zmuszają LLM do wykonania wszystkich obliczeń, co może skutkować bardziej poprawną odpowiedzią. Ponadto prompt łańcucha myślenia umożliwia użytkownikowi sprawdzenie kroków LLM, aby określić, czy odpowiedź ma sens.

czat

Treść dialogu z systemem ML, zwykle z dużym modelem językowym. Poprzednia interakcja w czacie (to, co wpisujesz i jak duży model językowy reaguje) staje się kontekstem dla kolejnych części czatu.

Czatbot to aplikacja oparta na dużym modelu językowym.

punkt kontroli

Dane, które rejestrują stan parametrów modelu podczas trenowania lub po jego zakończeniu. Na przykład podczas szkolenia możesz:

1. Zatrzymanie trenowania, być może celowo lub w wyniku pewnych błędów.
2. Przechwyć punkt kontrolny.
3. Później ponownie załaduj punkt kontrolny, prawdopodobnie na innym sprzęcie.
4. Ponownie uruchom trening.

klasa

Kategoria, do której może należeć etykieta. Na przykład:

• W binarnym modelu klasyfikacji, który wykrywa spam, te 2 klasy mogą być oznaczone jako spam i nie spam.
• W modelu klasyfikacji wieloklasowej identyfikują rasy psów, na przykład: pudel, beagle, mops, i tak dalej.

Model klasyfikacji służy do prognozowania klasy. Model regresji prognozuje natomiast a nie klasą.

Zobacz klasyfikację w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

model klasyfikacji

model, którego prognoza to klasa. Na przykład wszystkie modele klasyfikacji:

• Model, który przewiduje język zdania wejściowego (francuski? Hiszpański? włoski).
• Model, który przewiduje gatunek drzewa (Maple? Dąb? Baobab?).
• Model, który prognozuje klasę pozytywną lub negatywną dla określonego stanu medycznego.

Modele regresji przewidują natomiast liczby, a nie klasy.

Dostępne są 2 popularne typy modeli klasyfikacji:

• klasyfikacja binarna
• klasyfikacja wieloklasowa

próg klasyfikacji

W przypadku klasyfikacji binarnej liczba z zakresu od 0 do 1, która przekształca wynik nieprzetworzony modelu regresji logistycznej w prognozę klasy pozytywnej lub klasy negatywnej. Pamiętaj, że próg klasyfikacji to wartość wybrana przez człowieka, a nie wartość wybrana przez trenowanie modelu.

Model regresji logistycznej zwraca wartość surową z zakresu od 0 do 1. Następnie:

• Jeśli ta wartość jest większa od progu klasyfikacji, prognozowana jest klasa pozytywna.
• Jeśli ta wartość jest niższa od progu klasyfikacji, przewidywana jest klasa negatywna.

Załóżmy na przykład, że próg klasyfikacji wynosi 0,8. Jeśli nieprzetworzona wartość wynosi 0,9, model przewiduje klasę pozytywną. Jeśli wartość surowa wynosi 0,7, model przewiduje klasę negatywną.

Wybór progu klasyfikacji w dużym stopniu wpływa na liczbę fałszywie pozytywnych i fałszywie negatywne.

Więcej informacji znajdziesz w sekcji Próg i macierz zamętenia w szybkim szkoleniu z uczenia maszynowego.

zbiór danych z niezrównoważonymi klasami

Zbiór danych do problemu klasyfikacji, w którym łączna liczba etykiet w poszczególnych klasach różni się znacznie. Weźmy na przykład zbiór danych klasyfikacji binarnej, w którym dwie etykiety są podzielone w taki sposób:

• 1 000 000 etykiet negatywnych
• 10 etykiet pozytywnych

Stosunek etykiet negatywnych do pozytywnych wynosi 100 000 do 1, więc jest to zbiór danych z niezrównowagą klas.

W przeciwieństwie do tego następujący zbiór danych nie jest równoważony w klasie, ponieważ stosunek etykiet negatywnych do etykiet pozytywnych jest względnie bliski 1:

• 517 etykiet negatywnych
• 483 etykiety pozytywne

Wieloklasowe zbiory danych też mogą być nierównoważone w stosunku do klas. Na przykład ten zbiór danych do klasyfikacji wieloklasowej jest również niezrównoważony pod względem klas, ponieważ jedna etykieta ma znacznie więcej przykładów niż pozostałe 2:

• 1 000 000 etykiet z klasą „green”
• 200 etykiet z klasą „fioletowy”
• 350 etykiet z klasą „pomarańczowy”

Zobacz też entropię, klasę większości i klasę mniejszości.

przycinanie

Technika radzenia sobie z wynikami odstającymi przez wykonanie jeden lub oba z tych elementów:

• Zmniejszanie wartości parametru feature, które są większe od wartości maksymalnej do tego maksymalnego progu.
• zwiększenie wartości atrybutów, które są mniejsze niż minimalny próg, do tego minimalnego progu;

Załóżmy na przykład, że mniej niż 0,5% wartości danej cechy wykracza się poza zakres 40–60. W takim przypadku możesz:

• Przytnij wszystkie wartości powyżej 60 (próg maksymalny), aby dokładnie ustawić 60.
• Wszystkie wartości poniżej 40 (minimalny próg) są przycinane do 40.

Wartości odstające od reszty mogą uszkodzić modele, czasami powodując przepełnienie wag podczas trenowania. Niektóre wartości odstające mogą też znacznie pogorszyć wyniki wskaźników takich jak trafność. Przycinanie to powszechna technika ograniczania szkody.

Odcięcie gradientu powoduje, że podczas trenowania wartości gradientu mieszczą się w określonym zakresie.

Więcej informacji znajdziesz w sekcji Dane liczbowe: normalizacja z Kursu intensywnego na temat uczenia maszynowego.

Cloud TPU

Specjalny akcelerator sprzętowy zaprojektowany z myślą o przyspieszaniu zadań systemów uczących się w Google Cloud.

grupowanie

Grupowanie powiązanych przykładów, zwłaszcza w okresie uczenie nienadzorowane. Gdy wszystkie przykłady zostaną pogrupowane, użytkownik może opcjonalnie nadać znaczenie poszczególnym klasterom.

Istnieje wiele algorytmów grupowania. Na przykład k-średnie algorytm grupuje przykłady na podstawie ich bliskości centroid, jak na tym schemacie:

Naukowiec może następnie przeanalizować klastry i na przykład oznacz grupę 1 jako „drzewa karłowate” i klastry 2 jako „pełnowymiarowe drzewa”.

Rozważmy kolejny przykład algorytm grupowania oparty na odległość od punktu środkowego, którą przedstawiono w następujący sposób:

Więcej informacji znajdziesz w Kursie dotyczącym klasteringu.

współadaptacja

Gdy neurony przewidują wzorce w danych treningowych, opierając się prawie wyłącznie na wyjściach innych neuronów, a nie na zachowaniu sieci jako całości. Jeśli w danych weryfikacyjnych nie występują wzorce, które powodują adaptację współbieżną, to powoduje ona nadmierne dopasowanie. Regularizowanie porzuceń ogranicza współadaptację bo rezygnacja sprawia, że neurony nie mogą polegać wyłącznie na konkretnych, innych neuronach.

filtrowanie grupowe

prognozowanie zainteresowań jednego użytkownika, na podstawie zainteresowań wielu innych użytkowników. Filtrowanie grupowe jest często stosowane w systemach rekomendacji.

Więcej informacji znajdziesz w temacie filtrowania współpracy w kursie dotyczącym systemów rekomendacji.

dryf koncepcji,

zmiana relacji między cechami a etykietą. Dryf koncepcji z czasem obniża jakość modelu.

Podczas trenowania model uczy się relacji między cechami ich etykiety w zbiorze treningowym. Jeśli etykiety w zbiorze treningowym dobrze odzwierciedlają rzeczywistość, model powinien dobrze prognozować w rzeczywistych warunkach. Jednak ze względu na dryf koncepcji model prognozy z czasem stają się coraz gorsze.

Weźmy na przykład klasyfikację binarną model, który prognozuje, czy dany model samochodu jest „oszczędny na spalanie”. Oznacza to, że funkcje mogą być:

• masa samochodu
• kompresja silnika
• typ transmisji

gdy etykieta jest:

• oszczędne spalanie
• nie jest oszczędne pod względem zużycia paliwa;

Jednak koncepcja „samochodu o niskim zużyciu paliwa” trzyma zmian. Model samochodu oznaczony w 1994 r. jako oszczędny w spalaniu w 2024 r. z pewnością zostałby oznaczony jako nieoszczędny w spalaniu. Model cierpiący z powodu dryfu koncepcji i generują z czasem mniej trafne i mniej przydatne prognozy.

Wskaż podobieństwa i różnice między niestacjonarnością.

stan

W drzewie decyzji dowolny węzeł, który ocenia wyrażenie. Na przykład ta część drzewo decyzyjne zawiera 2 warunki:

Warunek jest też nazywany podziałem lub testem.

Stan kontrastu z wartością liść.

Zobacz także:

• warunek binarny
• stan niebinarny.
• warunek-wyrównania-osi
• oblique-condition

Więcej informacji znajdziesz w sekcji Typy warunków w kursie Lasy decyzyjne.

konfabulacja

Synonim halucynacji.

Konfabulacja jest prawdopodobnie bardziej poprawnym terminem technicznym niż halucynacja. Jednak najpierw zyskały na popularności.

konfiguracja

Proces przypisywania początkowych wartości właściwości służących do trenowania modelu, w tym:

• warstwy tworzenia modelu
• lokalizacja danych
• hiperparametry, takie jak:
  • tempo uczenia się
  • iteracji
  • optymalizator
  • funkcja straty

W projektach systemów uczących się konfigurację można ustawić za pomocą specjalnego pliku konfiguracji lub bibliotek konfiguracji, takich jak:

• HParam
• Din
• Fiddle

efekt potwierdzenia

to tendencja do wyszukiwania, interpretowania, faworyzowania i przywoływania informacji w sposób, który potwierdza wcześniejsze przekonania lub hipotezy. Programiści systemów uczących się mogą w sposób niezamierzony zbierać informacje lub oznaczać etykietami w sposób wpływający na wyniki wspierające istniejące przekonania. Efekt potwierdzenia jest formą nieświadomego uprzedzeń.

Błąd eksperymentowania to forma stronniczości potwierdzenia, w którym eksperymentator kontynuuje trenowanie modeli, dopóki nie potwierdzenie hipotezy.

tablica pomyłek

Tabela N × N podsumowująca liczbę poprawnych i niepoprawnych prognoz modelu klasyfikacji. Rozważmy na przykład poniższą tablicę pomyłek dla Model klasyfikacji binarnej:

Poprzednia tablica pomyłek wygląda tak:

• Spośród 19 prognoz, w których dane podstawowe to „Nowotwór”, model prawidłowo zaklasyfikował 18 z nich, a jedną błędnie.
• Spośród 458 prognoz, w przypadku których dane podstawowe były oparte na danych innych niż Tumor, model poprawnie sklasyfikowanych 452 i błędnie 6.

Tablica pomyłek dla problemu wieloklasowej klasyfikacji może pomóc w identyfikacji wzorców błędów. Rozważ na przykład tę macierz błędów dla 3-klasowego modelu klasyfikacji wieloklasowej, który kategoryzuje 3 różne rodzaje irysów (Virginica, Versicolor i Setosa). W czasach, gdy była ona Wirginią, tablica pomyłek wskazuje, że model z większym prawdopodobieństwem pomyli się ustaw prognozę Versicolor niż Setosa:

Kolejny przykład to tablica pomyłek pokazująca, że model wytrenowany rozpoznawalność odręcznych cyfr zwykle błędnie ocenia 9 zamiast 4, lub błędnie określono 1 zamiast 7.

Matryc konfuzji zawiera wystarczającą ilość informacji do obliczenia różnych danych o skuteczności, w tym precyzji i czułości.

analizowanie okręgów wyborczych

Dzielenie zdania na mniejsze struktury gramatyczne („składniki”). Kolejna część systemu ML, np. modelu rozumienia języka naturalnego, może przeanalizować składniki składowe łatwiej niż oryginalne zdanie. Przykład: pomyśl o tym zdaniu:

Mój przyjaciel adoptował 2 koty.

Analizator składowych może podzielić to zdanie na 2 składniki:

• Mój przyjaciel to wyrażenie rzeczownikowe.
• adoptowane dwa koty to czasownik.

Te składniki można dalej dzielić na mniejsze składniki. Na przykład czasownik

adoptował 2 koty

może być dalej podzielony na:

• adopted to czasownik.
• dwa koty to kolejne wyrażenie rzeczownikowe.

wbudowanie języka w treści kontekstowe

Umieszczanie, które jest bliskie „zrozumienia” słowa i wyrażenia w sposób, który umożliwi rodzimym użytkownikom języka. Umieszczanie w kontekście za pomocą wektorów osadzonych w języku pozwala zrozumieć złożoną składnię, semantykę i kontekst.

Weź pod uwagę na przykład reprezentacje właściwościowe z angielskiego słowa cow. Starsze wektory dystrybucyjne np. word2vec, może oznaczać polski takie jak odległość w obszarze umieszczanym. od krowy do byka jest podobna do odległości od ewe (samiec owiec) do Ram (samiec owcy) lub kobieta na mężczyznę. Uczenie się kontekstowych wektorów językowych może pójść o krok dalej i rozpoznać, że użytkownicy języka angielskiego czasami używają słowa cow (krowa) w znaczeniu krowa lub byk.

okno kontekstu

Liczba tokenów, które model może przetworzyć w danym promptzie. Im większe okno kontekstu, tym więcej informacji może wykorzystać model, aby udzielać spójnych i konsekwentnych odpowiedzi na prompt.

cecha ciągła

funkcję zmiennoprzecinkową o nieskończonym zakresie możliwych; takie jak temperatura czy waga.

Skontrastuj się z funkcjami dyskretnymi.

dobór wygodny

Korzystanie z zbioru danych zebranego nienaukowo do przeprowadzania szybkich eksperymentów. Później należy przejść na zbiór danych zebrany w sposób naukowy.

zbieżność

stan, w którym wartości strat zmieniają się bardzo niewiele lub nie po wszystkich iteracjach. Na przykład: krzywa strat sugeruje zbieżność przy około 700 iteracjach:

Model zbiera się, gdy dodatkowe trenowanie nie poprawia jego wyników.

W deep learningu wartości strat czasami pozostają stałe lub prawie stałe przez wiele iteracji, zanim w końcu zaczną maleć. W przypadku długiego okresu stałej wartości utraty możesz mieć chwilowo fałszywe wrażenie zbieżności.

Zobacz też wczesne zatrzymanie.

Zobacz Zbieżność i strata modelu krzywe w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

funkcja wypukła

Funkcja, w której region nad wykresem funkcji jest konweksyjnym zbiorem. Prototypowa wypukła funkcja ma kształt zbliżony do litery U. Na przykład: to wszystkie funkcje wypukłe:

Natomiast funkcja podana poniżej nie jest wypukła. Zwróć uwagę, że funkcja obszar nad wykresem nie jest zestawem wypukłym:

Funkcja ściśle wypukła ma dokładnie jeden punkt lokalnego minimum, który jest też punktem globalnego minimum. Klasyczne funkcje o kształcie litery U są funkcjami ściśle wypukłymi. Niektóre funkcje wypukłe (np. linie proste) nie mają kształtu U.

Więcej informacji znajdziesz w sekcji Konwergencja i funkcje wypukłe w Kursie intensywnym z systemów uczących się.

optymalizacja wklęsła

Proces korzystania z technik matematycznych, takich jak gradient prostego, w celu znalezienia minimum funkcji wypukłej. Wiele badań nad uczeniem maszynowym koncentrowało się na formułowaniu różnych problemów jako problemów z zakresu optymalizacji wklęsłej oraz na ich efektywniejszym rozwiązywaniu.

Szczegółowe informacje można znaleźć na stronach Boyda i Vandenberghego, Convex Optymalizacja.

zestaw wypukły

Podzbiór przestrzeni euklidesowej, w którym linia narysowana między dowolnymi 2 punktami w podzbiorze pozostaje całkowicie w ramach podzbioru. Na przykład te 2 kształty są zbiorami wypukłymi:

W przeciwieństwie do tego następujące 2 kształty nie są zestawami wypukłymi:

splot

W matematyce w codziennym zabieganiu jest to połączenie dwóch funkcji. W uczeniu maszynowym konwolucja łączy konwolucyjny filtr z macierzą wejściową, aby wytrenować wagi.

Termin „konwolucja” w uczeniu maszynowym często jest skrótem od operacji konwolucyjnej lub warstwy konwolucyjnej.

Bez splotów algorytm systemów uczących się musiałby nauczyć się osobnego wagi dla każdej komórki w dużym tensorze. Na przykład algorytm uczenia maszynowego trenowany na obrazach 2K x 2K musiałby znaleźć 4 mln oddzielnych wag. Dzięki splotom systemy uczące się znajdzie tylko wagi dla każdej komórki w filtr skonwolucyjny, znacząco zmniejszając pamięci niezbędną do wytrenowania modelu. Gdy zastosujesz filtr konwolucyjny, zostanie on po prostu powielony w komórkach, tak aby każda z nich została pomnożona przez filtr.

Więcej informacji znajdziesz w module Wprowadzenie do konwolucyjnych sieci neuronowych w kursie Klasyfikacja obrazów.

filtr konwolucyjny

Jeden z 2 aktorów operacji splotowej. (Drugi aktor wycinkiem macierzy wejściowej). Filtr splotowy to macierz, w której tej samej rankingu co matryca wejściowa, ale o mniejszym kształcie. Na przykład w przypadku macierzy wejściowej 28 x 28 filtr może być dowolną macierzą 2D mniejszą niż 28 x 28.

W przypadku manipulacji fotograficznej wszystkie komórki w filtrze konwolutacji są zwykle ustawione na stały wzór jedynek i zer. W uczeniu maszynowym filtry konwolucyjne są zwykle zasilane losowymi liczbami, a następnie sieć trenowana dobiera optymalne wartości.

Zobacz Convolution więcej informacji znajdziesz w kursie na temat klasyfikacji obrazów.

warstwa konwolucyjna

Warstwa głębokiej sieci neuronowej, w której splotowy filtr przetwarza wejściową macierz. Weźmy na przykład ten filtr splotowy o wymiarach 3 x 3:

Animacja poniżej przedstawia warstwa konwolucyjna, która składa się z 9 operacji konwolucyjnych z użyciem wejściowej macierzy 5 x 5. Zwróć uwagę, że każdy operacja splotowa działa na innym wycinku macierzy wejściowej 3 x 3. Wynikowa macierz 3 x 3 (po prawej) składa się z wyników 9 operacji konwolucyjnych:

Więcej informacji znajdziesz w sekcji Pełno połączone warstwy w Kursie klasyfikacji obrazów.

splotowa sieć neuronowa

Sieci neuronowej, w której co najmniej jedna warstwa jest warstwą konwolucyjną. Typowa sieć neuronowa z konwolucją składa się z pewnej kombinacji tych warstw:

• warstwy konwolucyjne
• pooling layers
• gęste warstwy

Konwolucyjne sieci neuronowe osiągnęły wielki sukces w określonych rodzajach takich jak rozpoznawanie obrazów.

operacja splotowa

Następujący dwuetapowe działanie matematyczne:

1. Element-wise multiplication of the convolutional filter and a slice of an input matrix. (wycinek macierzy wejściowej ma ten sam wymiar i rozmiar co filtr konwolucyjny).
2. Suma wszystkich wartości w wynikowej macierzy iloczynów.

Na przykład użyj tej macierzy wejściowej 5 x 5:

Wyobraź sobie teraz taki filtr splotowy 2 x 2:

Każda operacja splotowa obejmuje pojedynczy wycinek 2x2 macierzy wejściowej. Na przykład załóżmy, że używamy wycinka 2x2 w miejscu w lewym górnym rogu macierzy wejściowej. Operacja splotu na tym kawałku wygląda tak:

Warstwa splotowa składa się splotowe operacje, z których każda działa na innym wycinku, macierzy wejściowej.

koszt

Synonim słowa strata.

wspólne szkolenie

Metoda uczenia nadzorowanego częściowego jest szczególnie przydatna, gdy spełnione są wszystkie te warunki:

• Stosunek przykładów bez etykiet do Przykłady oznaczone etykietami w zbiorze danych mają wysoką wartość.
• Jest to problem klasyfikacji (binarnej lub wieloklasowej).
• Zbiór danych zawiera 2 różne zestawy cech predykcyjnych, które są niezależne od siebie i wzajemnie się uzupełniają.

Zasadniczo wspólne trenowanie wzmacnia sygnały niezależne w celu uzyskania silniejszego sygnału. Weźmy np. model klasyfikacji, który klasyfikuje poszczególne używane samochody jako Dobre lub Złe. Jeden zestaw funkcji predykcyjnych może skupiać się na cechach zbiorczych, takich jak rok, marka i model samochodu, a inny zestaw funkcji predykcyjnych może skupiać się na historii jazdy poprzedniego właściciela i historii konserwacji samochodu.

Artykuł na temat wspólnego szkolenia to Łączenie danych oznaczonych etykietami i bez etykiet z Wspólne szkolenie prowadzone przez Blum i Mitchell.

obiektywność kontrfaktyczna

Wskaźnik obiektywności, który sprawdza, czy klasyfikator daje taki sam efekt u jednej osoby, jak u innej osoby. który jest identyczny z pierwszym, oprócz jednego lub kilku atrybuty poufne. Ocena klasyfikatora pod kątem obiektywności warunkowej to jeden ze sposobów na wykrycie potencjalnych źródeł stronniczości w modelu.

Więcej informacji znajdziesz w jednym z tych artykułów:

• Obiektywność: kontrfakt obiektywność w ramach szybkiego szkolenia z systemów uczących się.
• When Worlds Collide: Integrating Different Counterfactual Assumptions in Fairness

błąd pokrycia

Zobacz błąd doboru.

rozkwit

zdanie lub wyrażenie o niejednoznacznym znaczeniu; Kwitnące kwitnące drzewa są poważnym problemem w środowisku naturalnym rozumienia języków. Na przykład nagłówek Czerwona taśma trzymająca wieżowiec to ponieważ model NLU mógł dosłownie zinterpretować nagłówek lub przekonująco.

krytyk

Synonim wyrażenia Deep Q-Network.

entropia krzyżowa

Uogólnienie pojęcia Log Loss: Problemy z klasyfikacją wieloklasową. Entropia krzyżowa pozwala określić różnicę między dwoma rozkładami prawdopodobieństwa. Zobacz też złożoność.

weryfikacja krzyżowa

Mechanizm szacowania, jak dobrze model mógłby uogólnić nowych danych, testując model dla co najmniej 1 niepokrywających się podzbiorów danych z zestawu treningowego.

funkcja rozkładu skumulowanego (CDF)

Funkcja, która definiuje częstotliwość próbek mniejszych lub równych wartość docelową. Rozważmy na przykład rozkład normalny wartości ciągłych. CDF informuje, że około 50% próbek powinno być mniejsze lub równe do średniej oraz że około 84% próbek powinno być mniejsze lub równe do jednego odchylenia standardowego powyżej średniej.

D

analiza danych

Uzyskanie zrozumienia danych przez analizę próbek, pomiarów, i wizualizacji. Analiza danych może być szczególnie przydatna, gdy zbiór danych zostanie po raz pierwszy odebrany, zanim uda się zbudować pierwszy model. Jest to też kluczowe w rozumieniu eksperymentów i rozwiązywaniu problemów z systemem.

wzbogacanie danych

Sztuczne zwiększanie zakresu i liczby przykładów treningowych przez przekształcanie dotychczasowych przykładów w celu utworzenia dodatkowych przykładów. Załóżmy na przykład, że obrazy są jedną z właściwości, ale Twój zbiór danych nie zawiera wystarczającej liczby przykładów obrazów, aby model mógł się nauczyć przydatnych skojarzeń. W idealnej sytuacji do zbioru danych należy dodać wystarczającą liczbę oznaczonych obrazów, aby umożliwić prawidłowe trenowanie modelu. Jeśli nie jest to możliwe, rozszerzanie danych może obracać, rozciągać i odbijać poszczególne obrazy, aby wygenerować wiele wersji oryginalnego zdjęcia. Dzięki temu można uzyskać wystarczającą ilość danych z oznacznikami, aby umożliwić skuteczne trenowanie.

[struktura] DataFrame

Popularny typ danych pandas służący do reprezentowania zbiorów danych w pamięci.

DataFrame przypomina tabelę lub arkusz kalkulacyjny. Każda kolumna argumentu element DataFrame ma nazwę (nagłówek), a każdy wiersz jest identyfikowany przez tag niepowtarzalny numer.

Każda kolumna w DataFrame ma strukturę podobną do tablicy 2D, z tą różnicą, że każdej kolumnie można przypisać własny typ danych.

Zobacz też oficjalnego Informacje na temat pandas.DataFrame

równoległość danych

Sposób skalowania trenowania lub wnioskowania który powiela cały model urządzeń, a następnie przekazuje podzbiór danych wejściowych do każdego z nich. Równoległość danych umożliwia trenowanie i wnioskowanie na bardzo dużych rozmiary wsadów, jednak równoległość danych wymaga, model musi być wystarczająco mały, aby zmieścił się na każdym urządzeniu.

Równoległość danych zwykle przyspiesza trenowanie i wykonywanie wnioskowania.

Zapoznaj się też z paralelizmem modelu.

zbiór danych lub zbiór danych

Zbiór nieprzetworzonych danych, zwykle (ale nie wyłącznie) zorganizowany w jednym miejscu w tych formatach:

• arkusz kalkulacyjny
• plik w formacie CSV (wartości rozdzielone przecinkami);

Interfejs Dataset API (tf.data)

Ogólny interfejs API TensorFlow do odczytu danych na przykład do postaci wymaganej przez algorytm systemów uczących się. Obiekt tf.data.Dataset reprezentuje sekwencję elementów, w których każdy element zawiera co najmniej 1 tensor. tf.data.Iterator zapewnia dostęp do elementów Dataset.

granica decyzji

Separator między klasami wyuczonymi przez model w problemie klasyfikacji binarnej lub wieloklasowej. Na przykład na poniższym obrazie przedstawiającym problem klasyfikacji binarnej krawędź decyzyjna jest granicą między klasą pomarańczową a klasą niebieską:

las decyzji

Model utworzony na podstawie wielu drzew decyzyjnych. Las decyzyjny tworzy prognozy, agregując prognozy i drzewa decyzyjne. Do popularnych typów lasów decyzyjnych należą: losowe lasy i drzewa z motywem gradientu.

Więcej informacji znajdziesz w sekcji Lasy decyzyjne w szkoleniu Lasy decyzyjne.

próg decyzji

Synonim progu klasyfikacji.

schemat decyzyjny

Nadzorowany model uczenia się składający się ze zbioru warunki i liście uporządkowane hierarchicznie. Oto przykładowe schematy decyzyjne:

dekoder

Ogólnie chodzi o dowolny system ML, który przekształca przetworzoną, gęstą lub wewnętrzną reprezentację w nieprzetworzoną, rzadką lub zewnętrzną reprezentację.

Dekodery są często składnikami większego modelu, który często sparowany z koderem.

W zadaniach sekwencja–sekwencja dekoder zaczyna od stanu wewnętrznego wygenerowanego przez koder, aby przewidzieć następną sekwencję.

Definicję dekodera w obrębie znajdziesz w artykule Transformer. o architekturze Transformer.

Zobacz Duże modele językowe (LLM). w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

model głęboki

Sieci neuronowej zawierającej więcej niż 1 ukryty poziom.

Model głęboki nazywany jest też głęboką siecią neuronowa.

Porównaj z modelem szerokim.

głęboka sieć neuronowa

Synonim głbokiego modelu.

Deep Q-Network (DQN)

W Q-learningu wykorzystuje się głęboką sieci neuronową, która prognozuje funkcje Q.

Krytyk to synonim sieci Deep Q.

parytet demograficzny

Wskaźnik obiektywności, który jest spełniony, jeśli wyniki klasyfikacji modelu nie zależą od danego atrybutu wrażliwego.

Jeśli np. zarówno Lilliputianie, jak i Brobdingnagijczycy aplikują do Uniwersytetu w Glubbdubdrib, równość demograficzna jest osiągnięta, gdy odsetek przyjętych Lilliputian jest taki sam jak odsetek przyjętych Brobdingnagijczyków, niezależnie od tego, czy jedna grupa jest średnio lepiej wykwalifikowana od drugiej.

W odróżnieniu od równych szans i równości szans, które umożliwiają, aby wyniki klasyfikacji w ujęciu zbiorczym zależały od atrybutów wrażliwych, ale nie zezwalają, aby wyniki klasyfikacji dla określonych etykiet rzeczywistego stanu zależały od atrybutów wrażliwych. Zobacz „Atak dyskryminacji przy użyciu inteligentnych systemów uczących się”. kompromisów związanych z optymalizacją pod kątem parytetu demograficznego.

Zobacz artykuł Obiektywność: dane demograficzne równość w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

usuwanie szumów

Typowe podejście do samokontrolowanego uczenia się:

1. Szum jest sztucznie dodawany do zbioru danych.
2. Model próbuje usunąć szum.

Odszumianie umożliwia uczenie się na podstawie przykładów bez etykiet. Pierwotny zbiór danych służy jako docel lub etykieta, a zaszumione dane są wejściem.

Niektóre zamaskowane modele językowe używają funkcji wyciszania szumów w następujący sposób:

1. Szum jest sztucznie dodawany do zdania bez etykiety przez maskowanie części tokeny.
2. Model próbuje przewidzieć oryginalne tokeny.

cecha zwarta

Cecha, w której większość lub wszystkie wartości mają wartość różną od zera, zwykle Tensor dla wartości zmiennoprzecinkowych. Na przykład ten 10-elementowy tensor jest gęsty, ponieważ 9 jego wartości jest niezerowych:

Różnica w stosunku do funkcji rozproszonej.

gęsta warstwa

Synonim w pełni połączonej warstwy.

głębokość

Suma tych wartości w sieci neuronowej:

• liczba ukrytych warstw,
• liczba warstw wyjściowych, która zwykle wynosi 1.
• liczba warstw wektorów dystrybucyjnych,

Na przykład sieć neuronowa z 5 ukrytymi warstwami i 1 warstwą wyjściową ma głębokość 6.

Zwróć uwagę, że warstwa wejściowa nie głębię wpływu.

splotowa sieć neuronowa z separowanymi filtrami (sepCNN)

splotowej sieci neuronowej, architektura oparta na Incepcja, ale moduły incepcyjne są zastępowane sekcjami, które można szczegółowo rozdzielać. splotów. Inna nazwa to Xception.

Konwolucja rozdzielna w głębi (nazywana też konwolucją rozdzielną) dzieli standardową konwolucję 3D na 2 osobne operacje konwolucji, które są bardziej wydajne pod względem obliczeniowym: najpierw konwolucję w głębi o głębokości 1 (n × n × 1), a potem konwolucję punktową o długości i szerokości 1 (1 × 1 × n).

Więcej informacji na ten temat znajdziesz w artykule Xception: Deep learning with Depthwise Separable. Sploty.

etykieta derywowana

Synonim etykiety serwera proxy.

urządzenie

Przeciążony termin z 2 możliwymi definicjami:

1. Kategoria sprzętu, na którym można uruchomić sesję TensorFlow, w tym procesory CPU, GPU i TPU.
2. Podczas trenowania modelu ML na urządzeniach przyspieszających (kartach graficznych lub jednostkach TPU) część systemu, która faktycznie manipuluje tensorami i wkładami. Urządzenie korzysta z układów akceleratora. Natomiast host zwykle działa na procesorze.

prywatność różnicowa

W uczeniu maszynowym anonimizacja służy do ochrony zbioru danych treningowych zawierającego dane wrażliwe (np. dane osobowe), aby nie zostały one ujawnione. Takie podejście zapewnia że model nie uczy się ani nie pamięta danej osoby. Jest to osiągane przez próbkowanie i dodawanie szumu podczas modelu. trenowania do ukrywania poszczególnych punktów danych, co zmniejsza ryzyko ujawnienia poufne dane treningowe.

Prywatność różnicowa jest też wykorzystywana poza systemami uczącymi się. Przykład: badacze danych czasami używają prywatności różnicowej, prywatności przy obliczaniu statystyk użytkowania usług dla różnych grup demograficznych.

redukcja wymiarów

Zmniejszanie liczby wymiarów używanych do reprezentowania konkretnej cechy w wektorze cech, zwykle przez do wektora umieszczania.

wymiary

Przeciążony termin mający jedną z tych definicji:

• Liczba poziomów współrzędnych w tensorze. Przykład:

  • Wartość skalarna ma wymiary zerowe, np. ["Hello"].
  • Wektor ma jeden wymiar, na przykład [3, 5, 7, 11].
  • Matryca ma 2 wymiary, np. [[2, 4, 18], [5, 7, 14]]. Komórkę w wektorze jednowymiarowym można jednoznacznie określić za pomocą jednej współrzędnej, natomiast do jednoznacznego określenia komórki w macierzy dwuwymiarowej potrzeba 2 współrzędnych.

• Liczba wpisów w wektorze cech.

• Liczba elementów w warstwie umieszczania.

bezpośrednie prompty

Synonim promptów typu „zero-shot”.

cecha dyskretna

cecha z ograniczonym zbiorem możliwych wartości. Na przykład cecha, której wartościami mogą być tylko zwierzę, warzywo lub minerał, jest cecha dyskretna (czyli kategorialna).

W odróżnieniu od funkcji ciągłej.

model dyskryminacyjny

Model, który prognozuje etykietę na podstawie co najmniej jednego zestawu cech. Bardziej formalnie modele dyskryminacyjne definiują prawdopodobieństwo warunkowe danych wyjściowych z uwzględnieniem funkcji i weights; czyli:

p(output | features, weights)

Na przykład model, który na podstawie cech i wag przewiduje, czy e-mail jest spamem, jest modelem dyskryminacyjnym.

Większość modeli uczenia się nadzorowanego, w tym modele klasyfikacji i regresji, to modele dyskryminacyjne.

Różnica z modelem generatywnym.

wyróżnik

System określający, czy przykłady są prawdziwe czy fałszywe.

Z kolei podsystem w ramach kontrowersyjnego generatywnego , która określa, czy przykłady utworzone przez generator są prawdziwe lub fałszywe.

Zobacz „Diskryminator” w kursie GAN, aby dowiedzieć się więcej.

nieproporcjonalny wpływ

Podejmowanie decyzji o ludziach, które mają wpływ na różne populacje podgrupy nieproporcjonalne. Zwykle odnosi się to do sytuacji gdzie algorytmiczny proces decyzyjny szkodzi lub przynosi korzyści; pewnych podgrup.

Załóżmy na przykład, że algorytm, który określa, czy liliput ma prawo do pożyczki na zakup miniaturowego domu, prawdopodobnie zaklasyfikuje go jako „niekwalifikującego się”, jeśli jego adres pocztowy zawiera określony kod pocztowy. Jeśli wielkie liliputacje z dużym prawdopodobieństwem z tym kodem pocztowym niż w przypadku Lilliputians, algorytm może mieć zróżnicowany wpływ.

W przeciwieństwie do różnego traktowania, które koncentruje się na różnicach wynikających z charakterystyk podgrup, które są jawnymi danymi wejściowymi w ramach procesu podejmowania decyzji przez algorytm.

odmienne traktowanie

uwzględnianie wrażliwych danych użytkowników w algorytmicznym procesie podejmowania decyzji, tak aby różne podgrupy osób były traktowane inaczej;

Rozważmy na przykład algorytm, który określa, czy mieszkańcy Lilliputu kwalifikują się do pożyczki na miniaturowy dom na podstawie danych podanych w ich wniosku o pożyczkę. Jeśli algorytm używa parametru przynależność Lilliputiana do wielkiego Endu lub Little-Endianu może oznaczać, stosuje zróżnicowane podejście w tym wymiarze.

W przeciwieństwie do różnych wpływów, które koncentrują się na różnicach w społecznym wpływie decyzji algorytmicznych na podgrupy, niezależnie od tego, czy podgrupy te są danymi wejściowymi modelu.

destylacja

Proces redukcji rozmiaru 1 modelu (nazywany nauczyciel) na mniejszy model (nazywany uczniem), który jak najwierniej formułować prognozy oryginalnego modelu. Oczyszczanie jest przydatny, ponieważ mniejszy model ma dwie główne zalety model (nauczyciel):

• Szybszy czas wnioskowania
• Mniejsze zużycie pamięci i energii

Jednak prognozy uczniów zwykle nie są tak dobre, jak na podstawie prognoz nauczyciela.

Destylacja trenuje model ucznia, aby zminimalizować funkcję straty na podstawie różnicy między wyjściami przewidywań modelu ucznia i nauczyciela.

Porównaj oczyszczanie z następującymi hasłami:

• dostrajania
• nauka oparta na promptach,

Więcej informacji znajdziesz w artykule LLMs: Fine-tuning, distillation, and prompt engineering z szybkiego szkolenia z uczenia maszynowego.

distribution

Częstotliwość i zakres różnych wartości danej cechy lub etykiety. Rozkład określa prawdopodobieństwo wystąpienia danej wartości.

Na ilustracji poniżej przedstawiono histogramy z 2 różnych rozkładów:

• Po lewej stronie widać rozkład majątku według prawa potęgi w zależności od liczby osób, które mają ten majątek.
• Po prawej stronie widać normalny rozkład wzrostu w zależności od liczby osób o danym wzroście.

Zrozumienie poszczególnych cech i rozkładu etykiet pomoże Ci określić, jak aby normalizować wartości i wykrywać wartości odstające.

Wyrażenie poza dystrybucją odnosi się do wartości, która nie występuje w zbiorze danych lub jest bardzo rzadka. Na przykład obraz planety Saturna byłby taki są uznawane za nieuwzględnione w dystrybucji w zbiorze danych składających się z obrazów przedstawiających koty.

grupowanie niezgodne

Zobacz hierarchiczne grupowanie.

próbkowanie w dół

Przeciążone hasło, które może mieć jedno z tych znaczenia:

• Zmniejszenie ilości informacji w cechu, aby trenować model w bardziej efektywny sposób. Przykład: przed wytrenowaniem modelu rozpoznawania obrazów przez zmniejszenie próbkowania do formatu z niższą rozdzielczością.
• Trenowanie na nieproporcjonalnie niskim odsetku nadreprezentowanych class w celu ulepszenia trenowania modelu w klasach niedostatecznie reprezentowanych. Na przykład w przypadku klasyniezbalansowanej modele zwykle dowiadują się wielu większości i za mało na temat klasa mniejszości. Opcja Downsampling pomaga zrównoważyć intensywność trenowania na klasach większości i mniejszości.

Więcej informacji znajdziesz w sekcji Zbiory danych: nierównowaga w zbiorach danych w Szybkim szkoleniu z uczenia maszynowego.

DQN

Skrót od Deep Q-Network.

regularyzacja dropout

Forma regularizacji przydatna w trenowaniu. sieci neuronowych. Regularyzacja porzuceń usuwa losowy wybór stałej liczby jednostek w sieci dla pojedynczego kroku gradientu. Im więcej jednostek zostało wyeliminowanych, tym silniejsza była regularyzacja. Jest to analogiczne do trenowania sieci do emulacji. stanowiąc wykładniczo duży zbiór mniejszych sieci. Więcej informacji znajdziesz w artykule Dropout: A Simple Way to Prevent Neural Networks from Overfitting (ang. „Dropout: prosty sposób na zapobieganie przetrenowaniu sieci neuronowych”).

dynamiczny

Coś robionego często lub na bieżąco. W systemach uczących się terminy dynamiczny i online to synonimy. Oto najczęstsze zastosowania dynamicznych i internetowych w przypadku uczenia maszynowego:

• Model dynamiczny (inaczej online) to model, która jest regularnie lub stale trenowana.
• Szkolenie dynamiczne (lub szkolenie online) to proces trenowania. często lub stale.
• Dynamiczne wnioskowanie (lub wnioskowanie online) to proces generowania prognoz na żądanie.

model dynamiczny

model, który jest często (a nawet stale) ponownie trenowany. Model dynamiczny uczy się przez całe życie które nieustannie dostosowuje się do zmieniających się danych. Model dynamiczny jest też nazywany modelem online.

Różnica z modelem statycznym.

E

wykonanie natychmiastowe

Środowisko programowania TensorFlow, w którym operacje są wykonywane natychmiast. Z drugiej strony operacje wywoływane w wykonaniu grafu nie są wykonywane, dopóki nie zostaną wyraźnie ocenione. Szybkie wykonanie to imperatywnego interfejsu. jak w większości języków programowania. Programy wykonawcze są znacznie łatwiejsze do debugowania niż programy do wykonywania grafów.

wcześniejsze zatrzymanie

Metoda regularizacji, która obejmuje kończenie trenowanie przed zakończeniem treningu. maleje. W przypadku wczesnego zatrzymania celowo przerywasz trenowanie modelu, gdy strata na zbiorze danych do weryfikacji zacznie rosnąć, czyli gdy skuteczność w zakresie generalizacji się pogarsza.

odległość od Ziemi (EMD)

Pomiar względnego podobieństwa 2 rozkładów. Im mniejsza odległość przemieszczenia, tym bardziej podobne są rozkłady.

edytuj odległość

Pomiar podobieństwa dwóch ciągów tekstowych. W uczeniu maszynowym odległość edytowania jest przydatna, ponieważ łatwo ją obliczyć, a jednocześnie jest skutecznym sposobem na porównanie 2 ciągów znaków, które są podobne, lub na znalezienie ciągów znaków podobnych do danego ciągu.

Istnieje kilka definicji odległości służącej do edycji, a każda z nich zawiera inny ciąg znaków operacji. Na przykład odległość Levenshteina uwzględnia operacje usuwania, wstawiania i zastępowania o najmniejszej liczbie.

Na przykład odległość Levenshteina między słowami „serce” i „rzutki” wynosi 3, ponieważ te 3 zmiany wymagają najmniejszej liczby modyfikacji, aby jedno słowo zamienić na drugie:

1. heart → deart (zastąp „h” przez „d”)
2. deart → dart (usuń „e”)
3. dart → rzutki (wstaw „s”)

notacja Einsum

Skuteczna notacja opisująca sposób łączenia dwóch tensorów. Tensory są łączone przez mnożenie pierwiastków danego tensora przez elementy tego tensora, a następnie sumując iloczyny. Notacja Einsum używa symboli do identyfikowania osi każdego tensora, a te same symbole są przestawiane, aby określić kształt nowego wynikowego tensora.

NumPy to typowa implementacja Einsum.

warstwa wektorowa

Specjalną warstwą ukrytą, która trenuje na wielowymiarowa funkcja kategoryczna, stopniowo uczyć się wektora wektora dystrybucyjnego dla niższych wymiarów. An warstwa wektora dystrybucyjnego umożliwia sieci neuronowej lepsze trenowanie wydajniej niż trenowanie na wysokich wymiarach cechach kategorialnych.

Na przykład na Ziemi obecnie obsługiwanych jest około 73 000 gatunków drzew. Załóżmy, że gatunek drzewa jest atrybutem w Twoim modelu, więc warstwa wejściowa modelu zawiera wektor typu one-hot o długości 73 tys. elementów. Na przykład baobab może być przedstawione w ten sposób:

Tablica z 73 000 elementów jest bardzo długa. Jeśli nie dodasz do modelu warstwy embeddingu, trenowanie zajmie bardzo dużo czasu z powodu mnożenia 72 999 zer. Możesz wybrać warstwę z 12 wymiarami. W efekcie warstwa osadzania będzie stopniowo uczyć się nowego wektora dystrybucyjnego dla każdego gatunku drzewa.

W niektórych sytuacjach szyfrowanie jest rozsądnym rozwiązaniem. do warstwy osadzonej.

Więcej informacji znajdziesz w sekcji Embeddings w szybkim szkoleniu z uczenia maszynowego.

przestrzeń wektorowa

Przestrzeń wektorowa w wymiarze D obejmująca do przestrzeni wektorowej. W idealnej sytuacji przestrzeń wektorów zastępczych zawiera strukturę, która daje znaczące wyniki matematyczne. Na przykład w idealnej przestrzeni wektorów zastępczych dodawanie i odejmowanie wektorów zastępczych może służyć do rozwiązywania zadań polegających na znajdowaniu analogii między słowami.

Produkt skalarny 2 wewnętrznych obiektów jest miarą ich podobieństwa.

wektor dystrybucyjny

Ogólnie rzecz biorąc, tablica liczb zmiennoprzecinkowych pobieranych z dowolnej ukrytą warstwę, która opisuje dane wejściowe do tej ukrytej warstwy. Często wektorem dystrybucyjnym jest tablica liczb zmiennoprzecinkowych wytrenowanych w i warstwy wektora dystrybucyjnego. Załóżmy na przykład, że warstwa embeddingu musi nauczyć się wektora embeddingu dla każdego z 73 tys. gatunków drzew na Ziemi. Być może następująca tablica jest wektorem dystrybucyjnym baobabu:

Wektor dystrybucyjny nie jest grupą liczb losowych. Warstwę wbudowania określają te wartości podczas trenowania, podobnie jak sieć neuronowa uczy się innych wag podczas trenowania. Każdy element tablicy to ocena pewnej cechy gatunku drzewa. Który reprezentuje wybrane gatunki drzew jest cechą charakterystyczną? Jest to bardzo trudne do określenia przez ludzi.

Matematycznie niezwykłą cechą wektora dystrybucyjnego jest to, że podobne elementy mają podobne zbiory liczb zmiennoprzecinkowych. Na przykład podobne gatunki drzew mają bardziej podobny zestaw liczb zmiennoprzecinkowych niż niepodobna do siebie roślina. Sekwoje i sekwojadendro są spokrewnionymi gatunkami drzew, więc będą miały bardziej podobny zestaw liczb zmiennoprzecinkowych niż sekwoje i palmy kokosowe. Liczby w wektorze dystrybucyjnym są zmieniane przy każdym trenowaniu modelu, nawet jeśli ten z identycznym wpisywaniem.

empiryczna funkcja skumulowanego rozkładu (eCDF lub EDF)

dystrybuanta kumulatywna oparta na pomiarach empirycznych pochodzących z rzeczywistego zbioru danych. Wartość klucza w dowolnym punkcie na osi x stanowi odsetek obserwacji zbiór danych, które są mniejsze od określonej wartości lub jej równe.

empiryczna minimalizacja ryzyka (ERM)

Wybierz funkcję, która minimalizuje straty w zbiorze treningowym. Porównaj to z strukturalnym minimalizowaniem ryzyka.

koder

Ogólnie chodzi o dowolny system ML, który przekształca dane w postaci nieprzetworzonej, rzadkiej lub zewnętrznej w postać bardziej przetworzoną, gęstszą lub bardziej wewnętrzną.

Enkodery są często elementem większego modelu, w którym są często sparowane z dekoderem. Niektóre Transformery łączą kodery z dekoderami, ale inne używają tylko kodera lub tylko dekodera.

Niektóre systemy używają danych wyjściowych kodera jako danych wejściowych do sieci klasyfikacyjnej lub regresyjnej.

W zadaniach sekwencyjnych koder pobiera sekwencję wejściową i zwraca stan wewnętrzny (wektor). Następnie funkcja Na podstawie tego stanu wewnętrznego dekoder przewiduje następną sekwencję.

Definicję enkodera w architekturze Transformer znajdziesz w artykule Transformer.

Zobacz LLM: co to jest duży język model w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

ensemble

Kolekcja modeli wytrenowanych niezależnie, których prognozy są uśredniane lub agregowane. W wielu przypadkach zestaw daje lepsze wrażenia, niż w przypadku pojedynczego modelu. Na przykład losowy las to zestaw utworzony z wielu drzewek decyzyjnych. Pamiętaj, że nie wszystkie lasy decyzji to zespoły.

Zobacz losowe Las w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

entropia

W teorii informacji jest to opis tego, jak nieprzewidywalna jest rozkład prawdopodobieństwa. Entropia może być też zdefiniowana jako ilość informacji zawartych w każdym przykładzie. Dystrybucja zawiera najwyższa możliwa entropia, gdy wszystkie wartości zmiennej losowej są z równym prawdopodobieństwem.

Entropia zbioru o dwóch możliwych wartościach „0” i „1” (np. etykiety w problemie dwudzielnej klasyfikacji) ma postać:

H = -p log p - q log q = -p log p - (1-p) * log (1-p)

gdzie:

• H to entropia.
• p to ułamek liczby „1”. przykłady.
• q to ułamek przykładów o wartości „0”. Pamiętaj, że q = (1 – p).
• log to zwykle log₂. W tym przypadku entropia rozmiar jest niższy.

Załóżmy na przykład, że:

• 100 przypadków zawiera wartość „1”.
• 300 przykładów zawiera wartość „0”

W związku z tym wartość entropii wynosi:

• P = 0,25
• Q = 0,75
• H = (-0,25)log₂(0,25) - (0,75)log₂(0,75) = 0,81 b na przykład

Zbiór, który jest idealnie zrównoważony (np. 200 wartości „0” i 200 wartości „1”), będzie miał entropię wynoszącą 1,0 bita na przykład. W miarę jak zbiór staje się bardziej niezrównoważony, jego entropia zbliża się do 0.

W drzewach decyzyjnych entropia pomaga formułować wzrost informacji, aby ułatwić spółczynnikowi wybór warunków podczas rozbudowywania drzewa decyzyjnego klasyfikacji.

Porównaj entropię z:

• nieczyszczenie gini
• Funkcja utraty entropii krzyżowej

Entropia jest często nazywana entropią Shannona.

Więcej informacji znajdziesz w sekcji Rozdzielacz dokładny do klasyfikacji binarnej z cechami liczbowymi w Kursie lasów decyzyjnych.

środowisko

W nagradzaniu świat to świat, który zawiera agenta i pozwala mu obserwować stan tego świata. Przedstawiany świat może być na przykład grą w szachy lub fizycznym labiryntem. Gdy agent zastosuje działanie do środowiska, środowisko przechodzi między stanami.

odcinek

W nauce ze wzmocnieniem każda z powtarzanych prób agenta polega na uczeniu się środowiska.

początek epoki : epoka

pełne przetrenowanie całego zbioru treningowego, tak aby każdy przykład został przetworzony raz;

Epoka reprezentuje N/rozmiar wsadu iteracje trenowania, gdzie N jest łączną liczbę przykładów.

Załóżmy na przykład, że:

• Zbiór danych zawiera 1000 przykładów.
• Wielkość wsadu to 50 przykładów.

Dlatego jedna epoka wymaga 20 iteracji:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Zobacz Regresję liniową: Hiperparametry w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

zasady zachłanne epsilon

W przypadku uczenia przez wzmacnianie zasad, które są zgodne zasada losowa z prawdopodobieństwem ypsilon lub wartością W przeciwnym razie zasadą zachłanności. Jeśli na przykład epsilon = 0,9, to w 90% przypadków polityka będzie zgodna z polityka losową, a w 10% – z polityka chciwą.

W kolejnych odcinkach algorytm obniża wartość ypsilon w kolejności zamiast zachłannego chwytania się zasad. Według gdy agent zmienia zasady, najpierw losowo analizuje środowisko a następnie zachłannie wykorzystuje wyniki eksploracji losowej.

równość szans

Dane o sprawiedliwości, które pozwalają ocenić, czy model prognozuje pożądany wynik równie dobrze w przypadku wszystkich wartości wrażliwego atrybutu. Inaczej mówiąc, jeśli pożądanym wynikiem działania modelu jest klasa pozytywna, celem jest uzyskanie prawdziwej wartości pozytywnej w przypadku wszystkich grup.

Równość możliwości jest związana z wyrównaniem szans, który wymaga, aby zarówno współczynniki prawdziwie dodatnie, współczynnik wyników fałszywie pozytywnych jest taki sam we wszystkich grupach.

Załóżmy, że Uniwersytet Glubbdubdrib akceptuje zarówno liliputów, jak i brobdingnagiów do rygorystycznego programu matematycznego. Szkoły średnie w Lilliput oferują solidny program nauczania matematyki, a znaczna większość uczniów kwalifikuje się do studiów na uniwersytecie. Brobdingnagians w szkołach średnich w ogóle nie oferują zajęć z matematyki, przez co znacznie mniej uczniów zakwalifikował się do programu. Równe szanse są zapewnione w przypadku preferowanej etykiety „przyjęcie” w związku z przynależnością narodową (Lilliputianin lub Brobdingnagijczyk), jeśli kwalifikujący się uczniowie mają równe szanse na przyjęcie niezależnie od tego, czy są Lilliputianami czy Brobdingnagijczykami.

Załóżmy na przykład, że na Uniwersytet Glubbdubdrib aplikuje 100 mieszkańców Lilliputu i 100 mieszkańców Brobdingnag. Decyzje dotyczące przyjęcia na studia są podejmowane w następujący sposób:

Tabela 1. Lilliputian applicants (90% are qualified)

Tabela 2. Kandydaci do Izby Reprezentantów (10% zakwalifikowanych):

Poprzednie przykłady spełniają wymagania równości możliwości przy akceptacji ponieważ wykwalifikowani liliputowie i artyści z Brobdingnagi mają 50% szans na przyjęcie do programu.

Chociaż jest zaspokaja równość możliwości, 2 wskaźniki obiektywności niezadowolony(a):

• spójność demograficzna: liliputowie Rodzaje brobdingnagich są przyjmowane na uniwersytet według różnych stawek. Przyjmuje do niego 48% studentów, ale tylko 14% Przyjmowani są studenci z Brobdingnagów.
• wyrównane szanse: kwalifikowany liliputański i studenci Brobdingnagian mają taką samą szansę na przyjęcie z dodatkowym ograniczeniem, na jakie narażają się liliputowie Obie grupy mają jednakowe szanse na odrzucenie zadowolonych klientów. Osoby pozbawione kwalifikacji mają 70% współczynnik odrzuceń, Brak zakwalifikowanych uczestników ma 90% współczynnik odrzuceń.

Więcej informacji znajdziesz w sekcji Uczciwość: równe szanse w Szybkim szkoleniu z uczenia maszynowego.

wyrównane szanse

Wskaźnik obiektywności, który pozwala ocenić, czy model prognozuje wyniki w równym stopniu w przypadku wszystkich wartości atrybutu poufnego z atrybutami zarówno w odniesieniu do klasy pozytywnej, jak i klasa wykluczające, a nie tylko jedna z nich. . Inaczej mówiąc, współczynnik prawdziwie dodatni i współczynnik wyników fałszywie negatywnych powinny być takie same w przypadku we wszystkich grupach.

Szanse wyrównane są związane z równouprawnienie szans, który skupia się tylko na dotyczące odsetka błędów dla jednej klasy (pozytywnej lub ujemnej).

Załóżmy na przykład, że Uniwersytet Glubbdubdrib przyjmuje do rygorystycznego programu matematycznego zarówno Liliputan, jak i Brobdingnagijczyków. Szkoły średnie na Lilliput prowadzą solidny program nauczania matematyki, a znaczna większość uczniów kwalifikuje się do studiów uniwersyteckich. Brobdingnagians dodatkowa w ogóle nie oferują lekcji z matematyki, więc znacznie mniej że ich uczniowie są kwalifikowani. Warunek równości szans jest spełniony, jeśli bez względu na to, czy kandydat jest Liliputanem czy Brobdingnżaninem, jeśli spełnia wymagania, ma równe szanse na przyjęcie do programu, a jeśli ich nie spełnia, ma równe szanse na odrzucenie.

Załóżmy, że do Glubbdubdrib jest 100 liliputów i 100 brobdingnagiów Uniwersytety i procesy rekrutacyjne są podejmowane w następujący sposób:

Tabela 3. Kandydaci na stanowiska liliputów (90% to kwalifikowani uczestnicy)

Tabela 4. Kandydaci do Izby Reprezentantów (10% zakwalifikowanych):

Wyrównane szanse są spełnione, ponieważ wykwalifikowani liliputowie i brobdingnagia uczniowie mają 50% szans na przyjęcie do programu, a liliputowie mają 50% a brobdingnagian ma 80% szans na odrzucenie.

Równe szanse są formalnie zdefiniowane w artykule „Równe szanse w nauce nadzorowanej” w ten sposób: „Predictor Ŷ spełnia warunek równych szans w odniesieniu do chronionego atrybutu A i wyniku Y, jeśli Ŷ i A są niezależne, warunkowo na Y”.

Estimator

Wycofany interfejs TensorFlow API. Zamiast Estimators użyj tf.keras.

evals

Używany głównie jako skrót od LLM evaluations. Ogólnie evals to skrót nazwy dowolnej formy oceny.

ocena

Proces pomiaru jakości modelu lub porównywania różnych modeli i otwierać przed sobą nawzajem.

Aby ocenić nadzorowany model uczenia maszynowego, zwykle porównujemy go z zestawami danych i zestawami danych testowych. Ocena modelu LLMzazwyczaj obejmuje szerszą ocenę jakości i bezpieczeństwa.

przykład

wartości jednego wiersza cechy i ewentualnie etykiety; Przykłady w nauce nadzorowanej można podzielić na 2 ogólne kategorie:

• Znakowane przykłady zawierają co najmniej 1 cechę i etykietę. Przykłady oznaczone etykietami są używane podczas trenowania.
• Przykład bez etykiety składa się z jednego elementu lub więcej funkcji, ale bez etykiety. Przykłady bez etykiet są używane podczas wnioskowania.

Załóżmy na przykład, że trenujesz model, aby określić wpływ warunków pogodowych na wyniki egzaminów uczniów. Oto 3 oznaczone przykłady:

Oto 3 przykłady bez etykiet:

Wiersz zbioru danych jest zwykle źródłem danych nieprzetworzonych. Oznacza to, że przykład zwykle składa się z podzbioru kolumn zbioru danych. Cechy z przykładu mogą też obejmować funkcje syntetyczne, takie jak: krzyżówki cech.

Więcej informacji znajdziesz w sekcji Nauczanie nadzorowane w kursie Wprowadzenie do systemów uczących się.

odtwarzanie

W uczeniu się przez wzmocnienie technika DQN służąca do zmniejszania korelacji czasowych w danych treningowych. Agent przechowuje przejścia stanu w buforze odtwarzania, a potem pobiera próbki przejść z bufora odtwarzania, aby utworzyć dane treningowe.

efekt eksperymentu

Zobacz efekt potwierdzenia.

problem z wybuchowym gradientem

tendencji do gradientów w głębokich sieci neuronowych (zwłaszcza powracających sieci neuronowych), zaskakująco strome (wysokie). Strome gradienty często powodują bardzo duże aktualizacje wag każdego węzła w głębokiej sieci neuronowej.

Modele, które mają problem z wybuchem gradientu, stają się trudne lub niemożliwe do wytrenowania. Przycinanie gradientu aby zminimalizować ten problem.

Porównaj problem ze znikającym gradientem.

F

K₁

Dane „podstawowe” klasyfikacji binarnej, które zależą zarówno od precyzyjności, jak i od czułości. Oto wzór:

Na przykład:

• precyzja = 0,6
• przypomnienie = 0,4

Gdy precyzja i czułość są dość podobne (jak w poprzednim przykładzie), F₁ jest bliskie swojej średniej. Gdy precyzja i czułość różnią się znacznie, F₁ jest bliższe niższej wartości. Na przykład:

• precyzja = 0,9
• czułość = 0,1

ograniczenie obiektywności

• Postprocessing wyników modelu.
• zmianę funkcji utraty, tak aby uwzględnić karę; za naruszenie danych dotyczących obiektywności.
• bezpośrednie dodawanie ograniczeń matematycznych do problemu optymalizacji;

wskaźnik obiektywności

Matematyczna definicja „uczciwości” wymiernej skuteczności. Do najczęściej używanych wskaźników sprawiedliwości należą:

• równe kursy
• spójność prognozowana
• kontrfaktyczna obiektywność
• spójność demograficzna

Wiele wskaźników obiektywności wyklucza się wzajemnie. Zobacz niezgodność wskaźników obiektywności.

fałszywie negatywny (FN),

Przykład, w którym model błędnie prognozuje wartość negative class (klasa negatywna). Na przykład model przewiduje, że dana wiadomość e-mail nie jest spamem (klasa negatywna), ale okazuje się, że jest to spam.

współczynnik wyników fałszywie negatywnych

Odsetek rzeczywistych pozytywnych przykładów, w których model popełnił błąd przewidziało klasę negatywną. Ta formuła oblicza wartość fałsz współczynnik ujemny:

Więcej informacji znajdziesz w sekcji Próg i macierz zamętenia w szybkim szkoleniu z uczenia maszynowego.

fałszywie dodatni (FP)

Przykład, w którym model błędnie prognozuje klasę pozytywną. Na przykład model przewiduje, że konkretny e-mail zawiera spam (klasa pozytywna), ale e-mail nie jest spamem.

Więcej informacji znajdziesz w sekcji Próg i macierz zamętenia w szybkim szkoleniu z uczenia maszynowego.

współczynnik wyników fałszywie pozytywnych (FPR);

Odsetek rzeczywistych przykładów negatywnych, dla których model błędnie przewidział klasę pozytywną. Ta formuła oblicza wartość fałsz wskaźnik pozytywnych:

Współczynnik wyników fałszywie pozytywnych to oś X na krzywej ROC.

Więcej informacji znajdziesz w sekcji Klasyfikacja: ROC i AUC w szybkim szkoleniu z uczenia maszynowego.

cecha [in context of machine learning]

Zmienna wejściowa dla modelu systemów uczących się. Przykład obejmuje co najmniej jedną cechę. Załóżmy na przykład, że trenujesz model, aby określić wpływ warunków pogodowych na wyniki egzaminów uczniów. W tabeli poniżej znajdziesz 3 przykłady, z których każdy zawiera 3 funkcje i 1 etykietę:

Różnica za pomocą atrybutu etykieta.

Więcej informacji znajdziesz w sekcji Nauczanie nadzorowane w kursie Wprowadzenie do systemów uczących się.

krzyżówka

Cecha syntetyczna utworzona przez „przecięcie” cech kategorialnych lub zbiorowych.

Weźmy np. „prognozowanie nastroju” model, który reprezentuje w jednym z czterech zasobników:

• freezing
• chilly
• temperate
• warm

I przedstawia prędkość wiatru w jednym z 3 rodzajów:

• still
• light
• windy

Bez krzyżów cech model liniowy trenuje niezależnie na każdym poprzedzających 7 różnych zasobników. Model trenuje na przykład na danych freezing niezależnie od danych windy.

Możesz też utworzyć funkcję krzyżową temperatury i prędkości wiatru. Ta syntetyczna cecha miałaby 12 możliwych wartości:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Dzięki krzyżowaniu cech model może uczyć się różnic w nastroju między dniem freezing-windy a freezing-still.

Jeśli utworzysz funkcję syntetyczną na podstawie 2 funkcji, z których każda ma wiele różnych zbiorników, otrzymana funkcja krzyżowa będzie miała ogromną liczbę możliwych kombinacji. Jeśli na przykład jedna cecha ma 1000 segmentów, a druga – 2000 segmentów, to ich iloczyn ma 2 000 000 segmentów.

Formalnie krzyż jest iloczynem kartezjańskim.

Krzywe cech są używane głównie w modelach liniowych i rzadko są używane za pomocą sieci neuronowych.

Więcej informacji znajdziesz w sekcji Dane kategoryczne: krzyżowanie cech w Szybkim szkoleniu z uczenia maszynowego.

ekstrakcja wyróżników

Proces obejmujący te kroki:

1. Określanie, które cechy mogą być przydatne podczas trenowania modelu.
2. konwertowanie nieprzetworzonych danych ze zbioru danych na wydajne wersje tych funkcji;

Możesz np. uznać, że słowo temperature może być przydatne funkcji. Następnie możesz poeksperymentować z grupowaniem. aby zoptymalizować to, czego model może się uczyć na podstawie różnych zakresów temperature.

Inżynieria cech jest czasami nazywana inżynierią cech wyodrębnianie cech lub featurizacja.

Zobacz Dane liczbowe: jak model pozyskuje dane za pomocą funkcji wektory w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

wyodrębnianie cech

Przeciążony termin, który ma jedno z tych znaczeń:

• Pobieram pośrednie reprezentacje cech obliczone przez nienadzorowany lub wytrenowany model (na przykład wartości ukrytej warstwy w sieci neuronowej) do wykorzystania w innym modelu jako danych wejściowych.
• Synonim ekstrakcji wyróżników.

znaczenie cech

Synonim zmiennej ważności.

zbiór cech

Grupa funkcji, na podstawie których trenowany jest model systemów uczących się. Na przykład kod pocztowy, rozmiar nieruchomości i stan obiektu mogą stanowią prosty zestaw funkcji modelu prognozującego ceny nieruchomości.

specyfikacja funkcji

Opisuje informacje wymagane do wyodrębnienia danych funkcji. z bufora protokołu tf.Example. Ponieważ tf.Przykładowy bufor protokołu to tylko kontener na dane, który musisz określić następujące:

• Dane do wyodrębnienia (czyli klucze funkcji).
• typ danych (np. liczba zmiennoprzecinkowa lub całkowita);
• długość (stała lub zmienna);

wektor cech

Tablica wartości feature tworzących przykład. Wektor cech jest wprowadzany podczas trenowania i w trakcie wnioskowania. Na przykład wektor cech modelu z 2 odrębnymi cechami może wyglądać tak:

[0.92, 0.56]

Każdy przykład dostarcza inne wartości wektora cech, więc funkcja w następnym przykładzie może wyglądać tak:

[0.73, 0.49]

Inżynieria funkcji określa sposób przedstawiania danych w wektorze cech. Na przykład cecha binarna kategorialna z ciągiem pięć możliwych wartości może być reprezentowanych przez kodowanie jedno- gorące. W tym przypadku część argumentu wektor cech w danym przykładzie składałby się z czterech zer i pojedynczy 1,0 w trzeciej pozycji, jak niżej:

[0.0, 0.0, 1.0, 0.0, 0.0]

Innym przykładem może być model składający się z 3 cech:

• funkcję kategoryczną z pięcioma możliwymi wartościami reprezentowanymi przez kodowanie jeden-gotowe, na przykład: [0.0, 1.0, 0.0, 0.0, 0.0]
• kolejną cechę kategoryczną binarną, której reprezentowane są 3 możliwe wartości w ramach kodowania jeden-gorącego; na przykład: [0.0, 0.0, 1.0]
• obiekt zmiennoprzecinkowy, na przykład: 8.3.

W tym przypadku wektor cech w każdym przykładzie będzie przedstawiony o dziewięć wartości. Biorąc pod uwagę przykładowe wartości z poprzedniej listy, wektorem cech powinien być:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

Więcej informacji znajdziesz w sekcji Dane liczbowe: jak model przetwarza dane za pomocą wektorów cech z Kursu intensywnego z uczenia maszynowego.

featurization

procesu wyodrębniania cech ze źródła danych wejściowych; takich jak dokument lub film, i odwzorowanie tych cech na wektor cech.

Niektórzy eksperci od uczenia maszynowego używają pojęcia „featuryzacja” jako synonimu tworzenia cech lub wyodrębniania cech.

sfederowane uczenie się

Rozproszone podejście do uczenia maszynowego, w którym modele uczenia maszynowego są trenowane za pomocą zdecentralizowanych przykładów znajdujących się na urządzeniach, takich jak smartfony. W ramach sfederowanego uczenia się bieżący model pobiera podzbiór urządzeń z centralnego serwera koordynacyjnego. Urządzenia używają zapisanych przykładów na tych urządzeniach w celu ulepszenia modelu. Następnie urządzenia przesyłają dane ulepszanie modelu (ale nie przykłady treningowe) w celu koordynowania, serwera, gdzie są one agregowane z innymi aktualizacjami, by zapewnić model globalny. Po agregacji aktualizacje modelu obliczone przez urządzenia nie są już potrzebne i można je odrzucić.

Ponieważ przykłady treningowe nie są nigdy przesyłane, sfederowane uczenie się jest zgodne z zasady ochrony prywatności, czyli ukierunkowanie na zbieranie danych i minimalizację danych.

Więcej informacji o sfederowanym uczeniu się znajdziesz zobacz ten samouczek.

pętla informacji zwrotnych

W uczeniu maszynowym to sytuacja, w której prognozy modelu wpływają na dla tego samego lub innego modelu. Na przykład model, który rekomenduje filmy, wpływa na to, jakie filmy widzą użytkownicy, a to z kolei wpływa na kolejne modele rekomendacji filmów.

Więcej informacji znajdziesz w sekcji Produkcyjne systemy ML: pytania do zastanowienia się w Kursie intensywnym z uczenia maszynowego.

sieć neuronowa do przodu (FFN)

Sieć neuronowa bez połączeń cyklicznych ani rekurencyjnych. Na przykład tradycyjne głębokie sieci neuronowe to sieci neuronowe typu feedforward. W odróżnieniu od powtarzających się sieci neuronowych, które są cykliczne.

uczenie się w kilku przykładach

Systemy uczące się, często używane do klasyfikacji obiektów, zaprojektowane w celu trenowania skutecznych klasyfikatorów na podstawie niewielkiej liczby przykładów.

Zobacz też uczenie jednorazowym przykładem i uczenie zero-shot.

prompty „few-shot”

prompt zawierający więcej niż 1 (czyli „kilka”) przykładów pokazujących, jak duży model językowy powinien odpowiadać. Na przykład ten długi prompt zawiera 2 przykłady, które pokazują dużemu modelowi językowemu, jak odpowiadać na zapytanie.

Krótkie prompty pozwalają zwykle uzyskać lepsze wyniki niż promptów typu „zero-shot”, jedno-razowe prompty. Prompty „few-shot” wymagają jednak dłuższego promptu.

Prompty „few-shot” to forma uczenia się typu „few-shot”, która wykorzystuje uczenie się na podstawie promptów.

Zobacz prompt inżynieria w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

Skrzypce

Biblioteka konfiguracji skoncentrowana na Pythonie, która ustawia wartości funkcji i klas bez inwazyjnego kodu i infrastruktury. W przypadku Pax i innych baz kodu ML te funkcje i klasy reprezentują modele i trenowanieparametry hiperzmiennych.

Skrzypce zakłada, że bazy kodu systemów uczących się są zwykle podzielone na:

• Kod biblioteki, który definiuje warstwy i optymalizatory.
• kod „klejący” zbiór danych, który wywołuje biblioteki i połącza wszystko ze sobą.

Fiddle przechwytuje strukturę wywołania kodu glue w elemencie nieocenionym lub zmiennej postaci.

dostrajanie

Drugi przejazd treningowy, który jest wykonywany na wytrenowanym wcześniej modelu w celu dostosowania jego parametrów do konkretnego zastosowania. Przykładowa pełna sekwencja trenowania niektórych dużych modeli językowych:

1. Wstępne trenowanie: trenowanie dużego modelu językowego na ogromnym ogólnym zbiorze danych, takim jak wszystkie strony Wikipedii w języku angielskim.
2. Dostrajanie: wytrenuj już wytrenowany model do wykonania określonego zadania. np. odpowiadania na pytania medyczne. Dostrojenie polega zwykle na wykorzystaniu setek lub tysięcy przykładów dotyczących konkretnego zadania.

Innym przykładem jest pełna sekwencja trenowania dużego modelu obrazu. następujące:

1. Przed trenowaniem: wytrenuj duży model obrazu na dużym obrazie ogólnym takich jak wszystkie obrazy w witrynie Wikimedia Commons.
2. Dostrojenie: wytrenowanie wstępnie przeszkolonego modelu do wykonywania konkretnego zadania, np. generowania obrazów orek.

Dostosowanie dokładne może obejmować dowolną kombinację tych strategii:

• Zmodyfikowanie wszystkich wytrenowanych modeli parametry. Czasami nazywa się to pełnym dostrajaniem.
• Zmodyfikowanie tylko niektórych istniejących parametrów wytrenowanego modelu (zwykle warstwy najbliższe warstwie wyjściowej), a inne istniejące parametry nie zmieniają się (zwykle warstwy najbliżej warstwy wejściowej). Zapoznaj się z dostrajaniem z optymalnym wykorzystaniem parametrów.
• Dodawanie kolejnych warstw, zwykle na wierzchu istniejących warstw najbliżej warstwy wyjściowej.

Dostrojenie to forma uczenia się przez przenoszenie. W związku z tym do dostrajania może być używana inna funkcja straty lub inny model. niż używany do trenowania wytrenowanego modelu. Możesz na przykład: dostrajać wytrenowany duży model obrazów w celu wygenerowania modelu regresji, zwraca liczbę ptaków na obrazie wejściowym.

Porównaj dostrojenie z tymi pojęciami:

• destylacja
• nauczanie oparte na promptach

Patrz: Dostrajanie w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

Len

Wysokowydajna biblioteka open source do uczenia głębokiego oparta na JAX. Flax udostępnia funkcje treningu sieci neuronowych oraz metody oceny ich wydajności.

Len

Biblioteka Transformer oparta na Flaxie, przeznaczona głównie do przetwarzania języka naturalnego i badania multimodalnego.

forget gate

Część pamięci krótkoterminowej która reguluje przepływ informacji przez komórkę. Bramki zapominania zachowują kontekst, określając, które informacje mają zostać odrzucone ze stanu komórki.

pełny softmax

Synonim wyrażenia softmax.

Przeciwieństwem jest próbkowanie kandydatów.

Więcej informacji znajdziesz w sekcji Uczenie maszynowe – sieć neuronowa: klasyfikacja wieloklasowa w Kursie intensywnym z uczenia maszynowego.

w pełni połączona warstwa

Warstwa ukryta, w której każdy węzeł jest połączony z każdym węzłem w kolejnej warstwie ukrytej.

W pełni połączona warstwa nazywana jest też gęstą warstwą.

przekształcenie funkcji

Funkcja, która przyjmuje funkcję jako argument wejściowy, a jako wynik zwraca przekształconą funkcję. JAX używa przekształceń funkcji.

G

GAN

Skrót od generative adversarial)

uogólnianie

Zdolność modelu do trafnego przewidywania wyników na podstawie nowych, wcześniej niewidzianych danych. Model, który może uogólniać, jest przeciwieństwem modelu, który jest zbyt dopasowany.

Patrz: Uogólnianie. w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

Gemini

Ekosystem obejmujący najbardziej zaawansowaną AI od Google. Elementy tego ekosystemu:

• różne modele Gemini;
• Interaktywny interfejs konwersacyjny dla modelu Gemini. Użytkownicy wpisują prompty, a Gemini na nie odpowiada.
• różne interfejsy Gemini API;
• różne usługi biznesowe oparte na modelach Gemini; np. Gemini dla Google Cloud

Modele Gemini

Opracowany przez Google najnowocześniejszy model Transformer modele multimodalne, Modele Gemini są szczególnie zaprojektowany z myślą o integracji z agentami.

Użytkownicy mogą wchodzić w interakcje z modelami Gemini na różne sposoby, m.in. za pomocą interaktywnego interfejsu dialogowego i pakietów SDK.

krzywa generalizacji

Wykres straty na etapie trenowania i straty na etapie walidacji w funkcji liczby iteracji.

Krzywa uogólniania może pomóc w wykryciu możliwego nadmiernego dopasowania. Na przykład krzywa generalizacji sugeruje przetrenowanie, ponieważ strata weryfikacyjna staje się ostatecznie znacznie większa niż strata podczas trenowania.

Patrz: Uogólnianie. w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

uogólniony model liniowy

Uogólnianie modeli regresji najmniejszych kwadratów, które opierają się na szumie Gaussa, na inne typy modeli opartych na innych rodzajach szumu, takich jak szum Poissona lub szum kategorialny. Przykłady uogólnionych modeli liniowych:

• regresja logistyczna
• regresja wieloklasowa
• regresja najmniejszych kwadratów

Parametry uogólnionego modelu liniowego można znaleźć za pomocą optymalizację wypukłą.

Modele liniowe ogólne mają te właściwości:

• Średnia prognoza optymalnego modelu regresji najmniejszych kwadratów jest równa średniej etykiecie w danych treningowych.
• Średnie prawdopodobieństwo prognozowane przez optymalną regresję logistyczną model jest równy średniej etykiecie danych treningowych.

Moc modelu liniowego ogólnego jest ograniczona przez jego cechy. W przeciwieństwie do modelu głębokiego, uogólniony model liniowy nie może „uczyć się nowych cech”.

generatywna sieć kontradyktoryjnej (GAN)

System do tworzenia nowych danych, w którym generator tworzy dane, a element dyskryminujący określa, czy utworzone dane są prawidłowe.

Zapoznaj się z kursem na temat Generative Adversarial Networks. .

generatywna AI

Nowe, rewolucyjne pole, które nie ma formalnej definicji. Jednak większość ekspertów zgadza się, że modele generatywnej AI mogą tworzyć („generować”) treści, które:

• złożone
• spójne
• oryginał

Na przykład model generatywnej AI może tworzyć zaawansowane wypracowania lub grafiki.

Niektóre starsze technologie, w tym sieci LSTM i sieci RNN, również mogą generować oryginalne i spójne treści. Niektórzy eksperci uważają, że te wcześniejsze technologie są generatywną AI, podczas gdy inni uważają, że prawdziwa generatywna AI wymaga bardziej złożonego wyjścia, niż mogą wygenerować te wcześniejsze technologie.

W przeciwieństwie do systemów ML prognozujących.

model generatywny

W praktyce model, który wykonuje jedną z tych czynności:

• Tworzy (generuje) nowe przykłady na podstawie zbioru danych treningowych. Na przykład model generatywny może tworzyć poezję po wytrenowaniu na zbiorze wierszy. Do tej kategorii należy część generatora generatywnej sieci generatywnej.
• Określa prawdopodobieństwo, że nowy przykład pochodzi z zbiór treningowych lub został utworzony za pomocą tego samego mechanizmu, który został utworzony do zbioru treningowego. Na przykład po trenowaniu zbioru danych zawierającego angielskie zdania, model generatywny może określać prawdopodobieństwo, że nowe dane wejściowe są prawidłowym zdaniem w języku angielskim.

Model generatywny może teoretycznie rozróżnić rozkład przykładów czy konkretnych cech zbioru danych. Czyli:

p(examples)

Modele uczenia nienadzorowanego są generatywne.

W przeciwieństwie do modeli dyskryminacyjnych.

generator

Podsystem w ramach kontrowersyjnego generatywnego sieć który tworzy nowe przykłady.

Kontrast w porównaniu z modelem dyskryminacyjnym.

wskaźnik gini,

Dane podobne do entropii. Rozdzielacze użyj do utworzenia wartości pochodzących z zanieczyszczenia gini lub entropii warunki klasyfikacji drzewa decyzyjne. Zysk informacji pochodzi z entropii. Nie ma powszechnie przyjętego odpowiednika dla danych pochodzących z wskaźnika gini. Jednak te nienazwane dane są równie ważne jak zysk informacyjny.

Nieczystość giniego jest również nazywana wskaźnikiem ginie lub po prostu gini.

golden zbiór danych

Zestaw ręcznie sporządzonych danych, który zawiera dane podstawowe. Aby ocenić jakość modelu, zespoły mogą użyć co najmniej 1 złotego zbioru danych.

Niektóre złote zbiory danych obejmują różne podzbiory dokładnych informacji. Na przykład zbiór danych złotego standardu do klasyfikacji obrazów może uwzględniać warunki oświetlenia i rozdzielczość obrazu.

GPT (wytrenowany generatywny transformer)

Rodzina produktów opartych na Transformer dużych modeli językowych opracowanych przez OpenAI.

Warianty GPT mogą dotyczyć wielu modalności, w tym:

• generowanie obrazów (np. ImageGPT)
• generowanie obrazu na podstawie tekstu (np. DALL-E).

gradient

Wektor częściowych pochodnych względem wszystkich zmiennych niezależnych. W uczeniu maszynowym gradient to wektor pochodnych cząstkowych funkcji modelu. Punkty gradientu w kierunku najbardziej stromego podejścia.

akumulacja gradientu

Technika propagacji wstecznej, która aktualizuje parametry tylko raz na erę, a nie raz na iterację. Po przetworzeniu każdej minizbiorczej gradientu funkcja akumulacji aktualizuje bieżącą łączną liczbę gradientów. Następnie, po przetworzeniu ostatniego mini-zbioru w epoce, system aktualizuje parametry na podstawie sumy wszystkich zmian gradientu.

Akumulacja gradientów jest przydatna, gdy rozmiar grupy to bardzo duża w porównaniu z ilością dostępnej pamięci do trenowania. Gdy pamięć jest problemem, naturalną tendencją jest zmniejszanie wielkości wsadu. Jednak zmniejszenie rozmiaru partii w ramach zwykłego rekurencyjnego propagowania wstecznego zwiększa liczbę aktualizacji parametrów. Akumulacja gradientem włącza model aby uniknąć problemów z pamięcią, ale nadal wydajnie trenować.

drzewa decyzyjne z wzmocnieniem gradientu (GBT),

Typ lasu decyzyjnego, w którym:

• Szkolenie polega na wzmacnianiu gradientu.
• Słabszy model to drzewo decyzyjne.

Zobacz decyzję z wzmocnieniem gradientu Drzewa w Aby dowiedzieć się więcej, zapoznaj się z kursem Decision Forests.

boosting gradientowy

Algorytm trenowania, w którym słabe modele są trenowane iteracyjnie Poprawa jakości (zmniejszenie utraty) solidnego modelu. Słabością modelu może być np. model liniowy lub małe drzewo decyzyjne. Silny model staje się sumą wszystkich wytrenowanych wcześniej słabych modeli.

W najprostszej formie wzmacniania gradientowego na każdej iteracji słaby model jest trenowany do przewidywania gradientu utraty silnego modelu. Następnie funkcja silny model jest aktualizowany przez odjęcie przewidywanego gradientu, podobnie jak w przypadku opadania gradientowego.

gdzie:

• $F_{0}$ to początkowy model silny.
• $F_{i+1}$ to kolejny silny model.
• $F_{i}$ to bieżący silny model.
• $\xi$ to wartość z zakresu od 0,0 do 1,0 nazywana skurczem, co jest analogiczne do tempo uczenia się w opadanie gradientowe.
• $f_{i}$ to słaby model wytrenowany do przewidywania gradientu straty $F_{i}$.

Nowoczesne warianty boostingu gradientowego uwzględniają w swoim działaniu także drugą pochodną (Hesjana) funkcji strat.

Drzewa decyzyjne są powszechnie używane jako słabe modele wzmocnienia gradientu. Zobacz drzewa decyzyjne z ulepszoną jakością gradientu.

przycinanie gradientu

Często stosowany mechanizm ograniczający problem wybuchowego gradientu poprzez sztuczne ograniczanie (przycinanie) maksymalnej wartości gradientów podczas stosowania metody gradientu prostego do treningu modelu.

spadku wzdłuż gradientu

Technika matematyczna służąca do minimalizowania strat. Spadek gradientowy koryguje iteracyjnie wagi i uprzedzenia, stopniowo znajdują najlepsze kombinacje w celu zminimalizowania strat.

Metoda gradientowa jest starsza – znacznie, znacznie starsza niż systemy uczące się.

Zobacz sekcję Regresja liniowa: gradient gradientowy. descent w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

wykres

W TensorFlow jest to specyfikacja obliczeń. Węzły na wykresie przedstawiają operacje. Krawędzie są kierowane i reprezentują zaliczoną wartość operacji (Tensor) jako do innej operacji. Użyj TensorBoard, aby zwizualizować wykres.

wykonanie grafu

Środowisko programistyczne TensorFlow, w którym program najpierw tworzy wykres, a następnie wykonuje cały wykres lub jego część. Wykres to domyślny tryb wykonywania w TensorFlow 1.x.

Przeciwieństwem jest wykonanie z zaangażowaniem.

zasada zachłanności

W uczeniu ze wzmocnieniem polityka, która zawsze wybiera działanie o najwyższym oczekiwanym zwrocie.

dane podstawowe

Reality

Rzecz, która faktycznie się wydarzyła.

Rozważmy na przykład model dwuklasowej klasyfikacji, który przewiduje, czy student pierwszego roku studiów ukończy je w ciągu 6 lat. Dane podstawowe tego modelu to tego, czy nie że uczeń ukończył szkołę w ciągu 6 lat.

efekt udziału grupy

Zakładanie, że to, co jest prawdziwe w przypadku danej osoby, jest też prawdziwe w przypadku wszystkich innych osób w tej grupie. Skutki błędu atrybucji grupowej mogą być nasilone, jeśli do zbierania danych używasz próbkowania dogodnego. W przypadku niereprezentatywnej próby mogą wystąpić przypisania, które nie odzwierciedlają rzeczywistości.

Zobacz też odchylenie jednorodności poza grupą i uprzedzenia w grupie. Więcej informacji znajdziesz w sekcji Uczciwość: rodzaje stronnicości w Szybkim szkoleniu z uczenia maszynowego.

H

halucynacja

wygenerowanie przez model generatywnej AI danych wyjściowych, które wydają się wiarygodne, ale są nieprawdziwe, i które rzekomo stanowią twierdzenie o rzeczywistym świecie. Na przykład generatywny model AI twierdzi, że Barack Obama zmarł w 1865 roku. jest hallucynacyjny.

wyliczanie skrótu

W uczeniu maszynowym mechanizm grupowania danych kategorialnych, zwłaszcza gdy liczba kategorii jest duża, ale liczba kategorii, które faktycznie się pojawiają, jest dość mała.

Na przykład na Ziemi występuje około 73 tys. gatunków drzew. Możesz reprezentują każdy z 73 000 gatunków drzew w 73 000 osobnych kategorii zasobników. Jeśli w zbiorze danych występuje tylko 200 gatunków drzew, możesz użyć haszowania, aby podzielić je na około 500 grup.

Jeden kosz może zawierać wiele gatunków drzew. Na przykład funkcja hashowania może umieścić baobab i klon czerwony – 2 gatunki genetycznie różne – w tym samym zbiorze. Mimo to haszowanie jest nadal dobrym sposobem na mapowanie dużych zbiorów kategorii na wybraną liczbę puli. Funkcja haszująca zamienia cechę kategorialną o dużej liczbie możliwych wartości na znacznie mniejszą liczbę wartości przez zgrupowanie wartości w sposób deterministyczny.

Zobacz Dane kategorialne: słownictwo i jedno gorące kodowanie w ramach szybkiego szkolenia dotyczącego uczenia maszynowego.

heurystyka

Proste i szybkie rozwiązanie problemu. Na przykład: "Dzięki heurystycznym algorytmom udało nam się uzyskać dokładność na poziomie 86%. Gdy przeszliśmy na dzięki głębokiej sieci neuronowej, dokładność wzrosła nawet o 98%”.

warstwa ukryta

Warstwa w sieci neuronowej między warstwą wejściową (cechy) a warstwą wyjściową (prognoza). Każda warstwa ukryta składa się z co najmniej 1 neurona. Na przykład ta sieć neuronowa zawiera 2 ukryte warstwy:

Głęboka sieć neuronowa zawiera więcej niż 1 warstwę ukrytą. Na przykład poprzednia ilustracja przedstawia głębokie połączenie neuronowe ponieważ model zawiera dwie ukryte warstwy.

Więcej informacji znajdziesz w artykule Neural networks: Nodes and hidden layers z cyklu Crash Course z machine learningu.

grupowanie hierarchiczne

Kategoria algorytmów klasterowania, które tworzą drzewo klastrów. Grupowanie hierarchiczne jest odpowiednie do danych hierarchicznych, takich jak taksonomia roślin. Istnieją 2 rodzaje hierarchicznych algorytmów grupowania:

• Grupowanie agregacyjne polega na tym, że najpierw przypisujemy każdy przykład do własnego klastra. iteracyjnie scala najbliższe klastry, aby utworzyć drzewo.
• Grupowanie dywizyjne najpierw grupuje wszystkie przykłady w 1 klaster, a następnie iteracyjnie dzieli klaster na drzewo hierarchiczne.

Przeciwieństwem są grupowanie oparte na centroidach.

Więcej informacji znajdziesz w sekcji Algorytmy klastrowania w Kursie z klasteringu.

utrata zawiasu,

Rodzina funkcji straty do klasyfikacji, która ma na celu znalezienie granicy decyzyjnej jak najbardziej oddalonej od każdego przykładu treningowego, maksymalizując w ten sposób margines między przykładami a granicą. KSVM używają funkcji hinge loss (lub powiązanej z nią funkcji, np. kwadratowej funkcji hinge loss). W przypadku klasyfikacji binarnej funkcja utraty zawiasów jest zdefiniowane w ten sposób:

gdzie y to właściwa etykieta (-1 lub +1), a y' to nieprzetworzone dane wyjściowe modelu klasyfikatora:

W efekcie wykres utraconych zawiasów w porównaniu z postacią (y * y) wygląda tak:

efekt historyczny

Rodzaj uprzedzeń, który istnieje już na świecie i ma które stały się dostępne w zbiorze danych. Te uprzedzenia mają tendencję do odzwierciedlania istniejących stereotypów kulturowych, nierówności demograficznych i uprzedzeń wobec niektórych grup społecznych.

Weźmy np. model klasyfikacji, który prognozuje, czy osoba ubiegająca się o kredyt nie spłaci kredytu, który był trenowanych na historycznych danych o wierzytelności kredytowej z lat 80. ubiegłego wieku od lokalnych banków w dwóch dla różnych społeczności. Jeśli w przypadku wcześniejszych wniosków kredytowych osób z grupy A prawdopodobieństwo niespłacenia kredytu było 6 razy większe niż w przypadku osób z grupy B, model mógłby nauczyć się historycznego uprzedzeństwa, co spowodowałoby, że model rzadziej udzielałby kredytów w grupie A, nawet jeśli historyczne warunki, które spowodowały wyższe współczynniki niespłacalności w tej grupie, nie były już istotne.

Więcej informacji znajdziesz w artykule Uczciwość: rodzaje uprzedzeń z cyklu „Krótki kurs uczenia maszynowego”.

dane wstrzymane

Przykłady: celowe niewykorzystane („wstrzymane”) podczas szkolenia. Zbiór danych do weryfikacji i zbiór danych do testów to przykłady danych holdout. Dane z danych nieużywanych pomagają ocenić zdolność modelu do uogólniania na dane inne niż dane, na których został wytrenowany. Strata na zbiorze testowym daje lepsze oszacowanie straty na nieznanym zbiorze danych niż strata na zbiorze treningowym.

host

Podczas trenowania modelu ML na elementach akceleratora (GPU lub TPU), część systemu, która kontroluje oba te elementy:

• Ogólny przepływ kodu.
• wyodrębnianie i przekształcanie potoku danych wejściowych;

Host zazwyczaj działa na procesorze, a nie na akceleratorze. device manipuluje tensorami układy akceleratora.

hiperparametr

zmienne, które Ty lub usługa dostrajania hiperparametrówzmieniasz podczas kolejnych sesji trenowania modelu; Przykład: szybkość uczenia się jest hiperparametrem. Przed rozpoczęciem sesji treningowej możesz ustawić szybkość uczenia się na 0,01. Jeśli uznasz, że 0,01 jest zbyt wysoką wartością, możesz ustawić szybkość uczenia się na 0,003 na następnej sesji treningowej.

Parametry to natomiast różne wagi i uprzedzenia, które model uczy się podczas trenowania.

Więcej informacji znajdziesz w sekcji Regresja liniowa: hiperparametry w Kursie intensywnym z obsługi uczenia maszynowego.

hiperplan

Granica, która dzieli przestrzeń na 2 podprzestrzenie. Na przykład linia jest hiperpłaszczyzną w 2 wymiarach, a płaszczyzna jest hiperpłaszczyzną w 3 wymiarach. W uczeniu maszynowym hiperpłaszczyzna to zwykle granica oddzielająca przestrzeń o dużej wymiarowości. Użycie maszyn wektorowych obsługujących jądra do oddzielania klas pozytywnych od ujemnych, często w bardzo wielkowymiarową przestrzeń.

I

i.i.d.

Skrót oznaczający dystrybucję niezależną i identycznie.

rozpoznawanie obrazów

Proces, który klasyfikuje obiekty, wzorce lub pojęcia na obrazie. Rozpoznawanie obrazów jest też nazywane klasyfikacją obrazów.

Więcej informacji znajdziesz w artykule ML Practicum: Image Classification.

Więcej informacji znajdziesz w praktycznym kursie dotyczącym uczenia maszynowego: klasyfikacja obrazów.

niezrównoważony zbiór danych

Synonim zbioru danych o niezrównoważonych klasach.

nieświadome uprzedzenia

Automatyczne tworzenie skojarzeń lub założeń na podstawie modeli i wspomnień. Ukryte uprzedzenia mogą wpływać na:

• sposobach zbierania i klasyfikowania danych;
• Jak projektować i rozwijać systemy uczące się.

Gdy na przykład tworzysz klasyfikator do identyfikowania zdjęć ślubnych, inżynier może wykorzystać obecność na zdjęciu obecności białej sukni jako elementu elementu. Jednak białe suknie były zwyczajowo noszone tylko w określonych epokach i kulturach.

Zobacz też odchylenie potwierdzenia.

przypisywanie

Skrót w postaci metody określania wartości.

niezgodność wskaźników obiektywności

Przekonanie, że niektóre pojęcia uczciwości są wzajemnie niezgodne nie mogą być spełnione jednocześnie. W rezultacie nie ma jednego uniwersalnego wskaźnika obiektywności, który można zastosować do wszystkich problemów z uczeniem maszynowym.

Może to wydawać się zniechęcające, ale niezgodność wskaźników obiektywności nie oznacza, że wysiłki związane z uczciwością są bezcelowe. Zamiast tego sugeruje, że obiektywność trzeba definiować w kontekście określonego problemu związanego z ML, aby zapobiegać szkodom związanym z danymi zastosowaniami.

Więcej informacji na ten temat znajdziesz w artykule „O możliwościach i niemożnościach zapewnienia sprawiedliwości”.

uczenie się w kontekście

Synonim promptów „few-shot”.

są rozkładane niezależnie i identycznie (np.)

Dane pochodzące z rozkładu, który się nie zmienia, a każda wylosowana wartość nie zależy od wcześniej wylosowanych wartości. Identyfikator to gaz idealny maszyny uczenie się – przydatny konstrukt matematyczny, który niemal nigdy nie został znaleziony dokładnie w świecie rzeczywistym. Na przykład rozkład użytkowników na stronę internetową mogą być i.i.d. w krótkim okresie, oznacza to, że rozkład w tym krótkim okresie, a wizyta jednej osoby jest zwykle niezależnie od wizyty innego użytkownika. Jeśli jednak rozszerzysz ten przedział czasu, mogą pojawić się sezonowe różnice w liczbie odwiedzających stronę.

Zobacz też niestacjonarność.

obiektywność indywidualna

Wskaźnik obiektywności, który sprawdza, czy podobne osoby zostały sklasyfikowane podobnie jak w przyszłości. Na przykład Brobdingnagian Academy może chcieć zapewnić sprawiedliwość indywidualną, dbając o to, aby 2 uczniowie z identycznymi ocenami i wynikami testów standaryzowanych mieli równe szanse na przyjęcie.

Pamiętaj, że indywidualna sprawiedliwość zależy wyłącznie od tego, jak zdefiniujesz „podobność” (w tym przypadku oceny i wyniki testów), a jeśli wskaźnik podobieństwa pominie ważne informacje (np. rygorystyczne programy nauczania), możesz narazić się na ryzyko wprowadzenia nowych problemów z sprawiedliwością.

Aby dowiedzieć się więcej o sprawiedliwości indywidualnej, zapoznaj się z artykułem „Fairness Through Awarenes”.

wnioskowanie

W uczeniu maszynowym proces prognozowania z zastosowaniem wytrenowanego modelu do przykładów bez etykiet.

Wnioskowanie ma w statystykach nieco inne znaczenie. Zobacz Więcej informacji znajdziesz w artykule o wnioskowaniu statystycznym w Wikipedii.

Aby poznać rolę wnioskowania w systemie uczenia nadzorowanego, zapoznaj się z uczenie nadzorowane w Kursie wprowadzającym do uczenia maszynowego.

ścieżka wnioskowania

W drzewie decyzyjnym podczas uogólniania przykład przechodzi od korzenia do innych warunków, aż do listka. Na przykład w tym schemacie decyzyjnym grubsze strzałki wskazują ścieżkę wnioskowania w przypadku przykładu z tymi wartościami cech:

• x = 7
• y = 12
• z = –3

Ścieżka wnioskowania na ilustracji poniżej przebiega przez trzy przed dotarciem do liścia (Zeta).

3 grube strzałki wskazują ścieżkę wnioskowania.

Zobacz Drzewa decyzyjne lekcji na temat lasów decyzyjnych.

zdobycie informacji

W lasach decyzyjnych jest to różnica między entropią węzła a ważoną (pod względem liczby przykładów) sumą entropii jego węzłów podrzędnych. Entropia węzła jest entropią w tym węźle.

Weźmy na przykład te wartości entropii:

• entropia węzła nadrzędnego = 0,6
• entropia jednego węzła podrzędnego z 16 odpowiednimi przykładami = 0,2
• entropia innego węzła podrzędnego z 24 odpowiednimi przykładami = 0,1

Oznacza to, że 40% przykładów znajduje się w jednym węźle podrzędnym, a 60% – w drugim. Dlatego:

• ważona suma entropii węzłów podrzędnych = (0,4 * 0,2) + (0,6 * 0,1) = 0,14

Informacje, które można uzyskać, to:

• przyrost informacji = entropia węzła nadrzędnego – ważona suma entropii węzłów podrzędnych
• przyrost informacji = 0,6 - 0,14 = 0,46

Większość rozdzielaczy stara się tworzyć warunki, które maksymalizują zysk informacji.

stronniczość wewnątrzgrupowa

Pokazanie stronniczości własnej grupy lub własnych cech. Jeśli testerzy lub oceniający to znajomi dewelopera systemów uczących się, rodziny lub współpracowników, uprzedzenia w grupie mogą unieważnić testy produktów lub zbioru danych.

Błąd w grupie to forma grupowy efekt atrybucji. Zobacz też Błąd jednorodności poza grupą.

Zobacz Obiektywność: typy uprzedzenie w Szybkie szkolenie z uczenia maszynowego, aby dowiedzieć się więcej.

generator danych wejściowych

Mechanizm, za pomocą którego dane są wczytywane do sieci neuronowej.

Generator danych wejściowych można traktować jako komponent odpowiedzialny za przetwarzanie danych źródłowych w tensory, które są iterowane w celu generowania partii na potrzeby trenowania, oceny i wykonywania wnioskowania.

warstwa wejściowa

Warstwa sieci neuronowej, która przechowuje wektory cech. Oznacza to, że warstwa wejściowa dostarcza przykładów do trenowania lub wyciągania wniosków. Na przykład warstwa wejściowa w tym Sieć neuronowa składa się z 2 elementów:

warunek w zestawie

W drzewie decyzyjnym warunek, który sprawdza obecność jednego elementu w zbiorze elementów. Oto przykładowy warunek w zestawie:

  house-style in [tudor, colonial, cape]

Podczas wnioskowania, jeśli wartość cech w stylu domu wynosi tudor, colonial lub cape, ten warunek przyjmuje wartość Tak. Jeśli wartość funkcji typu domu jest inna (np. ranch), warunek ten przyjmuje wartość Nie.

Warunki w zbiorze zwykle prowadzą do bardziej wydajnych drzewek decyzyjnych niż warunki testujące zmienną zaszyfrowaną w postaci tablicy 1-hot.

instancja

Synonim wyrażenia przykład.

dostrajanie instrukcji

Forma dostrajania, która poprawia Zdolność modelu generatywnej AI do śledzenia za instrukcje. Dostrajanie instrukcji obejmuje trenowanie modelu na serii promptów, zwykle obejmujących szeroki zakres wiele różnych zadań. Powstały w ten sposób model dostrojony do instrukcji generować przydatne odpowiedzi na prompty typu „zero-shot”, do różnych zadań.

Porównaj z:

• dostrajanie energetyczne
• prompt tuning

interpretowalność

Umiejętność wyjaśnienia lub przedstawienia rozumowania modelu ML w zrozumiały sposób.

Na przykład większość modeli regresji liniowej jest łatwa do interpretacji. (wystarczy spojrzeć na wytrenowane wagi dla każdej cechy). Lasy decyzji są też bardzo czytelne. Niektóre modele wymagają zaawansowanej wizualizacji, aby była interpretowalna.

Do interpretacji modeli ML możesz użyć narzędzia do analizowania interpretowalności (LIT).

umowa między recenzentami

Pomiar częstotliwości, z jaką weryfikatorzy zgadzają się podczas wykonywania zadania. Jeśli oceniający się nie zgadzają, może być konieczne poprawienie instrukcji zadania. Czasem jest też nazywany porozumieniem między selekcjonerami lub wiarygodnością między oceniającymi. Zobacz też Cohena kappa, To jedna z najpopularniejszych metod pomiaru umów między uczestnikami umów.

Więcej informacji znajdziesz w sekcji Dane kategoryczne: typowe problemy z Kursu intensywnego na temat uczenia maszynowego.

współczynnik podobieństwa (IoU)

Przecięcie 2 zbiorów podzielone przez ich związek. W zadaniach związanych z wykrywaniem obrazów za pomocą uczenia maszynowego współczynnik podobieństwa służy do pomiaru dokładności prognozowanej ramki ograniczającej modelu w odniesieniu do ramki ograniczającej danych podstawowych. W tym przypadku współczynnik podobieństwa dla dwóch pól to stosunek obszaru nakładania się do całkowitego obszaru, a jego wartość waha się od 0 (brak nakładania się prognozowanej ramki ograniczającej i ramki ograniczającej danych podstawowych) do 1 (prognozowana i dane podstawowe mają dokładnie te same współrzędne).

Oto przykład:

• Prognozowana ramka ograniczająca (współrzędne ograniczające miejsce, w którym model (rysunek znajduje się na stoliku nocnym) jest zaznaczony na fioletowo.
• Zaznaczony na zielono jest obszar ograniczony (box) danych podstawowych (współrzędne określające, gdzie na obrazie znajduje się stół nocny).

W tym przypadku przecięcie ramek ograniczających na potrzeby prognozowania i danych podstawowych (na dole po lewej) wynosi 1 i suma ramek ograniczających prognozy i dane podstawowe (ground truth) (poniżej po prawej stronie) wynoszą 7, więc współczynnik IoU to \(\frac{1}{7}\).

IoU

Skrót od współczynnika podobieństwa.

macierz elementów

W systemach rekomendacji jest to macierz wektorów zastępczych wygenerowana przez faktoryzację macierzy, która zawiera ukryte sygnały dotyczące każdego elementu. Każdy wiersz macierzy elementów zawiera wartość pojedynczej cechy ukrytej dla wszystkich elementów. Weźmy na przykład system rekomendacji filmów. Każda kolumna w macierz elementów odpowiada jednemu filmowi. Utajone sygnały mogą reprezentować gatunki lub być trudniejsze do zinterpretowania które obejmują złożone interakcje między gatunkami, gwiazdami wieku filmu lub innych czynników.

Macierz elementów ma taką samą liczbę kolumn jak miejsce docelowe która jest obliczana na czynniki pierwsze. Jeśli np. system rekomendacji filmów ocenia 10 tys. tytułów, ma 10 tys. kolumn.

items

W systemie rekomendacji jednostki, które co zaleca system. Na przykład filmy to produkty rekomendowane przez sklep z filmami, a książki to produkty rekomendowane przez księgarnię.

iteracja

Pojedyncza aktualizacja parametrów modelu – wagi i odchylenia podczas szkoleń. Wielkość wsadu określa, ile przykładów model przetwarza w ramach jednej iteracji. Przykład: jeśli wielkość wsadu to 20, model przetworzy 20 przykładów wcześniej dostosować parametry.

Podczas trenowania sieci neuronowej pojedyncza iteracja obejmuje 2 przebiegi:

1. Przekazywanie dalej w celu oceny straty w jednej wsadzie.
2. Przejście wsteczne (backpropagation) w celu dostosowania parametrów modelu na podstawie utraty i tempa uczenia się.

J

JAX

Tablicowa biblioteka obliczeniowa łącząca XLA (Accelerated Linear Algebra) i automatyczne różnicowanie w przypadku wydajnych obliczeń numerycznych. JAX udostępnia prosty i wydajny interfejs API do pisania przyspieszonego kodu numerycznego za pomocą składanych transformacji. JAX zapewnia takie funkcje jak:

• grad (automatyczne zróżnicowanie)
• jit (kompilacja w sam raz)
• vmap (automatyczna wektoryzacja lub grupowanie)
• pmap (paralelizacja)

JAX to język do wyrażania i komponowania przekształceń kodu numerycznego, analogiczny do biblioteki NumPy w Pythonie, ale o znacznie szerszym zakresie. (Biblioteka .numpy w języku JAX jest funkcjonalnie odpowiednikiem, ale całkowicie przeredagowaną wersję biblioteki Pythona NumPy).

Biblioteka JAX szczególnie dobrze nadaje się do przyspieszania wielu zadań związanych z uczeniem maszynowym poprzez przekształcanie modeli i danych w postać odpowiednią do równoległości w układzie GPU i TPU chipów akceleratora.

Flax, Optax, Pax i wiele innych które są oparte na infrastrukturze JAX.

K

Keras

popularny interfejs API do uczenia maszynowego w Pythonie, Keras działa na kilku platformach deep learning, w tym na TensorFlow, gdzie jest dostępny jako tf.keras.

Kernel Support Vector Machines (KSVM)

Algorytm klasyfikacji, który stara się maksymalizować margines między klasami pozytywnymi a klasami negatywnymi przez mapowanie wektorów danych wejściowych na przestrzeń o większej wymiarowości. Rozważmy na przykład klasyfikację. w którym wejściowy zbiór danych ma sto funkcji. Aby zmaksymalizować margines między klasami pozytywnymi i ujemnymi, KSVM może wewnętrznie mapować te cechy w przestrzeni o milionie wymiarów. KSVM używa funkcji utraty o nazwie hinge loss.

keypoints

Współrzędne konkretnych cech na zdjęciu. Na przykład w przypadku adresu rozpoznawania obrazów, który wyróżnia z gatunków kwiatowych, najważniejsze informacje mogą stanowić centralny punkt każdego płatka, łodygę pręcik i tak dalej.

krzyżowa walidacja krzyżowa

Algorytm przewidujący zdolność modelu do generalizacji na nowe dane. Symbol k w części krzyżowej odnosi się do liczba równych grup, na które dzielisz przykłady zbioru danych; czyli trenujesz i przetestować swój model k razy. W każdej rundzie szkolenia i testów inna grupa jest zbiorem testowym, a pozostałe grupy stają się źródłem trenowania ustawiony. Po k okrążeniach trenowania i testowania obliczasz średnią i odchylenie standardowe wybranych danych testowych.

Załóżmy na przykład, że Twój zbiór danych składa się ze 120 przykładów. Dalej załóżmy, ustawiasz k na 4. Dlatego po losowaniu przykładów dzielisz zbiór danych na 4 równe grupy po 30 przykładów i przeprowadzasz 4 okrążenia treningu i testowania:

Na przykład błąd średniokwadratowy (MSE) może być najbardziej przydatnym wskaźnikiem w przypadku modelu regresji liniowej. Dlatego obliczyłby średnią i odchylenie standardowe MSE ze wszystkich czterech rund.

średnie k

Popularny algorytm zagnieżdżonego podziału, który grupował przykłady w ramach uczenia się nienadzorowanego. Algorytm k-średnich wykonuje te czynności:

• Metoda iteracyjna określa najlepsze k punktów środkowych (zwanych centroidami).
• Przypisuje każdy przykład do najbliższego centroidu. Te przykłady są najbliżej ten sam centroid należy do tej samej grupy.

Algorytm k-średnich wybiera lokalizacje centroidów, aby zminimalizować kwadrat odległości od każdego przykładu do najbliższego centroidu.

Weźmy na przykład taki wykres przedstawiający wysokość psa i jego szerokość:

Jeśli k=3, algorytm k-średniów określi trzy centroidy. Każdy przykład jest przypisany do najbliższego centroidu, co daje 3 grupy:

Załóżmy, że producent chce określić idealne rozmiary małych, średnich i dużych swetrów dla psów. Trzy centroidy określają średnią wysokości i średniej szerokości każdego psa w tej grupie. Dlatego producent powinien określić rozmiary swetrów na podstawie tych trzech centroidów. Pamiętaj, że centroid klastra zwykle nie jest jego przykładem.

Poprzednie ilustracje pokazują algorytm k-średnich w przypadku przykładów z tylko dwoma cechami (wysokość i szerokość). Pamiętaj, że k-średnie mogą grupować przykłady w wielu funkcjach.

k-mediana

Algorytm grupowania ściśle powiązany z parametrami k-średnie. praktyczna różnica między nimi jest taka:

• W metodzie k-średnich centroidy są określane przez minimalizowanie sumy kwadratów odległości między kandydatem na centroid a każdym z jego przykładów.
• W k-medianie centroidy są określane przez zminimalizowanie sumy wartości odległość między kandydującym obiektem centroidu a każdym jego przykładem.

Pamiętaj, że definicje odległości są też inne:

• k-średnia opiera się na Odległość euklidesowa od centroidu. (W dwóch wymiarach wartość euklidesowa odległość oznacza użycie twierdzenia Pitagorasa do obliczenia przeciwprostokątną). Na przykład odległość k-średnich między (2,2) a (5,-2) wynosi:

• K-mediana opiera się na odległości Manhattana od centroida do przykładu. Ta odległość to suma bezwzględnych różnic w każdym wymiarze. Na przykład k-mediana odległość między (2,2) a (5,-2) to:

L

Regularyzacja L₀

Typ regularyzacji, która nakłada kary na łączną liczbę niezerowych wag w modelu. Na przykład model o 11 wagach innych niż zero otrzymałaby karę więcej niż w przypadku podobnego modelu o 10 wagach innych niż zero.

Regularyzacja L₀ jest czasami nazywana regulacją normy L0.

Straty L₁

Funkcja strat, która oblicza bezwzględną wartość różnicy między rzeczywistymi wartościami etykiety a wartościami prognozowanymi przez model. Oto na przykład obliczenie utraty L₁ w partii składającej się z 5 przykładów:

Strata L₁ jest mniej wrażliwa na wartości wyizolowane niż strata L₂.

Średni bezwzględny błąd to średnia utrata informacji L₁ na przykład.

Regularyzacja L₁

Typ regularyzacji, która nakłada kary na wagi proporcjonalnie do ich sumy wartości bezwzględnych. Regularyzacja L₁ pomaga zwiększać wagę nieistotnych elementów lub prawie nieistotne, aby dokładnie 0. Cecha o wadze 0 jest skutecznie usuwana z modelu.

Porównaj z L₂ regularyzacją.

Strata L₂

Funkcja straty, która oblicza kwadrat różnicy między rzeczywistymi wartościami label i wartości prognozowane przez model. Oto na przykład obliczenie strat L₂ dla partii składającej się z 5 przykładów:

Z powodu kwadratów strata L₂ zwiększa wpływ wartości odstające: Oznacza to, że strata L₂ reaguje silniej na złe prognozy niż strata L₁. Na przykład strata L₁ dla poprzedniej partii będzie 8, a nie 16. Zwróć uwagę, że 9 z 16 wyników to wartości odstające.

Modele regresji zwykle używają funkcji utraty L₂ jako funkcji utraty.

Błąd średniokwadratowy to średnia wartość Strata L₂ na przykład. Strata kwadratowa to inna nazwa straty L₂.

Regularyzacja L₂

Rodzaj regularizacji, który powoduje nałożenie kary. wagi proporcjonalnie do sumy ich kwadratów. Regularyzacja L₂ pomaga zbliżyć wagi wartości odstających (czyli te o wysokich dodatnich lub niskich ujemnych wartościach) do 0, ale nie doprowadzi ich do dokładnie tej wartości. Cechy o wartościach bardzo bliskich 0 pozostają w modelu ale nie wpływają zbytnio na prognozę modelu.

Regularyzacja L₂ zawsze poprawia uogólnianie modele liniowe.

Porównaj z regularyzacją L₁.

etykieta

W nadzorowanych systemach uczących się „odbierz” lub „wynik” w przykładzie.

Każdy oznaczony przykład składa się z co najmniej 1 cechy i etykiety. Na przykład w folderze Spam wykrywania w zbiorze danych do wykrywania treści, etykieta miałaby prawdopodobnie wartość „spam” lub „nie spam”. W zbiorze danych „deszczownica” etykieta może być wartością deszcz, który padał w danym okresie.

przykład z etykietami

Przykład zawierający co najmniej jedną cechę i etykietę. Na przykład w tabeli poniżej znajdują się 3 oznaczone przykłady z modelu wyceny domu, z których każdy ma 3 cechy i 1 etykietę:

W przypadku nadzorowanych systemów uczących się modele trenują na przykładach oznaczonych etykietami i generują prognozy Przykłady bez etykiet.

Przykład oznaczony kontrastem z przykładami bez etykiet.

wyciek etykiety

Błąd w projekcie modelu, w którym funkcja jest pośrednikiem label. Rozważ na przykład model dwuklasowej klasyfikacji, który przewiduje, czy potencjalny klient kupi dany produkt. Załóżmy, że jedna z cech modelu jest wartością logiczną o nazwie SpokeToCustomerAgent Załóżmy też, że klient klienta jest tylko przypisany po zakupie przez potencjalnego klienta usługi. Podczas trenowania model szybko nauczy się kojarzyć SpokeToCustomerAgent z etykietą.

lambda

Synonim stawki legalizacji.

Lambda to termin przeciążony. Skupiamy się na tym haśle definicji w ramach regularizacji.

LaMDA (Language Model for Dialogue Applications)

Oparta na Transformerze duży model językowy opracowany przez Google i wytrenowany na duży zbiór danych dialogowych, który może generować realistyczne odpowiedzi konwersacyjne.

LaMDA: przełomowa rozmowa znajdziesz ogólny opis.

punkty orientacyjne

Synonim punktów kluczowych.

model językowy

Model, który szacuje prawdopodobieństwo wystąpienia tokena lub sekwencji tokenów w dłuższej sekwencji tokenów.

duży model językowy

Minimalnie model językowy o bardzo dużej liczbie parametrów. Nieformalnie: dowolny model językowy oparty na Transformerze, np. Gemini lub GPT.

przestrzeń ukryta

Synonim przestrzeni wektorów dystrybucyjnych.

warstwa

Zbiór neuronów sieci neuronowej. Oto 3 najczęstsze typy warstw:

• Warstwa wejściowa, która zawiera wartości dla wszystkich funkcji.
• Co najmniej 1 ukrytych warstw, które znajdują nieliniowe zależności między cechami a etykietą.
• Warstwa wyjściowa, która dostarcza prognozy.

Na przykład na ilustracji poniżej przedstawiono sieć neuronowa jedną warstwę wejściową, dwie warstwy ukryte i jedną warstwę wyjściową:

W TensorFlow warstwy to też funkcje Pythona, które przyjmują jako dane wejściowe tensory i inne tensory jako dane wyjściowe.

Layers API (tf.layers)

Interfejs TensorFlow API do tworzenia deep sieci neuronowej jako kompozycję warstw. Interfejs Warstwy API pozwala tworzyć typy warstw, takie jak:

• tf.layers.Dense w przypadku w pełni połączonej warstwy.
• tf.layers.Conv2D w przypadku warstwy splotowej.

Interfejs Layers API stosuje konwencje interfejsu Keras. Oznacza to, że oprócz innego prefiksu wszystkie funkcje w interfejsie Warstwy API mają takie same imiona i nazwiska i podpisy jak ich odpowiedniki w Keraście warstw API.

liść

Dowolny punkt końcowy w drzewie decyzji. W przeciwieństwie do warunku element nie wykonuje testu. Możliwy jest raczej liść. Liść jest też węzłem końcowym ścieżki wnioskowania.

Na przykład ten schemat decyzyjny zawiera 3 liście:

Narzędzie do analizowania interpretowalności (LIT)

Wizualne, interaktywne narzędzie do rozumienia modeli i wizualizacji danych.

Możesz użyć oprogramowania LIT typu open source, interpretować modele ani wizualizować tekstu, obrazu i obrazu, dane w formie tabeli.

tempo uczenia się

Liczba zmiennoprzecinkowa, która określa zjawisko gradientu. jak silnie dostosować wagi i uprzedzenia dla każdego iteracja. Na przykład szybkość uczenia się 0,3 będzie wpływać na wagi i uświadczenia trzykrotnie silniej niż szybkość uczenia się 0,1.

Tempo uczenia się to kluczowy hiperparametr. Jeśli ustawisz zbyt niskie tempo uczenia się, trenowanie zajmie za długo. Jeśli ustawisz zbyt wysoką szybkość uczenia się, metoda gradientu prostego często ma problemy z osiągnięciem konwergencji.

regresja najmniejszych kwadratów

Model regresji liniowej wytrenowany przez minimalizację L₂ Utrata.

jednostajne

Relacja między co najmniej 2 zmiennymi, którą można przedstawić wyłącznie przez dodawanie i mnożenie.

Wykres zależności liniowej jest linią.

Przeciwieństwem są nonlinear.

model liniowy

Model, który przypisuje jedną wagę każdemu feature do prognozowania. (Modele liniowe uwzględniają też uprzedzenia). Natomiast relacja między cechami a prognozami w modelach głębokich jest zazwyczaj nieliniowa.

Modele liniowe są zwykle łatwiejsze do wytrenowania i bardziej zrozumiałe niż modele głębokie. Pamiętaj jednak: modele głębokie mogą uczyć się złożonych relacji między cechami.

Regresja liniowa i regresja logistyczna to 2 typy modeli liniowych.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

regresja liniowa

Typ modelu systemów uczących się, w którym spełnione są oba te warunki:

• Model jest liniowy.
• Prognoza jest wartością zmiennoprzecinkową. (jest to część dotycząca regresji w ramach regresji liniowej).

Porównaj regresję liniową z regresją logistyczną. Porównaj regresję z klasyfikacją.

LIT

Skrót od operatora narzędzie do analizowania interpretowalności (LIT), które wcześniej nazywało się narzędziem do interpretowalności języka.

LLM

Skrót od large model Language (duży model językowy).

Oceny LLM (oceny)

Zestaw danych i testów porównawczych do oceny skuteczności dużych modeli językowych (LLM). Mówiąc ogólnie, Oceny LLM:

• Pomagać badaczom w określaniu obszarów, w których modele LLM wymagają poprawy.
• Są przydatne do porównywania różnych modeli LLM i identyfikowania najlepszego danego zadania.
• pomagać w zapewnieniu bezpieczeństwa i moralności korzystania z modeli LLM.

regresja logistyczna

Typ modelu regresji, który prognozuje prawdopodobieństwo. Modele regresji logistycznej mają te cechy:

• Etykieta jest kategorialna. Termin „regresja logistyczna” zwykle odnosi się do binarnej regresji logistycznej, czyli modelu, który oblicza prawdopodobieństwa dla etykiet o 2 możliwych wartościach. Mniej popularny wariant, wielomianowa regresja logistyczna, oblicza prawdopodobieństwa dla etykiet z więcej niż 2 możliwymi wartościami.
• Funkcja utraty podczas trenowania to logarytmiczna utrata. (Wiele jednostek utraty logów można umieścić równolegle dla etykiet z więcej niż dwiema możliwymi wartościami).
• Model ma architekturę liniową, a nie głęboką sieć neuronowa. Pozostała część tej definicji dotyczy jednak również głębokich modeli, które przewidują prawdopodobieństwa dla etykiet kategorycznych.

Rozważmy na przykład model regresji logistycznej, który oblicza prawdopodobieństwo, że podany e-mail jest spamem lub nie jest spamem. Podczas wnioskowania załóżmy, że model przewiduje 0,72. Dlatego model szacuje:

• 72% prawdopodobieństwa, że e-mail będzie spamem
• 28% prawdopodobieństwo, że e-mail nie jest spamem.

Model regresji logistycznej wykorzystuje tę architekturę dwuetapową:

1. Model generuje nieprzetworzoną prognozę (y') przez zastosowanie funkcji liniowej cech wejściowych.
2. Model używa tej nieprzetworzonej prognozy jako danych wejściowych funkcja sigmoidalna, która konwertuje nieprzetworzoną dla prognozy na wartość z zakresu od 0 do 1 wyłącznie.

Podobnie jak każdy model regresji, model regresji logistycznej prognozuje liczbę. Jednak ta liczba zwykle staje się częścią klasyfikacji binarnej model w następujący sposób:

• Jeśli prognozowana liczba jest większa niż próg klasyfikacji, model klasyfikacji binarnej prognozuje klasę pozytywną.
• Jeśli prognozowana liczba jest mniejsza niż próg klasyfikacji, model klasyfikacji binarnej prognozuje klasę ujemną.

logit

Wektor nieprzetworzonych (nieznormalizowanych) prognoz, które klasyfikuje model jest generowany, który jest zwykle przekazywany do funkcji normalizacji. Jeśli model wykrywa klasyfikację wieloklasową logiki stają się zwykle danymi wejściowymi dla Funkcja softmax. Następnie funkcja softmax generuje wektor (znormalizowanych) prawdopodobieństw z jedną wartością dla każdej możliwej klasy.

Logarytmiczna funkcja straty

Funkcja utraty używana w binarnej regresji logistycznej.

log-odds

Logarytm prawdopodobieństwa wystąpienia danego zdarzenia.

Długa pamięć krótkotrwała (LSTM)

Typ komórki w sieci neuronowej z pamięcią rekurencyjną, która służy do przetwarzania sekwencji danych w takich zastosowaniach jak rozpoznawanie pisma ręcznego, tłumaczenie maszynowe i dodawanie podpisów do obrazów. Oprogramowanie LSTM dotyczy problemu z gradientem, który występuje, gdy trenowanie członków RNN ze względu na długie sekwencje danych dzięki utrzymaniu historii stan pamięci wewnętrznej na podstawie nowych danych wejściowych i kontekstu z poprzednich komórek w RNN.

LoRA

Skrót od terminu Low-Rank Adaptability.

przegrana

Podczas treningu modelu nadzorowanego mierzy się, jak daleko prognoza modelu odbiega od etykiety.

Funkcja utraty oblicza utratę.

agregator strat

Typ algorytmu uczenia maszynowego, który poprawia wydajność modelu. przez połączenie prognoz wielu modeli na podstawie tych danych do stworzenia pojedynczej prognozy. W rezultacie agregator strat może zmniejszyć wariancję prognoz i poprawić ich dokładność.

krzywa utraty

Wykres straty jako funkcji liczby iteracji. Na wykresie poniżej widać typowy przebieg funkcji utraty:

Krzywe strat mogą pomóc w określeniu, kiedy model zbiera dane lub nadmiernie dopasowuje się.

Krzywe straty mogą wykreślać wszystkie te typy strat:

• strata na etapie treningu
• utrata walidacji
• test loss

Zobacz też krzywą generalizacji.

funkcja utraty

Podczas trenowania lub testowania funkcja matematyczna, która oblicza stratę na partii przykładów. Funkcja straty zwraca mniejszą stratę w przypadku modeli, które dobrze przewidują, niż w przypadku modeli, które źle przewidują.

Celem trenowania jest zazwyczaj zminimalizowanie utraty funkcji „powrót karetki”.

Istnieje wiele różnych rodzajów funkcji strat. Wybierz odpowiednią stratę dla rodzaju tworzonego modelu. Na przykład:

• L₂ (lub średnia kwadratowa błędu) jest funkcją utraty w przypadku regresji liniowej.
• Log Loss (Utrata logów) to funkcja straty dla funkcji regresji logistycznej.

powierzchnia straty

Wykres przedstawiający stosunek wagi do wagi. Efekt gradientu ma na celu aby określić wagę, dla której powierzchnia straty wynosi lokalne minimum.

Dostosowanie niskiego rankingu (LoRA)

Techniczne zagadnienia dotyczące parametrów dotyczące dokładnego dostrojenia, które polega na „zamrożeniu” wstępnie wytrenowanych wag modelu (aby nie można ich było już modyfikować), a następnie wstawianiu do modelu małego zestawu wag do trenowania. Ten zbiór trenowanych wag (zwany też „macierzami aktualizacji”) jest znacznie mniejszy niż model podstawowy, a co za tym idzie, jego trenowanie przebiega znacznie szybciej.

LoRA zapewnia te korzyści:

• Poprawia jakość prognoz modelu w domenie, w której stosowane jest dostrajanie.
• Dostrajanie odbywa się szybciej niż w przypadku technik wymagających dostrajania wszystkich .
• Obniża koszty obliczeniowe wnioskowania, włączając równoczesne udostępnianie wielu wyspecjalizowanych modeli o tej samej bazie model atrybucji.

LSTM

Skrót od Long Short-Term Memory.

M

systemy uczące się

Program lub system, który szkoli model na podstawie danych wejściowych. Wytrenowany model może tworzyć przydatne prognozy na podstawie nowych (wcześniej nieużywanych) danych pochodzących z tego samego rozkładu co dane użyte do trenowania modelu.

Uczenie maszynowe odnosi się też do dziedziny nauki związanej z tymi programami lub systemami.

klasa większości

Więcej informacji zawiera sekcja opisująca typowe błędy. Przykład: dla zbioru danych zawierającego 99% etykiet negatywnych i 1% pozytywnych, etykiety negatywne są większością.

Wskaż kontrast z klasą mniejszości.

Proces decyzyjny Markowa (MDP)

Wykres przedstawiający model decyzyjny, w którym (lub działań), by poruszać się po sekwencji stwierdza przy założeniu, że Blokady właściwości Markova. W nauczaniu wzmacniającym te przejścia między stanami zwracają liczbową nagrodę.

Właściwość Markowa

Właściwość niektórych środowisk, w których przejścia między stanami są całkowicie określane przez informacje zawarte w bieżącym stanie i działaniu agenta.

zamaskowany model językowy

Model językowy, który prognozuje prawdopodobieństwo tokeny kandydujące, aby uzupełnić puste pola w sekwencji. Na przykład plik zamaskowany model językowy może obliczać prawdopodobieństwo dla słów kandydatów możesz zastąpić podkreślenie w następującym zdaniu:

____ w kapeluszu wróciła.

W literaturze zwykle używany jest ciąg „MASK” zamiast podkreślenia. Na przykład:

„MASK” wrócił do kapelusza.

Większość współczesnych modeli językowych maskowanych działa dwukierunkowo.

matplotlib

Biblioteka open source do tworzenia wykresów 2D w języku Python. matplotlib ułatwia wizualizację różnych aspektów uczenia maszynowego.

rozkład macierzy,

W matematyce mechanizm znajdowania macierz, których iloczyn skalarny jest przybliżeniem do macierzy docelowej.

W systemach rekomendacji tablica docelowych danych często zawiera oceny elementów przez użytkowników. Na przykład docelowa tablica dla systemu rekomendacji filmów może wyglądać tak: dodatnie liczby całkowite to oceny użytkowników, a 0 oznacza, że użytkownik nie ocenił filmu:

System rekomendacji filmów ma przewidywać oceny użytkowników w przypadku filmów bez oceny. Na przykład: czy Użytkownik 1 lubi Czarną Panterę?

Jednym z podejść do systemów rekomendacji jest użycie czynnika macierzowego do wygenerowania tych 2 macierzy:

• Tablica użytkowników w kształcie liczby użytkowników X wymiarów wektora dystrybucyjnego.
• macierz elementów o postaci liczby wymiarów zanurzonych danych X liczba elementów.

Na przykład za pomocą rozkładu na 3 użytkowników i 5 elementów może zwrócić następującą macierz użytkowników i tablicę elementów:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Punktowy iloczyn macierzy użytkowników i macierzy elementów daje macierz rekomendacji, która zawiera nie tylko oryginalne oceny użytkowników, ale także prognozy dotyczące filmów, których dany użytkownik nie widział. Użytkownik 1 ocenił film Casablanca na 5,0. Produkt dot. odpowiadający tej komórce w macierz rekomendacji powinien wynosić około 5,0. W tym przypadku jest to:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Co ważniejsze, czy użytkownik 1 polubi film Czarna Pantera? Iloczyn skalarny odpowiadająca pierwszemu wierszowi, a trzecia kolumna daje prognozowany ocena 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Rozkład macierzy zwykle daje macierz użytkowników i macierz elementów, które razem są znacznie bardziej zwarte niż macierz docelowa.

Średni błąd bezwzględny (MAE)

Średnia utrata na przykładzie, gdy używana jest strategia L₁. Oblicz średni błąd bezwzględny w ten sposób:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

  height > width