25 stycznia 2024 r. udostępniliśmy dwa nowe modele embeddingowe: text-embedding-3-small i text-embedding-3-large. To nasze najnowsze i najwydajniejsze modele embeddingowe, z niższymi kosztami, lepszą wydajnością wielojęzyczną i nowym parametrem do skracania embeddingów. Przeczytaj więcej.
Czym różnią się najnowsze modele embeddingowe?
Nasze najnowsze modele v3 zapewniają wyższą wydajność w typowych benchmarkach przy niższej cenie. Więcej o ulepszeniach wydajności możesz przeczytać we wpisie na blogu z ogłoszeniem oraz w dokumentacji dla deweloperów.
Jak mogę sprawdzić, ile tokenów będzie miał ciąg znaków, zanim spróbuję utworzyć jego embedding?
Możesz użyć pakietu Tiktoken firmy OpenAI, aby sprawdzić, ile tokenów będzie miał ciąg znaków. Dowiedz się więcej w naszym przewodniku dla deweloperów po embeddingach.
Jak mogę szybko pobrać K najbliższych wektorów embeddingów?
Do szybkiego przeszukiwania wielu wektorów zalecamy użycie bazy danych wektorów.
Której funkcji odległości należy użyć?
Dane wyjściowe embeddingów interfejsu OpenAI API są domyślnie znormalizowane metodą L2 do długości 1, także po skróceniu za pomocą parametru dimensions, co oznacza, że:
Embeddingi OpenAI są znormalizowane do długości 1, co oznacza, że:
Podobieństwo cosinusowe można obliczać nieco szybciej, używając tylko iloczynu skalarnego
Podobieństwo cosinusowe i odległość euklidesowa dadzą identyczne rankingi