W listopadzie 2023 r. opowiedziałem o tym, jak zintegrowane podejście Zoom do sztucznej inteligencji doprowadziło do osiągnięcia jakości prawie równej GPT-4 OpenAI przy zaledwie 6% kosztu wnioskowania. Choć wyniki te były imponujące, możemy teraz zapewnić jeszcze lepszą jakość sztucznej inteligencji w porównaniu z GPT-4 firmy OpenAI dla naszych najpopularniejszych funkcji spotkań. Zoom AI Companion zmniejszył względne błędy o ponad 20% (w przypadku streszczeń podsumowań spotkań Zoom) i 60% (w przypadku „kolejnych kroków”) w porównaniu z GPT-4 w naszym wewnętrznym, ocenianym przez człowieka ślepym teście porównawczym.
Na poparcie naszych wysiłków treningowych mających na celu udoskonalenie jakości wykonywania zadań, nasze unikalne zintegrowane podejście do sztucznej inteligencji wykorzystuje wiele zaawansowanych dużych modeli językowych (LLM) o zamkniętym i otwartym kodzie źródłowym, współpracujących ze sobą w celu uzyskania lepszych wyników. Jest to przeciwieństwo innych dostawców, którzy są związani z określonymi LLM. Na przykład Microsoft Copilot polega na GPT-4, a Google na Gemini.
Takie podejście do sztucznej inteligencji wyróżnia Zoom AI Companion, zapewniając naszym klientom wysokiej jakości doświadczenia dzięki naszym najpopularniejszym funkcjom. Jak wspomniałem w mojej ostatniej aktualizacji, używamy naszego zastrzeżonego kalkulatora standaryzacji, aby ocenić jakość naszych wyników generowanych przez sztuczną inteligencję. Po pierwsze, wykorzystujemy tańszy LLM, najbardziej odpowiedni do każdego zadania. Następnie nasz kalkulator standaryzacji ocenia jakość początkowego wykonania zadania. W razie potrzeby możemy użyć innego komplementarnego LLM, aby udoskonalić zadanie. Proces ten skutkuje wyższą jakością wyników w taki sam sposób, w jaki zespół ludzi może osiągnąć razem więcej niż jakakolwiek pojedyncza osoba.
Od tego czasu ulepszyliśmy nasz kalkulator standaryzacji, włączając dodatkowe sygnały jakości z różnych LLM. Ponadto, aby lepiej dostosować się do ludzkich preferencji, ulepszyliśmy zintegrowane uczenie się przez wzmacnianie. Łącząc LLM Zoom z zestawem uzupełniających się LLM, popularne podsumowanie spotkania Zoom zapewnia wysokiej jakości wyniki i, zgodnie z naszymi ostatnimi testami porównawczymi, może teraz przewyższyć GPT-4, który jest używany w przypadku usługi Copilot w Microsoft Teams.
Jeśli chodzi o bezpieczeństwo sztucznej inteligencji, zmniejszyliśmy również nieodłączne błędy większości LLM, tworząc komitet złożony z wielu LLM, takich jak Claude-3, Gemini i GPT-4, aby zmniejszyć halucynacje i ulepszyć nasz LLM Zoom. Na przykład mało prawdopodobne jest, aby różne LLM popełniły ten sam błąd halucynacyjny, więc możemy uzyskać bardziej spójne odpowiedzi i zmniejszyć wpływ wartości odstających.