Zamieszanie wokół ChatGPT nie ustaje. Rośnie jego popularność, ale też przybywa głosów krytyki. Tymczasem polscy badacze opracowali model językowy, który może obsługiwać 64 razy więcej tekstu niż ChatGPT. LongLLaMA oparty jest na oprogramowaniu OpenLLaMA, które stworzyła Meta. Czy to kolejna rewolucja w AI?
Zamieszanie wokół ChatGPT nie ustaje. Rośnie jego popularność, ale też przybywa głosów krytyki. Tymczasem polscy badacze opracowali model językowy, który może obsługiwać 64 razy więcej tekstu niż ChatGPT. LongLLaMA oparty jest na oprogramowaniu OpenLLaMA, które stworzyła Meta. Czy to kolejna rewolucja w AI?
– Od marca pojawiają się pierwsze duże otwarte modele językowe o otwartym kodzie źródłowym. Pozwalają one naukowcom na zaawansowane prace, bo obecnie nie możemy stworzyć własnego LLM od zera. Kiedy Meta, właściciel Facebooka, wypuściła OpenLLaMA, naukowcy z całego świata, między innymi nasz zespół, wzięli go na warsztat i modyfikowali. Nasza LongLLaMA jest w stanie przetwarzać znacznie większy kontekst niż było to wcześniej możliwe, czyli potrafi w jednym kawałku „zjeść” znacznie więcej tekstu – mówi dr hab. Piotr Miłoś, prof. Polskiej Akademii Nauk, lider zespołu badawczego w IDEAS NCBR.
LongLLaMA to duży model językowy badaczy z UW, PAN i IDEAS NCBR. Stoją za nim Szymon Tworkowski, Konrad Staniszewski, Mikołaj Pacek i Piotr Miłoś – badacze związani z IDEAS NCBR oraz Henryk Michalewski związany z UW i Google DeepMind. W pracach brał udział Yuhuai Wu, jeden ze współtwórców startupu Elona Muska – xAI.
– LongLLaMA to „polski” duży model językowy, dostępny dla każdego w internecie. Nasz model może obsługiwać jednorazowo 8 tysięcy tokenów, czyli w przybliżeniu 30-50 stron tekstu, a w przypadku niektórych zadań znacznie więcej, nawet 256 tysięcy tokenów, chociaż to tylko wynik techniczny – wyjaśnia Piotr Miłoś.
LongLLaMA i ChatGPT – co je różni?
LongLLaMA przewyższa ChatGPT zarówno pod względem możliwości tworzenia dokładniejszych tekstów na podstawie dłuższych odpowiedzi, ale też pod względem możliwej długości tworzonych tekstów, które nie odbiegają od tematu. Do tego zużywa on mało energii, gdyż do jego pracy wystarczy pojedynczy procesor. Pracuje szybko i można go wyrkozystywać do wszystkich zadań, w których pomagają chatboty jak:
– generowanie tekstu,
– edycję tekstu,
– tłumaczenie,
– streszczenia,
– rozmowa z użytkownikiem itp.
– ChatGPT jest produktem komercyjnym. Został optymalizowany pod przyjemną obsługę. Wprowadziliśmy Focused Transformer (FoT), technikę wykorzystującą proces szkoleniowy inspirowany uczeniem kontrastowym (contrastive learning). To nowatorskie podejście pozwala na strojenie (fine-tuning) dostępnych już LLM, tak by były zdolne przyjmować większy kontekst – mówi Piotr Miłoś – Modele takie jak LongLLaMA wydają raczej surowe informacje, na których dopiero można coś zbudować, np. analizować tekst albo produkować kod. LongLLaMA to duże osiągnięcie, ponieważ pokazuje, że duże modele językowe mogą pokonać ograniczenia związane z długością promptów i wytwarzać długie teksty, które będą przydatne dla człowieka.
LongLLaMA nie posiada interfejsu w internecie. Każdy zainteresowany może pobrać model ze strony HuggingFace, a następnie uruchomić na komputerze. Od ChatGPT odróżnia go też to, że ma otwarte oprogramowanie, co pozwala na prowadzanie do niego modyfikacji przez informatyków na całym świecie. Chociaż oba chatboty oparte są na architekturze Transformer.
Transformer to rodzaj architektury sieci neuronowej. Analizuje ona tekst i rozróżnia powiązania między słowami na wielu warstwach. Po wprowadzeniu pytania do chatbota opartego o Transformera zmienia on tekst w tokeny – fragmenty informacji. Mają one długość od jednego znaku do jednego słowa.
Liczba tokenów, które może przyjąć chatbot, jest ograniczona.
Polski chatbot to większe możliwości i wyższa dokładność
LongLLaMA potrafi przetwarzać bardzo długie dane wejściowe. Pozwala mu to tworzyć bardziej trafne i spójne odpowiedzi. Testy z hasłem wykazały, że obsługuje on dowolną ilość kontekstu bez obcinania. Badacze sprawdzali, czy przy wrzuceniu bardzo długiego promptu – podpowiedzi – ich model językowy sobie z tym poradzi.
Różne chatboty mogą poradzić sobie z różną liczbą tokenów. W przypadku ChatGPT 3.5 limit tokenów wynosi 4096, a Google Bard to około 1000.
Okazało się, że polski produkt przewyższa inne. Podstawowy program OpenLLaMA był w stanie poradzić sobie z promptem o długości 2 tysięcy tokenów. Dłuższe podpowiedzi obniżały jego efektywność nawet do zera. Natomiast LongLLaMA przy promptach o długości 100 tysięcy tokenów utrzymuje dokładność na poziomie 94,5 proc. Przy promptach 256 tysięcy tokenów jego dokładność spada, ale tylko do 73 proc.
Co to oznacza dla użytkowników?
Im mniej tokenów przyjmuje chatbot tym mniejsza jest dokładność jego analizy. Przy długich pytaniach, wielu informacjach następuje obcięcie czy pominięcie niektórych fragmentów, by zmieścić się w liczbie tokenów, które analizuje dany chatbot. Dlatego analiza całej książki, długiej rozmowy czy długiego artykułu dla wielu chatbotów jest niemożliwa. LongLLaMA dzięki przyjmowaniu bez utraty dokładności nawet 100 tysięcy tokenów przewyższa poprzedników.
Źródło: stories.prowly.com
