AI a języki afrykańskie. Baza nagrań pomoże trenować chatboty

Nie zawsze po „naszemu”. AI ma wciąż wiele ograniczeń

Ostatnie kilka lat przyniosło rozwój AI na tyle dynamiczny, że dla wielu osób interakcja z tego typu narzędziami to codzienność. Duże modele językowe (Large Language Models, LLMs) swobodnie posługują się nie tylko językiem angielskim, ale też hiszpańskim, chińskim czy… polskim. Nie wszyscy jednak mają luksus korzystania z chatbotów w swoim języku ojczystym. Ma to olbrzymie znaczenie dla równomiernego dostępu do tej technologii na całym świecie. Tymczasem mieszkańcy krajów takich jak Kenia, RPA czy Nigeria nie mogą swobodnie wchodzić w interakcję ze sztuczną inteligencją, posługując się lokalnymi językami.

Jak ustalili naukowcy z kanadyjskiego Uniwersytetu Kolumbii Brytyjskiej, ChatGPT rozpoznaje zaledwie od 10 do 20 proc. zdań w języku hausa, którym w Nigerii posługuje się 94 mln osób. Podobne wyniki osiągają inne języki afrykańskie, takie jak bambara (ponad 14 mln użytkowników) czy luganda (ponad 5,5 mln użytkowników). LLM-y, uważane za poliglotów, mają duże braki pod względem znajomości narzeczy rdzennych mieszkańców Afryki. Jednak dzięki inicjatywie lokalnych badaczy sytuacja może się wkrótce zmienić.

AI a języki afrykańskie. Prosta misja – ulepszyć modele językowe

Czy AI opanuje języki afrykańskie? African Next Voices to międzynarodowy projekt zrzeszający naukowców z trzech krajów: RPA, Kenii i Nigerii. Inicjatywa zakłada nagranie wypowiedzi w rdzennych językach afrykańskich, którymi posługują się mieszkańcy tych państw. Materiały mają zostać udostępnione na zasadzie wolnego dostępu. Dzięki temu firmy rozwijające LLM-y będą mogły trenować swoje modele na podstawie tych nagrań.

Zgromadzona przez African Next Voices baza obejmuje ponad 9 tys. godzin nagrań w 18 językach. Badacze zgromadzili osoby posługujące się konkretnym narzeczem, pokazywali im ilustracje i prosili, aby nagrywani opisali to, co widzą. Wszystkie nagrania posiadają transkrypcje i są sprawdzone pod kątem jakości oraz treści.

Chcesz poznać więcej naukowych ciekawostek? Zajrzyj na nasz kanał na YouTubie.

Język AI a nasza codzienność

Jaki wpływ na życie mieszkańców Afryki może mieć język, za pomocą którego komunikują się z AI? Na łamach Nature tłumaczy to Lilian Wanzara, lingwistka z Uniwersytetu Maseno w Kenii, która nadzorowała tamtejszą gałąź projektu. Jej zdaniem kluczowe jest zbudowanie bazy dla języków, którymi ludzie posługują się na co dzień. „Istnieje ogromny nacisk na lokalne zbiory danych, ponieważ chodzi o uchwycenie ludzi w ich lokalnym kontekście” – mówi Wanzara. „Jeśli tworzysz model dla rolników, który ma wspierać podejmowanie decyzji, opiera się on na danych lokalnych”, takich jak warunki glebowe czy środki ochrony roślin stosowane w danym regionie.

Nagrania będą dostępne za darmo do celów komercyjnych pod warunkiem uznania autorstwa. Część materiałów jest już dostępna, reszta ma pojawić się do końca roku. Oprócz samych plików dźwiękowych i ich transkrypcji naukowcy planują opublikować dodatkowe materiały badawcze, w tym opis metodologii. To może przydać się innym naukowcom z całego świata, którzy zechcą stworzyć podobną bazę. W Republice Południowej Afryki już powstaje konsorcjum organizacji technologicznych, które na podstawie nagrań chce stworzyć nowy model językowy.

Zobacz też: Jacek Piekara: o Żydach, Afrykanach i formatowaniu umysłów