Przypomnijcie sobie, jak czasem przez kilka godzin rozmawiacie ze swoim ChatGPT-em, lub inną sztuczną inteligencją. Przekazujecie jej kolejne informacje, prosicie o pomoc, a ona z każdą chwilą coraz lepiej poznaje wasze potrzeby. Nagle jednak przychodzi moment w którym zaczyna się gubić, zapomina o wcześniejszych ustaleniach i udziela złych lub niepełnych odpowiedzi. Dlaczego tak się dzieje i co można tym zrobić?
Wyobraźmy sobie, że do naszej firmy zatrudniamy właśnie nowego pracownika. Pierwszego dnia podchodzimy do niego i mówimy „Radź sobie!”. Nie zdradzając mu absolutnie żadnych szczegółów na temat stanowiska, na którym będzie pracował. Brzmi jak przepis na porażkę, prawda? Tak samo jest ze sztuczną inteligencją. Im lepiej nasz asystent AI zna nasze potrzeby, tym lepiej może wesprzeć nas w naszych zadaniach. Ale skąd w zasadzie ci asystenci czerpią o nich informacje i ile są w stanie z tych informacji zapamiętać? O tym porozmawiam z Joanną Ploną, prezeską Grupy WeNet.
Prowadzący: Jeżeli na przykład chcę, żeby AI pomagała mi w pracy, to skąd ona ma się dowiedzieć, czym ja się zajmuję, jak wygląda mój dzień albo czego od niej oczekuję? W jaki sposób ja muszę jej zakomunikować bądź nauczyć tego asystenta swojego planu dnia na przykład?
Joanna Plona: Wszystko zależy od tego, z jakich narzędzi korzystamy. No bo korzystając z ChatGPT czy z takich asystentów, no te narzędzia już dzisiaj same potrafią budować sobie tak zwany kontekst, czyli taką informację o naszej firmie, o nas jako o człowieku. Jeżeli robimy coś prywatnie, jeżeli robimy dla biznesu, no to po prostu o nas w kontekście tego biznesu. I zapamiętują te informacje. To się dzieje już automatycznie, więc po prostu każda kolejna rozmowa, jeżeli dodajemy dodatkowy kontekst, no ona gdzieś zostaje w pamięci do kolejnych rozmów.
Jeżeli chodzi o agenta, no to tutaj powinniśmy zadbać o to, żeby, żeby ten kontekst był przez nas zbudowany. I w jednym, i w drugim przypadku warto spojrzeć na budowanie tego kontekstu tak, jakbyśmy po prostu informowali nowego pracownika w pracy. To znaczy musimy dać tyle informacji, ile będzie niezbędne do tego, czy to asystent, czy agent wykonał dla nas pracę jakościowo.
Jeżeli nowemu pracownikowi nie powiemy, jak wygląda nasza oferta, jak wygląda cennik, czym się zajmujemy, jaka jest nasza przewaga konkurencyjna, na co chcemy zwrócić uwagę w rozmowach z klientami i tak dalej, i tak dalej, no to po prostu ta jakość pracy, którą otrzymamy, będzie niska. Jeżeli zadbamy o dobre wprowadzenie takiego pracownika, czyli damy mu ten kontekst, wytłumaczymy mu te wszystkie szczegóły dotyczące naszego biznesu, no to ta praca takiego nowego pracownika będzie dużo bardzo jakościowa. I dokładnie tak samo to działa, jeżeli chodzi o sztuczną inteligencję w różnej postaci. Zarówno w tej agentycznej, i tej bardziej, powiedzmy, czatowej, asystenckiej.
Ważne też jest to, żeby pamiętać, że te narzędzia nam dają jakieś okno kontekstu. To jest po prostu taka, powiedzmy, pamięć, którą można wykorzystać skutecznie do tego, żeby wyciągnąć potrzebne w danym momencie informacje. I są różne metody budowania tego kontekstu. One są bardzo dzisiaj już zaawansowane.
Natomiast ważne jest to, że nie powinniśmy przy konkretnych działaniach dawać tego kontekstu za dużo, jeśli nie trzeba, no bo on też zjada tę naszą pamięć i efektywność tych narzędzi, a z drugiej strony nie dawać go za mało, no żeby po prostu te działania, które czy to asystent, czy agent realizują, żeby one po prostu były dobrej jakości i żeby nie były zbyt ogólne. One powinny być dopasowane do konkretnej firmy czy do zadania, które jest do zrealizowania.
Prowadzący: A co w sytuacji, kiedy okno kontekstowe się zapycha? Co możemy?
Joanna Plona: Są specjalne metody. Jest cała taka sztuka, która teraz polega na tym, żeby dobrze budować kontekst. Korzysta się z różnych baz danych, które się podpina. Buduje się takie ścieżki, które definiują to, kiedy, przy jakich zapytaniach, z jakiego kontekstu ukrytego, gdzie, w jakim pliku skorzystać.
Na przykład, nie wiem, jeżeli coś dotyczy sprzedaży, no to budujemy sobie taki plik MD dotyczący sprzedaży. Jeżeli dotyczy, nie wiem, finansów, no to finansów. I wtedy definiujemy takie zasady, że w przypadku, jeżeli zapytanie dotyczy tego kontekstu czy tam tego obszaru, no to skorzystaj z takiego pliku.
Jest bardzo dużo takich metod, już bardziej technicznie cały czas rozwijanych, ze względu na to, jak też się zmienia moc obliczeniowa, jak się zmienia to okno kontekstu, czyli tak zwanych tych tokenów, które jesteśmy w stanie wykorzystać w ramach jednej sesji.
I też warto pamiętać, że te narzędzia, one nie są nieskończone. To znaczy im bliżej jesteśmy zatkania się tego okna kontekstu, tym ta jakość po prostu może być gorsza. No więc warto poświęcić trochę czasu, zastanowić się, w jaki sposób te dane o firmie przygotować, które są ważne, do którego zadania, które powinniśmy temu asystentowi czy agentowi po prostu przedstawić, żeby to zadanie, które przed nim postawiliśmy, no było skutecznie zrealizowane.
Prowadzący: A jeżeli już się wydarzyła taka sytuacja, że ten kontekst mamy już zatkany, że nasz asystent nie pomaga nam zbyt dobrze w takiej sytuacji, to czy istnieje jakaś możliwość, żeby na przykład przenieść te wszystkie informacje, cały ten kontekst, który nasz asystent zna, na nowego asystenta, który już nie będzie miał zatkanego okna kontekstowego?
Joanna Plona: Można sobie zrobić podsumowanie rozmowy, poprosić, żeby podsumował w jednym pliku to wszystko, co zrobił do tej pory. Później można to przeczytać, ewentualnie usunąć lub dodać jakieś elementy i zapisać to chociażby w takim formacie pliku MD. I później otworzyć nowe okno, dać dostęp do tego dokumentu, no i wtedy można rozpocząć tę pracę razem od nowa, zasilając już takiego asystenta czy agenta po prostu wiedzą, którą zapisaliśmy w ramach takiego pliku, która już będzie przejrzana, która będzie zagregowana, no będzie zajmowała bardzo mało miejsca tej pamięci, dlatego że po prostu będzie już oczyszczona z tych wszystkich etapów rozmowy, które były wcześniej, i będzie tylko tą esencją informacji istotnych, które chcemy przekazać.
Prowadzący: Dziękuję, moim gościem była Joanna Plona, prezeska grupy WeNet.
Joanna Plona: Dziękuję!
Zatem wniosek z naszej dzisiejszej rozmowy nasuwa się sam. Zanim powierzymy naszemu asystentowi sztucznej inteligencji zadanie, dobrze jest mu już na samym początku wyjaśnić, co dokładnie od niego oczekujemy. A jeśli podczas już naszej długiej rozmowy zacznie gubić informacje i odpowiadać z każdą wiadomością coraz wolniej, to nie pozostanie nam nic innego, jak podsumować sobie wszystko to, co do tej pory razem wykonywaliśmy, i rozpocząć pracę od nowa w nowym oknie naszego asystenta.
Prowadzący: Jeżeli na przykład chcę, żeby AI pomagała mi w pracy, to skąd ona ma się dowiedzieć, czym ja się zajmuję, jak wygląda mój dzień albo czego od niej oczekuję? W jaki sposób ja muszę jej zakomunikować bądź nauczyć tego asystenta swojego planu dnia na przykład?
Joanna Plona: Wszystko zależy od tego, z jakich narzędzi korzystamy. No bo korzystając z ChatGPT czy z takich asystentów, no te narzędzia już dzisiaj same potrafią budować sobie tak zwany kontekst, czyli taką informację o naszej firmie, o nas jako o człowieku. Jeżeli robimy coś prywatnie, jeżeli robimy dla biznesu, no to po prostu o nas w kontekście tego biznesu. I zapamiętują te informacje. To się dzieje już automatycznie, więc po prostu każda kolejna rozmowa, jeżeli dodajemy dodatkowy kontekst, no ona gdzieś zostaje w pamięci do kolejnych rozmów.
Jeżeli chodzi o agenta, no to tutaj powinniśmy zadbać o to, żeby, żeby ten kontekst był przez nas zbudowany. I w jednym, i w drugim przypadku warto spojrzeć na budowanie tego kontekstu tak, jakbyśmy po prostu informowali nowego pracownika w pracy. To znaczy musimy dać tyle informacji, ile będzie niezbędne do tego, czy to asystent, czy agent wykonał dla nas pracę jakościowo.
Jeżeli nowemu pracownikowi nie powiemy, jak wygląda nasza oferta, jak wygląda cennik, czym się zajmujemy, jaka jest nasza przewaga konkurencyjna, na co chcemy zwrócić uwagę w rozmowach z klientami i tak dalej, i tak dalej, no to po prostu ta jakość pracy, którą otrzymamy, będzie niska. Jeżeli zadbamy o dobre wprowadzenie takiego pracownika, czyli damy mu ten kontekst, wytłumaczymy mu te wszystkie szczegóły dotyczące naszego biznesu, no to ta praca takiego nowego pracownika będzie dużo bardzo jakościowa. I dokładnie tak samo to działa, jeżeli chodzi o sztuczną inteligencję w różnej postaci. Zarówno w tej agentycznej, i tej bardziej, powiedzmy, czatowej, asystenckiej.
Ważne też jest to, żeby pamiętać, że te narzędzia nam dają jakieś okno kontekstu. To jest po prostu taka, powiedzmy, pamięć, którą można wykorzystać skutecznie do tego, żeby wyciągnąć potrzebne w danym momencie informacje. I są różne metody budowania tego kontekstu. One są bardzo dzisiaj już zaawansowane.
Natomiast ważne jest to, że nie powinniśmy przy konkretnych działaniach dawać tego kontekstu za dużo, jeśli nie trzeba, no bo on też zjada tę naszą pamięć i efektywność tych narzędzi, a z drugiej strony nie dawać go za mało, no żeby po prostu te działania, które czy to asystent, czy agent realizują, żeby one po prostu były dobrej jakości i żeby nie były zbyt ogólne. One powinny być dopasowane do konkretnej firmy czy do zadania, które jest do zrealizowania.
Prowadzący: A co w sytuacji, kiedy okno kontekstowe się zapycha? Co możemy?
Joanna Plona: Są specjalne metody. Jest cała taka sztuka, która teraz polega na tym, żeby dobrze budować kontekst. Korzysta się z różnych baz danych, które się podpina. Buduje się takie ścieżki, które definiują to, kiedy, przy jakich zapytaniach, z jakiego kontekstu ukrytego, gdzie, w jakim pliku skorzystać.
Na przykład, nie wiem, jeżeli coś dotyczy sprzedaży, no to budujemy sobie taki plik MD dotyczący sprzedaży. Jeżeli dotyczy, nie wiem, finansów, no to finansów. I wtedy definiujemy takie zasady, że w przypadku, jeżeli zapytanie dotyczy tego kontekstu czy tam tego obszaru, no to skorzystaj z takiego pliku.
Jest bardzo dużo takich metod, już bardziej technicznie cały czas rozwijanych, ze względu na to, jak też się zmienia moc obliczeniowa, jak się zmienia to okno kontekstu, czyli tak zwanych tych tokenów, które jesteśmy w stanie wykorzystać w ramach jednej sesji.
I też warto pamiętać, że te narzędzia, one nie są nieskończone. To znaczy im bliżej jesteśmy zatkania się tego okna kontekstu, tym ta jakość po prostu może być gorsza. No więc warto poświęcić trochę czasu, zastanowić się, w jaki sposób te dane o firmie przygotować, które są ważne, do którego zadania, które powinniśmy temu asystentowi czy agentowi po prostu przedstawić, żeby to zadanie, które przed nim postawiliśmy, no było skutecznie zrealizowane.
Prowadzący: A jeżeli już się wydarzyła taka sytuacja, że ten kontekst mamy już zatkany, że nasz asystent nie pomaga nam zbyt dobrze w takiej sytuacji, to czy istnieje jakaś możliwość, żeby na przykład przenieść te wszystkie informacje, cały ten kontekst, który nasz asystent zna, na nowego asystenta, który już nie będzie miał zatkanego okna kontekstowego?
Joanna Plona: Można sobie zrobić podsumowanie rozmowy, poprosić, żeby podsumował w jednym pliku to wszystko, co zrobił do tej pory. Później można to przeczytać, ewentualnie usunąć lub dodać jakieś elementy i zapisać to chociażby w takim formacie pliku MD. I później otworzyć nowe okno, dać dostęp do tego dokumentu, no i wtedy można rozpocząć tę pracę razem od nowa, zasilając już takiego asystenta czy agenta po prostu wiedzą, którą zapisaliśmy w ramach takiego pliku, która już będzie przejrzana, która będzie zagregowana, no będzie zajmowała bardzo mało miejsca tej pamięci, dlatego że po prostu będzie już oczyszczona z tych wszystkich etapów rozmowy, które były wcześniej, i będzie tylko tą esencją informacji istotnych, które chcemy przekazać.
Prowadzący: Dziękuję, moim gościem była Joanna Plona, prezeska grupy WeNet.
Joanna Plona: Dziękuję!
Zatem wniosek z naszej dzisiejszej rozmowy nasuwa się sam. Zanim powierzymy naszemu asystentowi sztucznej inteligencji zadanie, dobrze jest mu już na samym początku wyjaśnić, co dokładnie od niego oczekujemy. A jeśli podczas już naszej długiej rozmowy zacznie gubić informacje i odpowiadać z każdą wiadomością coraz wolniej, to nie pozostanie nam nic innego, jak podsumować sobie wszystko to, co do tej pory razem wykonywaliśmy, i rozpocząć pracę od nowa w nowym oknie naszego asystenta.

Radio Szczecin