Når du oppdaterer utvidelsen «AI Engine»
Av og til innføres det nye muligheter når AI Engine oppdateres og da kan det hende at du må gjøre en jobb i fanen «Settings» og «Chatbots» i «AI Engine». Hvis du har kjøpt Pro-lisensen av «AI Engine» kan det også hende at sider med Forms kommer med meldingen at noe er galt, men det ordnes med at du klikker på knappen som skal ordne det (alt står på skjermen på den siden det gjelder).
Anthropic i stedet for OpenAI?
Det er mulig å bruke Anthropic sine språkmodeller i stedet eller sammen med OpenAI sine. Da må du registrere en konto, sette opp betaling og få en API-nøkkel på URL-adressen https://www.anthropic.com/api
Om tall og penger
Mange spør om hva det koster å bruke løsningen. Vi har noen tall per november 2023 med gpt-35-turbo-modellen som vi mener er representative. Vi har regnet ut at det i snitt koster kr 0,12 per bruker per dag. Det vil si at om det er 1000 brukere innom chatbotene i løpet av dag, så koster det rundt kr 120 i AI-tjenester fra OpenAI. Hvis du setter opp tjenester med gpt-4-turbo må du regne med at det blir mellom 10-20 ganger dyrere, alt etter bruk. Vi har noen gjennomsnittstall for gpt-4 også, og der er det i snitt kr 0,80 per interaksjon med en gpt-4-chatbot. Hvis du bruker gpt-4-turbo har den halvert prisen ift gpt-4, så da blir det rundt kr 0,40 i snitt per melding. Jeg har skrevet mer om dette på www.iktogskole.no. Nå kan det godt hende at priser og tilbud endrer seg, så her må du følge med selv (stor sett blir det billigere!).
Hvor mange som kan jobbe med chatbotene samtidig er avhengig av to faktorer: 1) Hvor kraftig webtjeneren din er og 2) hvor mange tokens per minute (TPM) du får av OpenAI. Jeg er ikke erfart hva grensen for Domeneshop er, men jeg har registrert at de kjører webhotellene på rimelig kraftige tjenere. Dermed burde du få problemer med kapasiteten på TPM før du får problemer med webtjeneren.
TPM er en måleenhet på hvor mange stavelser i minuttet du får behandle i språkmodellene hos OpenAI. OpenAI har en glidende skala der du får tilgang til flere TPM etter hvert som du bruker tjenesten. En stor kommune vil raskt komme til Tier 4 og i praksis takle 10 000 samtidige brukere. Trenger du mer enn dette må du ta direkte kontakt med OpenAI for å se om du får tilgang til mer datakraft hos dem.
Har du en avtale med Microsoft om Azure OpenAI må du alltid kontakte dem direkte for å få mer enn «standard» TPM. Microsoft tilbyr TPM nok til en kommune med rundt 1500 elever, men store kommuner vil måtte be Microsoft om å få bruke med TPM.
Nå er det også mulig å bruke Anthropic sine språkmodeller med AI Engine, og de tilbyr egne avtaler til store organisasjoner.
Et vær-varsom-med-GDPR-tips
Nettstedet du har satt opp lagrer i utgangspunktet ingenting, men du kan skru på at det lagrer alt. Dette må du selv ta ansvar for, både med tanke på at tjenesten din ligger hos Domeneshop og at brukerne er informert om hva som da eventuelt lagres (og brukes av deg).
Du må også lese gjennom GDPR-sidene på nettstedet og forsikre deg om at informasjonen som står der stemmer med slik du har satt opp nettstedet ditt!