Jeg har skrevet noe om hva de ulike modellene koster her – https://www.iktogskole.no/2024/03/10/sprakmodellene-ramler-inn/

Anthropic

Anthropic er et teknologiselskap som fokuserer på utvikling av kunstig intelligens med sikkerhetsorientert tilnærming. Grunnlagt av tidligere ansatte i OpenAI legger Anthropic vekt på å skape pålitelig, forklarbar og styrtbar KI-teknologi. Selskapet arbeider med å utvikle store språkmodeller, liknende de som brukes i prateroboter og andre KI-systemer, men med en ekstra vektlegging av å redusere risikoene og uforutsigbarhetene som ofte er assosiert med disse teknologiene. Et av hovedproduktene fra Anthropic er Claude, en avansert språkmodell designet for å være nyttig og sikker i bruk, med funksjoner som forbedret forståelse og evne til å følge etiske retningslinjer.

Gå inn på nettsiden https://console.anthropic.com/ og logg deg på. Legg inn en betalingsmåte og opprett en API-nøkkel – og så er du i gang. Denne kan du enkelt legge inn i AI Engine-utvidelsen.

Google Gemini

Google Gemini er et herk å sette opp. Likevel – se hva som skjer når du går inn på https://aistudio.google.com/ og lager en API-nøkkel der. Du må ha knyttet Google-kontoen din til en betalingsløsning for å kunne bruke denne API-en.

OpenRouter

OpenRouter er en tjeneste som tilbyr så godt som alle språkmodeller som eksisterer via en egen API, og den er støttet av AI Engine i WordPress. Det betyr at du gjennom én tjeneste kan få tilgang til alle språkmodeller. Du får også tilgang til en rekke gratis språkmodeller, men der får du ikke lage nok trafikk til at du kan bruke det som en løsning i skolen. Du må betale for å bruke de andre språkmodellene, og du betaler etter hvor mye tokens du bruker og du får lov til å generere mer trafikk jo mer kreditt (penger) du har i «banken» i systemet til OpenRouter.

Dette er en veldig interessant løsning, men du må legge inn litt penger fra starten for å få lov til å tilgang til nok trafikk til tjenesten. Kr 5 000 i kreditt, som du bruker til å betale KI-bruk, gjør at du har lov til å kalle opp tjenesten 5 000 ganger i sekundet.

Hugging Face

Hugging Face er et selskap som tilbyr teknologier og ressurser for utvikling av kunstig intelligens. De har en åpen kildekode-tilnærming i alt de gjør og er stort «community»-fokus. Hvis du registerer deg med en Pro-konto til $9 måneden vil du få tilgang til svært mange gode gratis ressurser du kan bruke på nettstedet ditt.

Etter du har opprettet en konto må du inn i menyen «Settings» og velge «Access Tokens». Der oppretter du et nytt token for «InvokeAI» med rettigheten «Read». Du får da et API-token du må bruke i AI Engine.

Du må søke opp modellene selv, som f.eks. Llama 3.1 70B her – https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct. Her må du først søke om tilgang, som du vil få etter noen timer. Da kan du klikke på knappen «Deploy» og velge «Interference API (serverless)». Du får da se et eksempel på hvordan du kan bruke denne, og den viktige informasjonen er URL-en til modellen – https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3.1-70B-Instruct. Det er denne du må legge inn i AI Engine sammen med API-token for kontoen din på Huggings Face.

ollama

ollama er et program du kan installere på en maskin og som gjør maskinen om til en språkmodelltjener. Du kan for eksempel laste ned Llama 3.1 8b via ollama og koble AI Engine opp til denne språkmodellen der. Dette er mer teknisk og nerdete, og det krever også at du kjøper inn ollama-utvidelsen til AI Engine.

Azure OpenAI

Sukk… du vil egentlig ikke deg selv så vondt. Men likevel, hvis du må…

Du må ta kontakt med IT-avdelingen i organisasjonen. De må igjen ta kontakt med lisensansvarlige for Microsoft (som ofte er et eksternt firma), som igjen må ordne ting med Microsoft. Når dette er ferdig, og det tar lett noen uker, må IT-avdelingen (eller du) svaret på et helt håpløst skjema fra Microsoft. Svar så godt dere kan. Deretter går det 1-2 uker før dere får tilgang. Får dere tilgang til Sverige, så velger dere dette datasenteret.

Det er et eget grensesnitt i Azure hvor dere må sette opp datasenter, lage ressurser og styre disse, og så legge aktuell informasjon inn i utvidelsen AI Engine på nettstedet ditt.

Azure har også klare begrensninger i antallet tokens per minute, altså hvor mye KI-tjenesten kan brukes i løpet av ett minutt, i forhold til andre leverandører. Dette er ikke lett å få gjort noe med.