Kommer mer info etter hvert…
Jeg har skrevet noe om hva de ulike modellene koster her – https://www.iktogskole.no/2024/03/10/sprakmodellene-ramler-inn/
Anthropic
Anthropic er et teknologiselskap som fokuserer på utvikling av kunstig intelligens med sikkerhetsorientert tilnærming. Grunnlagt av tidligere ansatte i OpenAI legger Anthropic vekt på å skape pålitelig, forklarbar og styrtbar KI-teknologi. Selskapet arbeider med å utvikle store språkmodeller, liknende de som brukes i prateroboter og andre KI-systemer, men med en ekstra vektlegging av å redusere risikoene og uforutsigbarhetene som ofte er assosiert med disse teknologiene. Et av hovedproduktene fra Anthropic er Claude, en avansert språkmodell designet for å være nyttig og sikker i bruk, med funksjoner som forbedret forståelse og evne til å følge etiske retningslinjer.
Gå inn på nettsiden https://console.anthropic.com/ og logg deg på. Legg inn en betalingsmåte og opprett en API-nøkkel – og så er du i gang. Denne kan du enkelt legge inn i AI Engine-utvidelsen.
Hugging Face
Hugging Face er et selskap som tilbyr teknologier og ressurser for utvikling av kunstig intelligens. De har en åpen kildekode-tilnærming i alt de gjør og er stort «community»-fokus. Hvis du registerer deg med en Pro-konto til $9 måneden vil du få tilgang til svært mange gode gratis ressurser du kan bruke på nettstedet ditt.
Etter du har opprettet en konto må du inn i menyen «Settings» og velge «Access Tokens». Der oppretter du et nytt token for «InvokeAI» med rettigheten «Read». Du får da et API-token du må bruke i AI Engine.
Du må søke opp modellene selv, som f.eks. Llama 3.1 70B her – https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct. Her må du først søke om tilgang, som du vil få etter noen timer. Da kan du klikke på knappen «Deploy» og velge «Interference API (serverless)». Du får da se et eksempel på hvordan du kan bruke denne, og den viktige informasjonen er URL-en til modellen – https://api-inference.huggingface.co/models/meta-llama/Meta-Llama-3.1-70B-Instruct. Det er denne du må legge inn i AI Engine sammen med API-token for kontoen din på Huggings Face.
Google Gemini
Google Gemini er et herk å sette opp. Likevel – se hva som skjer når du går inn på https://aistudio.google.com/ og lager en API-nøkkel der. Du må ha knyttet Google-kontoen din til en betalingsløsning for å kunne bruke denne API-en.
Azure OpenAI
Sukk… du vil egentlig ikke deg selv så vondt. Men likevel, hvis du må…
Du må ta kontakt med IT-avdelingen i organisasjonen. De må igjen ta kontakt med lisensansvarlige for Microsoft (som ofte er et eksternt firma), som igjen må ordne ting med Microsoft. Når dette er ferdig, og det tar lett noen uker, må IT-avdelingen (eller du) svaret på et helt håpløst skjema fra Microsoft. Svar så godt dere kan. Deretter går det 1-2 uker før dere får tilgang til gpt-3.5-turbo på noen bestemte datasenter til Microsoft. Får dere tilgang til Sverige, så velger dere dette datasenteret. Dere må søke ekstra for å få tilgang til gpt-4-turbo. Det var i alle fall slik det var, for en god stund siden.
Det er et eget grensesnitt i Azure hvor dere må sette opp datasenter, lage ressurser og styre disse, og så legge aktuell informasjon inn i utvidelsen AI Engine på nettstedet ditt.
Azure har også klare begrensninger i antallet tokens per minute, altså hvor mye KI-tjenesten kan brukes i løpet av ett minutt, i forhold til andre leverandører. Dette er ikke lett å få gjort noe med.