Add new SentenceTransformer model.

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": true,
+  "pooling_mode_mean_tokens": false,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,1226 @@
+---
+base_model: ltg/norbert3-base
+datasets: []
+language:
+- 'no'
+library_name: sentence-transformers
+license: apache-2.0
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:136886
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: Hvilket språk brukes i Kellsboken?
+  sentences:
+  - 'Trump buet ut på hjemmebane
+
+    President Donald Trump ble buet ut under en baseballkamp i Washington. På bildet
+    forlater han kampen før den er ferdigspilt. (Foto: Pablo Martinez Monsivais/AP/NTB
+    Scanpix)
+
+    Dette var første gang Trump-ekteparet har dristet seg til å gå på en baseballkamp
+    på hjemmebane i svært så demokratiske Washington, til tross for at Nationals''
+    hjemmebane ligger veldig nærme Det hvite hus.
+
+    Det ble ikke gjort noe stort nummer ut av at presidentparet skulle på kampen mellom
+    Washington Nationals og Houston Astros på Nationals Park. Det kunne Det hvite
+    hus godt ha gjort, sett i lys av at Donald Trump hadde gjort seg populær i USA
+    da han bare timer i forveien hadde kunngjort at amerikanske styrker hadde angrepet
+    skjulestedet til en av USA mest forhatte fiender.
+
+    Det USA-ledede angrepet medførte at IS-lederen Abu Bakr al-Baghdadi tok sitt eget
+    liv ved å utløse en bombevest da spesialstyrkene rykket inn i Idlib nordvest i
+    Syria.
+
+    «Lås ham inne!»
+
+    Trump-ekteparet vinket litt og smilte da de ankom kampen søndag, men det var først
+    i en av pausene den store reaksjonen kom.
+
+    Da skulle amerikanske krigshelter hylles på arenaen, men da videoen på storskjermen
+    sveipet over til Trump og følget hans, og det ble kunngjort hvem som var på besøk,
+    besvarte folkemengden det med unison buing og hyllesten til heltene ble på seksjoner
+    av tribunen plutselig til taktfaste rop av typen «Lås ham inne!», mens plakater
+    med «Veteraner støtter riksrett» og «Still Trump for riksrett» dukket opp.
+
+    Skjermer Trump
+
+    Presidentparet lot seg ikke affisere. Det forlot for øvrig kampen før den var
+    ferdigspilt.
+
+    Trumps stab har forsøkt å skjerme ham for situasjoner der han kan bli utsatt for
+    massiv buing og hetsing fra store menneskemengder, og han unngår spesielt slike
+    situasjoner i tettsteder og byer der flertallet av velgerne er demokrater, som
+    i Washington.
+
+    I District of Columbia, der Washington ligger, fikk han bare fire prosents oppslutning
+    under valget i 2016.'
+  - 'Foreldrekoden: Slik unngår du at familieferien kollapser
+
+    FOTO: Morten Uglum Psykolog og familieterapeut Hedvig Montgomery og journalist
+    Bjørn Egil Halvorsen er vertskap i Foreldrekoden.
+
+    Du har brent av alle feriepengene på hvit sand og palmesus, eller safari og klatre-action.
+    Og hva skjer? Klaging, syting og grining fra barna. Resultat: bitterhet og store
+    skuffelser. «Det var den ferien».
+
+    Jo da, det er lett å spenne forventningene høyt når familien skal på ferietur.
+    Fri. Avkobling. Alle skal kose seg sammen. Så: kollaps.
+
+    – Det handler om å legge forventningene på et levelig nivå, sier psykolog og familieterapeut
+    Hedvig Montgomery i sesongens siste episode av podkasten Foreldrekoden.
+
+    Hør episoden i Itunes her eller Spotify her.
+
+    Du kan også lytte i spilleren nedenfor:
+
+    Men hva innebærer det?
+
+    – Det du skal bruke tid på i forkant er å tenke over: «Passer ferien til den gjengen
+    vi er?»
+
+    Kort oppsummert:
+
+    Reiser du med barnehagebarn? Da handler det om å gjøre ferien langsom nok. Barna
+    må føle seg trygge på feriestedet. Ikke for mange og ikke for korte stopp underveis.
+
+    Reiser du med 10-åring? En gullalder. De synes fortsatt du er et fint reisefølge.
+    Og de er nysgjerrige og klare for å prøve nye ting.
+
+    På tur med tenåring? Straks mer utfordrende. De vil ikke nødvendigvis gjøre det
+    samme som dere «alltid har gjort». Et generelt råd: Sørg for trådløst nettverk!
+
+    Her er høydepunktene
+
+    Dette er bare noen av rådene som serveres i en sommerferie-spesial av Foreldrekoden.
+
+    I denne episoden får du vite hva du bør gjøre for å komme helskinnet gjennom.
+    Og hva du absolutt ikke bør gjøre.
+
+    God sommer!
+
+    Nedenfor finner du våre mest populære episoder denne sesongen
+
+    Vil du høre flere? Her er en samleside med alle episodene
+
+    Foreldrekoden har etablert en egen Facebook-gruppe for foreldre i alle aldre.
+    Her kan du få eksklusiv informasjon, få et innblikk bak spakene og være med å
+    diskutere temaer og få tips fra andre. Bli med!
+
+    Vi er selvsagt også på Instagram. Følg oss gjerne for bakgrunnsbilder og ekstra
+    info.'
+  - 'Kellsboken
+
+    Kellsboken (irsk: Leabhar Cheanannais) er en evangeliebok i form av en kodeks
+    av illuminerte manuskript fra 700- eller 800-tallet. Den er kjent for sine mange
+    og vakre illustrasjoner. Boken ble tidligere også kalt  «Sankt Columbas bok»,
+    etter den hellige Columba av Iona. Den inneholder de fire evangeliene fra Det
+    nye testamente skrevet på latin. Evangelieteksten er hovedsakelig fra Vulgata,
+    skjønt også en del tekst fra tidligere versjoner av Bibelen som Vetus Latina,
+    den gammellatinske oversettelsen som Vulgata erstattet. I motsetning til mange
+    evangeliebøker som var beregnet for reiser, misjon eller for egen oppbyggelse,
+    var denne og andre store bind ment for alteret og til pryd for kirken.
+
+    Kellsboken er et mesterverk av irsk kunsthåndverk og kalligrafi, og representerer
+    høydepunktet innenfor insulære illuminerte manuskript i tidlig middelalder. Gerald
+    av Wales mente den var et verk, «ikke av mennesker, men av engler», og Umberto
+    Eco kalte den for «produktet til en kaldblodig hallusinasjonist.» Den blir også
+    regnet som en irsk nasjonalskatt. Illustrasjonene og ornamentene i boken overgår
+    tidligere irske evangeliebøker i prakt og kompleksitet. Dekorasjonene kombinerer
+    tradisjonell kristen ikonografi med de snirklete, komplekse motivene som er typisk
+    for insulær kunst. Manuskriptsidene er rikt dekorert med figurer av mennesker,
+    dyr og mytologiske uhyrer, sammen med keltiske knuter og flettverkmønstre i stimulerende
+    farger. Mange av de små dekorative elementene er gjennomsyret av kristen symbolisme,
+    og bidrar til å ytterligere framheve temaene i de større illustrasjonene.
+
+    Boken er skrevet på pergament av kalveskinn (vellum) og har 340 folioblader, siden
+    1953 har manuskriptet vært innbundet i fire bind. Det er ti fullsideillustrasjoner,
+    men også tekstsidene er vakkert dekorert. Tekstsidene er smykket med forseggjorte
+    forstørrede initialer og miniatyrer mellom tekstlinjene. Teksten er skrevet med
+    insulær majuskelskrift, og synes å være utført av tre, kanskje fire, forskjellige
+    skrivere. Det er i hovedsak brukt et brunaktig jerngallusblekk, laget av knuste
+    eikenøtter og jernsulfat i en blanding med harpiks og vann, men også karbonblekk
+    er benyttet. Fargene er framstilt fra en lang rekke substanser, mange av dem importert
+    fra fjerne land.
+
+
+
+    '
+- source_sentence: Hva går interiørarkitekt ut på?
+  sentences:
+  - Fullført og bestått opplæring fører fram til yrkeskompetanse. Yrkestittelen er
+    fotterapeut.
+  - 'Piloter (flygere) kan arbeide som pilot i fly eller helikopter i sivil luftfart
+    pilot i jagerfly spesialfly transportfly eller helikopter i Forsvaret pilot av
+    ubemannede luftfartøy (anvendelsesområdet for fjernstyrte luftfartøy er i sterk
+    vekst innen kommersiell og offentlig virksomhet og i Forsvaret) En vanlig trafikkflybesetning
+    består normalt av en kaptein og en styrmann i tillegg til kabinbesetningen om
+    bord på passasjerfly. For andre typer operasjoner og oppdrag kan det være behov
+    for medisinsk personell redningsspesialister eller «task specialists». Som kaptein
+    er du sjef i flyet og har ansvar for besetning passasjerer og last. Kapteinen
+    har ansvar for at flyet fungerer slik det skal og for at flygingen foregår etter
+    sikkerhetsreglene. Styrmannen er nestkommanderende og avløser kapteinen ved behov.
+    Vanlige arbeidsoppgaver kan være Sammen setter kaptein og styrmann opp reiseplanen
+    med spesifikasjoner for flyhastighet flyhøyde og flytid. På en vanlig tur flyr
+    gjerne en av pilotene flyet mens den andre overvåker flyvningen. Overvåkingen
+    omfatter blant annet håndtering av radio og kommunikasjon med flygeledere underveis
+    drivstoffkontroll og kontroll av alle brytere og spaker. Det endelige ansvaret
+    ligger alltid hos kapteinen. Piloter må gjennomgå jevnlige legeundersøkelser avhengig
+    av alder. De må også gjennomføre jevnlige treningsprogram blant annet simulatortrening.
+    Siden engelsk er et arbeidsspråk innen flytrafikk må du som pilot ha meget gode
+    engelskkunnskaper. '
+  - 'Som interiørarkitekt planlegger og tegner du innvendige rom i bygninger. Arbeidet
+    utføres både når nye bygg skal bygges og ved endringer i eldre bygg. Interiørarkitekten
+    arbeider med alt fra boliger til helse- undervisnings- nærings- og kulturbygg.
+    Noen driver også med spesialdesign det vil si design av møbler og andre romkomponenter
+    til enkeltprosjekter. En interiørarkitekt bidrar til god infrastruktur og utvikler
+    løsninger basert på brukernes behov og ønsker. Vanlige arbeidsoppgaver for en
+    interiørarkitekt sørge for helhetlig planlegging og utforming av rom. Det innebærer
+    at rom materialer farger og møblering ses i sammenheng og at interiør og arkitektur
+    samspiller best mulig prosjektere (tegne beskrive og beregne) interiørløsninger
+    og endringer i bygg oftest ved hjelp av dataprogrammer utføre behovsanalyser og
+    lede brukermedvirkningsprosesser det vil si prosesser der brukerne av bygget kommer
+    med sine ønsker utarbeide farge- og materialpaletter planlegge belysning velge
+    møbler og tekstiler designe skreddersydde løsninger gjøre kostnadsberegninger
+    innhente anbud og bestille leveranser prosjektledelse Interiørarkitekten samarbeider
+    med oppdragsgiver byggherre arkitekt og andre fagfolk. Interiørarkitekter kan
+    også jobbe med mye av det samme som en interiørkonsulenter men interiørarkitekter
+    har lengre utdanning og kan ofte påta seg større oppdrag. En interiørarkitekt
+    må også til en hver tid holde seg oppdatert på lover og normer. Norske interiørarkitekters
+    og møbeldesigneres landsforening (NIL) autoriserer interiørarkitekter på masternivå.
+    Med autorisasjon fra NIL kan du kalle deg interiørarkitekt MNIL. '
+- source_sentence: Hvordan bli 1 maskinist?
+  sentences:
+  - 'Vi kan dele politiyrket i to hovedgrupper Politibetjent Politibetjenten er utdannet
+    ved Politihøgskolen og har en rekke arbeidsoppgaver i politiet. Arbeidsoppgavene
+    er avhengig av hvilken enhet politibetjenten jobber i eksempler på enheter kan
+    være Etterforskning Patrulje UP (trafikkpolitiet) Forebyggende Les mer om hvordan
+    det er å jobbe som politibetjent Les mer om hvordan det er å jobbe som etterforsker
+    Politijurist Politijuristen er utdannet jurist og arbeider med påtalemessige oppgaver
+    deriblant å lede etterforskning og fungere som aktor i retten. Politijurister
+    har ofte de ledende stillingene i politiet. Les mer om politijurist '
+  - 'Om bord på et skip kan det være flere i maskinbesetningen. Dette varierer etter
+    hvor stort maskineriet er. På større fartøy er det både 1. maskinist og 2. maskinister.
+    Fellesbetegnelsen for de som jobber som maskinist eller maskinsjef er maskinoffiser.
+    Som maskinist har du mulighet å jobbe på skip plattform eller på landanlegg der
+    det er behov for ansatte med maskinistutdanning. Som 1. maskinist er du maskinsjefens
+    nestkommanderende om bord og jobber i maskinrommet med å holde maskineriet i god
+    teknisk stand. Vanlige arbeidsoppgaver for maskinister daglig ansvar for drift
+    reparasjon overhaling og vedlikehold av maskineri og tekniske systemer på hele
+    fartøyet planlegge større og mindre vedlikeholdsarbeider vakthold i kontrollrom
+    hovedansvar for sikkerheten i maskinrommet bunkring (Fylle drivstoff) opplæring
+    av nye i maskinbesetningen I dette yrket må du være forberedt på å arbeide turnus
+    og kanskje være lengre perioder om bord for eksempel fire uker om bord fire uker
+    fri. Alle som skal jobbe på skip og andre flyttbare innretninger til havs må ha
+    en helseerklæring som viser at du kan jobbe om bord på et skip. Da skal en sjømannslege
+    sjekke blant annet syn hørsel din fysiske funksjonsevne. Dette gjelder også lærlinger
+    som skal jobbe om bord. '
+  - 'En førsteamanuensis er en vitenskapelig ansatt ved universitet og høgskoler.
+    For å kunne ansettes som førsteamanuensis må du ha doktorgrad eller tilsvarende
+    dokumentert kompetanse på et aktuelt fagområde. Vanlige arbeidsoppgaver for en
+    førsteamanuensis er utføre forskningsarbeid formidle og publisere forskningsresultater
+    veilede og undervise studenter redigere og vurdere andres vitenskapelige arbeider
+    samarbeide med myndigheter organisasjoner eller næringsliv om forskningsbaserte
+    løsninger og innovasjon Førsteamanuensisstillinger finnes innenfor alle typer
+    fagfelt og det er vanlig at du har spesialisert deg innen et eller flere områder
+    av fagfeltet. Du vil normalt samarbeide med andre fagpersoner på arbeidsstedet.
+    I andre land går førsteamanuensis under navn som associate professor eller senior
+    lecturer. '
+- source_sentence: Hva tjener fysiker?
+  sentences:
+  - 'Vanlige arbeidsoppgaver for en stillasbygger montere ulike typer stillaser atkomster
+    arbeidsplattformer inndekking og andre midlertidige konstruksjoner rigge og stroppe
+    i forbindelse med montering og demontering av stillas Som stillasbygger jobber
+    du både på bakken og i høyden. Du må kunne lese arbeidstegninger og framdriftsplaner.
+    Stillasbyggeren er viktig i arbeidet med å forebygge ulykker på byggeplasser.
+    Økende krav til bygg og installasjoner gjør at stillasbygging blir stadig mer
+    komplisert. Det øker i sin tur kravet til stillasmontørens kompetanse når det
+    gjelder både teknikk fagkunnskaper og helse miljø og sikkerhet (HMS). '
+  - 'En fysiker arbeider med fenomener og krefter som oppstår mellom materie og objekter
+    både rundt oss i hverdagen og i universet. Fysikk er grunnlag for mange fag og
+    dermed kan fysikere jobbe innenfor flere områder som for eksempel medisin og elektronikk.
+    Fysikere kan forske på alt fra fornybar energi til hva som skjer i hjernen vår.
+    Som fysiker lærer du å bruke verktøy som programmering og datasimuleringer og
+    å håndtere store datamengder og komplekse analyser. Vanlige arbeidsoppgaver for
+    en fysiker lage og teste modeller for å beskrive fysiske fenomener i naturen lage
+    og teste modeller for kompliserte prosesser innen industri og teknologi utvikle
+    nye instrumenter og måleteknikker blant annet for anvendelser innen medisin miljøovervåking
+    og energiteknologi Fysikeren bruker vitenskapelige metoder som eksperimenter teoretiske
+    modeller og matematiske simuleringer i arbeidet sitt. '
+  - 'Som dykker arbeider du under vann. I Norge deler vi yrkesdykking inn i to områder
+    innaskjærsdykking og dykking ved landanlegg eller i Nordsjøen. Det er vanlig å
+    spesialisere seg innen ett av disse områdene. Yrkesdykkere kan ha ulike bakgrunner
+    som for eksempel håndverksyrker (rørlegger sveiser og elektriker) ingeniør fotograf
+    dykkerinstruktør eller marin- og havforskning. I mange andre yrker er dykking
+    en del av jobben. Dette gjelder yrker som mannskap på redningsskøytene brannkonstabler
+    og arkeologer. Vanlige arbeidsoppgaver for yrkesdykkere innaskjærs anleggs- og
+    inspeksjonsarbeid av bruer kaier og rørledninger berging ved skipsforlis dykking
+    innen havbruk servicearbeid på skip registrering av marinarkeologiske funn som
+    vitenskapelig dykker Vanlige arbeidsoppgaver for yrkesdykkere til havs og ved
+    landanlegg service og inspeksjon på faste og flytende innretninger inspeksjoner
+    av olje- og gassrørledninger installasjoner ved utbygging av nye olje- og gassfelt
+    nedbygging av kalde olje- og gassfelt ei kommende næring er havvind Ved dykking
+    til havs er det nødvendig med videre utdanning som klokkedykker dersom dybden
+    overstiger 50 meter. En del av arbeidstiden vil også foregå over vann. Gjennomsnittlig
+    dykketid er på 100 timer i året. I dette yrket må du regne med en god del reising.
+    For dykkere som jobber innen bygg- og anleggsbransjen kan antall reisedøgn komme
+    opp i 250 i året. I Nordsjøen vil dette tallet være omtrent det halve dersom man
+    går i fast rotasjon. Det finnes flere jobbmuligheter hos dykkeentreprenører i
+    Norge. Noen dykkere går sammen og danner egne selskaper. Norske dykkere er ettertraktet
+    arbeidskraft også i utlandet. '
+- source_sentence: 'Det vil si: at han har fått beskjed om Lord Julian Wade.'
+  sentences:
+  - Han ble på forhånd fortalt om Lord Julian Wades ankomst.
+  - Ikke en eneste person ble fortalt at Lord Julian Wade nærmet seg raskt.
+  - Han var ikke sikker på om de panikkmennene ville se ting annerledes enn Woverstone.
+model-index:
+- name: norsbert3-base-matryoshka
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.13983050847457626
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.423728813559322
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6165254237288136
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7796610169491526
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.13983050847457626
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.14124293785310732
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1233050847457627
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07796610169491525
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.13983050847457626
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.423728813559322
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6165254237288136
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7796610169491526
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.43465961679856546
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.32635189669087955
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.33416123485226257
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.18220338983050846
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.451271186440678
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6398305084745762
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7648305084745762
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.18220338983050846
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.1504237288135593
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.12796610169491524
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07648305084745761
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.18220338983050846
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.451271186440678
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6398305084745762
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7648305084745762
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.45416517024932196
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.3560187987624428
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.3643053668543318
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.1483050847457627
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.4364406779661017
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.586864406779661
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7457627118644068
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.1483050847457627
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.14548022598870056
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.11737288135593218
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07457627118644068
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.1483050847457627
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.4364406779661017
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.586864406779661
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7457627118644068
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.42902891050216163
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.32930622814097377
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.3370556823255626
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.12076271186440678
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.375
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.548728813559322
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7266949152542372
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.12076271186440678
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.125
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1097457627118644
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07266949152542372
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.12076271186440678
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.375
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.548728813559322
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7266949152542372
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.39885041689034356
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.2963941014258812
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.3033946857091755
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.13771186440677965
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.3347457627118644
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.5021186440677966
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.652542372881356
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.13771186440677965
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.1115819209039548
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.10042372881355931
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.06525423728813559
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.13771186440677965
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.3347457627118644
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.5021186440677966
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.652542372881356
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.3693317456702838
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.2813155770782891
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.29017075974466466
+      name: Cosine Map@100
+---
+
+# norsbert3-base-matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [ltg/norbert3-base](https://huggingface.co/ltg/norbert3-base) on the utdanning_pair_qa, norqa and mnli_no_triplet datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [ltg/norbert3-base](https://huggingface.co/ltg/norbert3-base) <!-- at revision fe70aec6f8581f0c373302ec0bb4608d5d435900 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 tokens
+- **Similarity Function:** Cosine Similarity
+- **Training Datasets:**
+    - utdanning_pair_qa
+    - norqa
+    - mnli_no_triplet
+- **Language:** no
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NorbertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("MagnusSa/norsbert3-base-matryoshka")
+# Run inference
+sentences = [
+    'Det vil si: at han har fått beskjed om Lord Julian Wade.',
+    'Han ble på forhånd fortalt om Lord Julian Wades ankomst.',
+    'Ikke en eneste person ble fortalt at Lord Julian Wade nærmet seg raskt.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.1398     |
+| cosine_accuracy@3   | 0.4237     |
+| cosine_accuracy@5   | 0.6165     |
+| cosine_accuracy@10  | 0.7797     |
+| cosine_precision@1  | 0.1398     |
+| cosine_precision@3  | 0.1412     |
+| cosine_precision@5  | 0.1233     |
+| cosine_precision@10 | 0.078      |
+| cosine_recall@1     | 0.1398     |
+| cosine_recall@3     | 0.4237     |
+| cosine_recall@5     | 0.6165     |
+| cosine_recall@10    | 0.7797     |
+| cosine_ndcg@10      | 0.4347     |
+| cosine_mrr@10       | 0.3264     |
+| **cosine_map@100**  | **0.3342** |
+
+#### Information Retrieval
+* Dataset: `dim_512`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.1822     |
+| cosine_accuracy@3   | 0.4513     |
+| cosine_accuracy@5   | 0.6398     |
+| cosine_accuracy@10  | 0.7648     |
+| cosine_precision@1  | 0.1822     |
+| cosine_precision@3  | 0.1504     |
+| cosine_precision@5  | 0.128      |
+| cosine_precision@10 | 0.0765     |
+| cosine_recall@1     | 0.1822     |
+| cosine_recall@3     | 0.4513     |
+| cosine_recall@5     | 0.6398     |
+| cosine_recall@10    | 0.7648     |
+| cosine_ndcg@10      | 0.4542     |
+| cosine_mrr@10       | 0.356      |
+| **cosine_map@100**  | **0.3643** |
+
+#### Information Retrieval
+* Dataset: `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.1483     |
+| cosine_accuracy@3   | 0.4364     |
+| cosine_accuracy@5   | 0.5869     |
+| cosine_accuracy@10  | 0.7458     |
+| cosine_precision@1  | 0.1483     |
+| cosine_precision@3  | 0.1455     |
+| cosine_precision@5  | 0.1174     |
+| cosine_precision@10 | 0.0746     |
+| cosine_recall@1     | 0.1483     |
+| cosine_recall@3     | 0.4364     |
+| cosine_recall@5     | 0.5869     |
+| cosine_recall@10    | 0.7458     |
+| cosine_ndcg@10      | 0.429      |
+| cosine_mrr@10       | 0.3293     |
+| **cosine_map@100**  | **0.3371** |
+
+#### Information Retrieval
+* Dataset: `dim_128`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.1208     |
+| cosine_accuracy@3   | 0.375      |
+| cosine_accuracy@5   | 0.5487     |
+| cosine_accuracy@10  | 0.7267     |
+| cosine_precision@1  | 0.1208     |
+| cosine_precision@3  | 0.125      |
+| cosine_precision@5  | 0.1097     |
+| cosine_precision@10 | 0.0727     |
+| cosine_recall@1     | 0.1208     |
+| cosine_recall@3     | 0.375      |
+| cosine_recall@5     | 0.5487     |
+| cosine_recall@10    | 0.7267     |
+| cosine_ndcg@10      | 0.3989     |
+| cosine_mrr@10       | 0.2964     |
+| **cosine_map@100**  | **0.3034** |
+
+#### Information Retrieval
+* Dataset: `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.1377     |
+| cosine_accuracy@3   | 0.3347     |
+| cosine_accuracy@5   | 0.5021     |
+| cosine_accuracy@10  | 0.6525     |
+| cosine_precision@1  | 0.1377     |
+| cosine_precision@3  | 0.1116     |
+| cosine_precision@5  | 0.1004     |
+| cosine_precision@10 | 0.0653     |
+| cosine_recall@1     | 0.1377     |
+| cosine_recall@3     | 0.3347     |
+| cosine_recall@5     | 0.5021     |
+| cosine_recall@10    | 0.6525     |
+| cosine_ndcg@10      | 0.3693     |
+| cosine_mrr@10       | 0.2813     |
+| **cosine_map@100**  | **0.2902** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Datasets
+
+#### utdanning_pair_qa
+
+* Dataset: utdanning_pair_qa
+* Size: 4,994 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                           | positive                                                                            |
+  |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                           | string                                                                              |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 9.27 tokens</li><li>max: 18 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 152.57 tokens</li><li>max: 361 tokens</li></ul> |
+* Samples:
+  | anchor                                         | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
+  |:-----------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Hva trenger man for å bli lektor?</code> | <code>Lektor er stillingsbetegnelsen til en lærer som har tatt en mastergrad fra universitet eller høgskole. Som lektor underviser du vanligvis i de fagene du har fordypet deg i under utdanningen. Som lektor skal du legge til rette for læring utvikling og gode holdninger hos barn og unge. Vanlige arbeidsoppgaver forberede gjennomføre og evaluere undervisning på bakgrunn av skolens verdigrunnlag og læreplanene i faget du underviser i vurdere elever tilrettelegge undervisningen for elever som har behov for det. Dette kan gjerne gjøres i samarbeid med en spesialpedagog. tilrettelegge for enkeltelever som trenger ekstra hjelp og lage pedagogiske opplegg som gjør det enklere for disse barna å lære håndtere mange ulike situasjoner for eksempel mobbing. Lektoren samarbeider tett med lærerkolleger rektor undervisningsinspektør og andre ansatte ved skolen. Det er også viktig å ha et godt samarbeid med foreldre. Merk at grunnskolelærerutdanning nå også er en mastergrad og nyutdannede grunnskolelærere er også lektorer. Lektor er som nevnt tittelen på en lærer som har tatt en mastergrad men brukes ofte på folkemunne om lærere som underviser i videregående opplæring. </code> |
+  | <code>Hvilken utdanning har en økonom?</code>  | <code>Økonom er en samlebetegnelse på personer med høyere økonomisk-administrativ utdanning. Som økonom kan du jobbe innen et bredt og allsidig fagfelt. Arbeidsoppgavene kan derfor variere mye. Noen vanlige arbeidsoppgaver for økonomer er ledelse administrasjon regnskaps- og budsjettarbeid forretningsutvikling og strategi innovasjon salg og markedsføring markedsanalyser personalarbeid Det finnes flere økonomiutdannelser men merk at disse skiller seg fra hverandre og gir ulik yrkeskompetanse. Eksempler på økonomiyrker regnskapsfører revisor samfunnsøkonom siviløkonom økonomisjef økonomikonsulent Man kan lage et skille mellom samfunnsøkonomer og bedriftsøkonomer. Grovt sett har bedriftsøkonomer bedriften som studieobjekt mens samfunnsøkonomer har økonomien i samfunn som studieobjekt. Økonomers arbeid består derfor ofte i å analysere den nåværende økonomiske situasjonen i samfunnet og/eller bedriften og bruker dette som grunnlag for å si noe om fremtiden. </code>                                                                                                                                                                                                               |
+  | <code>Hva går bedriftsøkonomi ut på?</code>    | <code>Som økonomisjef har du et overordnet ansvar for økonomiske spørsmål i bedriften du jobber. Dette innebærer ansvar for budsjett og regnskap og kontroll på investeringer og utgifter. Vanlige arbeidsoppgaver føre årsregnskap med noter og delårsregnskap budsjetter og prognoser planlegge finansiering investeringer og skatt ha kontroll over forbruk og lønnsomhet ha opplæring av ansatte i din avdeling er med i bedriftens ledergruppe Økonomisjefen er ofte leder for både økonomiavdelingen og regnskapsavdelingen. Det innebærer både faglig ansvar lederoppgaver og personalansvar. Du er også selskapets bindeledd til revisor når årsoppgjøret skal godkjennes. Andre titler for økonomisjef er økonomidirektør finansdirektør finanssjef regnskapssjef regnskapsdirektør og CFO. </code>                                                                                                                                                                                                                                                                                                                                                                                                                 |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+#### norqa
+
+* Dataset: norqa
+* Size: 3,808 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                              |
+  |:--------|:----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                                |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 12.64 tokens</li><li>max: 40 tokens</li></ul> | <ul><li>min: 359 tokens</li><li>mean: 468.31 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                           | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
+  |:-----------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Når døde Shackleton?</code>                                | <code>Shackleton–Rowett-ekspedisjonen<br>Shackleton–Rowett-ekspedisjonen (1921–22) var den siste antarktisekspedisjonen til den britiske polarforskeren Ernest Shackleton og markerte slutten på den heroiske tidsalder for antarktisutforskning. Ekspedisjonen ble finansiert av forretningsmannen John Quiller Rowett, og benevnes tidvis som Quest-ekspedisjonen etter ekspedisjonsskipet «Quest», ei ombygd norsk selfangstskute. Shackletons opprinnelige plan var å utforske Beauforthavet i Arktis, men denne planen ble forkastet etter at kanadiske myndigheter holdt tilbake økonomisk støtte. «Quest» var mindre enn fartøyene som hadde blitt benyttet på de foregående ekspedisjonene, og hun viste seg raskt lite egnet for oppgaven. Framdriften sørover ble forsinket av skipets dårlige sjøegenskaper og hyppige motorproblemer. Før ekspedisjonen hadde kommet skikkelig i gang, døde Shackleton om bord i skipet rett etter ankomsten til Sør-Georgia.<br>Hovedaktiviteten i den påfølgende svekkede ekspedisjonen var en tremåneders seilas til Øst-Antarktis under ledelse av nestkommanderende, Frank Wild. I dette farvannet kom «Quest»s svakheter raskt til syne: lav fart, høyt drivstofforbruk, tung rulling i høy sjø og stadig lekk. Skipet var ikke i stand til å fortsette lenger enn 20° øst, vesentlig kortere enn målsetningen, og den lave motoreffekten var ikke tilstrekkelig til å forsere den antarktiske sjøisen. Etter flere mislykkede forsøk på å bryte seg gjennom pakkisen valgte Wild å returnere til Sør-Georgia. På veien ble turen lagt innom Elefantøya, der Wild sammen med 21 andre hadde vært skipbrudden etter tapet av «Endurance» seks år tidligere.<br>Wild hadde tanker om en andre, mer produktiv sesong i isen, og tok skipet til Cape Town for overhaling. Her mottok han en melding fra Rowett som beordret skipet hjem til England, slik at ekspedisjonen endte i stillhet. Selv om den ikke har fått stor oppmerksomhet i polarhistorien, markerte Quest-ekspedisjonen avslutningen på den heroiske tidsalder for antarktisutforskning og begynnelsen på den «mekaniske tidsalder» som fulgte. Til sjuende og sist er det imidlertid Shackletons død som har blitt stående igjen som minnet fra ekspedisjonen.<br><br><br></code> |
+  | <code>Hva har Apollon blitt anerkjent som?</code>                | <code>Apollon<br>Apollon (gresk: Ἀπόλλων, Apóllōn) er i gresk og romersk mytologi en av de mest betydningsfulle av de olympiske guder og med flest sider (guddommelige assosiasjoner) knyttet til sin guddom. Som idealet av kouros (en skjeggløs yngling) har Apollon blitt anerkjent som en gud av lyset og solen, sannhet og profeti, bueskyting, medisin og helbredelse, musikk, poesi og kunstartene, og mer.<br>Apollon er sønn av Zevs og Leto, og har tvillingsøsteren Artemis, den jomfruelige månegudinnen for jakt, helbredelse, kyskhet og barnefødsler og beskytter av ville dyr og villmarken. Apollon er kjent i den greskpåvirkede etruskiske mytologien som Apulu. Apollon ble dyrket både i antikkens Hellas og i Romerriket, i tillegg til i den moderne hellenistiske nypaganisme (nyhedendommen).<br>Som beskytter av Delfi (Pythianske Apollon) var Apollon er en spådomsgud — den profetiske guddom av Delfis orakel. Medisin og helbredelse ble knyttet til Apollon, enten gjennom guden selv eller indirekte ved hans sønn Asklepios. Apollon ble også sett som en som kunne påføre dårlig helse og dødelig pest foruten å være den som hadde muligheten til å helbrede. Blant gudens religiøse endringer var at han ble assosiert med herredømmet over de greske kolonistatene som spredte seg langs kysten av Middelhavet, foruten å bli beskytter av gjetere og dyreflokker. Som leder av musene (Apollon Musagetes) og leder for deres kor fungerte Apollon som beskytter av musikk og poesi. Hermes oppfant lyren for ham, og instrumentet ble en vanlig attributt for Apollon. Hymner som ble sunget til Apollons pris ble kalt for paeaner.<br>I hellenistiske tider, særlig i løpet av 200-tallet f.Kr. som Apollon Helios, ble Apollon identifisert blant grekerne med Helios, solguden, og hans søster Artemis ble tilsvarende lik Selene, månegudinnen. I latinske tekster har forskeren Joseph Fontenrose imidlertid erklært seg ute av stand til å finne noen sammensmelting med Sol blant de augustinske poeter i det første århundre. Selv ikke i besvergelsene til Æneas og Latinus i Æneiden XII (161-215). Apollo og Helios/Sol forble atskilte vesener i de litterære og mytologiske tekstene fram til 200-tallet e.Kr.<br><br><br></code>            |
+  | <code>Hva heter de fire innerste planetene i solsystemet?</code> | <code>Solsystemet<br>Planeter og dvergplaneter i solsystemet. Planetenes størrelse er i skala, men ikke den relative avstanden til solen.<br>Solsystemet er det sol-planetsystemet som består av solen, jorden og månen, og andre kjente himmellegemer i det nærmeste verdensrommet. I dette systemet er solen i sentrum med de himmellegemer som den binder til seg gjennom gravitasjon, og har sin opprinnelse i en gravitasjonskollaps av en gigantisk gass- og støvsky for 4,6 milliarder år siden. Solsystemet befinner seg i Orion-armen i galaksen Melkeveien.<br>Rundt solen kretser en rekke himmellegemer i en nærmest flat skive i ekvatorbaneplanet som kalles ekliptikken. Utenfor solen finnes det meste av solsystemets masse i de åtte planetene, som har tilnærmet sirkulære omløpsbaner. De fire indre planetene Merkur, Venus, jorden og Mars består i stor grad av stein og metall og kalles steinplanetene. De fire ytre planetene Jupiter, Saturn, Uranus og Neptun består i stor grad av hydrogen og helium. De kalles ofte gasskjempene, da de har en mye tykkere atmosfære bestående av ulike gasser, og de er i tillegg mye tyngre og større enn steinplanetene.<br>Det finnes to områder med mindre himmellegemer. Asteroidebeltet mellom Mars og Jupiter består av mindre legemer av metall og stein slik som steinplanetene. Kuiperbeltet utenfor Neptuns omløpsbane består hovedsakelig av himmellegemer av frossent vann, ammoniakk og metan. Innenfor disse beltene er det kjent ti større objekter, Ceres, Pluto, Haumea, Makemake, Eris, Orcus, Quaoar, Varuna, Sedna og (225088) 2007 OR 10. De kalles dvergplaneter siden de er store nok til å ha blitt runde som en følge av sin gravitasjon. I en avstand av 0,8–1,6 lysår fra solen antar man at det finnes en Oorts sky, som kan være opprinnelsen til de langperiodiske kometene.<br>Talløse mindre legemer som kometer, kentaurer, damokloider og interplanetariske støvpartikler følger sine egne baner gjennom solsystemet. Solvinden, en strøm av plasma fra solen, skaper en boble i den interplanetariske materien som også kalles heliosfæren. Den strekker seg ut til midten av det området som kalles den spredte skiven, et område i tilknytting til Kuiperbeltet.<br><br><br></code>         |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+#### mnli_no_triplet
+
+* Dataset: mnli_no_triplet
+* Size: 128,084 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                          | negative                                                                         |
+  |:--------|:-----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:---------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                            | string                                                                           |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 26.53 tokens</li><li>max: 187 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 13.93 tokens</li><li>max: 47 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 13.4 tokens</li><li>max: 46 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                                                                                                                      | positive                                                                           | negative                                                                |
+  |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------|
+  | <code>Begrepsmessig kremskimming har to grunnleggende dimensjoner - produkt og geografi.</code>                                                                                                                                                                                                                             | <code>Cream skimming har to fokus - produkt og geografi.</code>                    | <code>Produkt og geografi har ingenting med kremskuming å gjøre.</code> |
+  | <code>du vet i løpet av sesongen, og jeg antar at på nivået ditt øh, mister du dem til neste nivå hvis hvis de bestemmer seg for å huske foreldrelaget, bestemmer Braves seg for å ringe for å huske en fyr fra trippel A, så går en dobbel A-fyr opp til erstatt ham og en singel En fyr går opp for å erstatte ham</code> | <code>Du mister tingene til følgende nivå hvis folket husker det.</code>           | <code>De utfører aldri tilbakekallinger på noe.</code>                  |
+  | <code>Et av våre nummer vil utføre instruksjonene dine minutiøst.</code>                                                                                                                                                                                                                                                    | <code>Et medlem av teamet mitt vil utføre ordrene dine med enorm presisjon.</code> | <code>Vi har ingen ledige for øyeblikket, så du må ta grep selv.</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Evaluation Datasets
+
+#### utdanning_pair_qa
+
+* Dataset: utdanning_pair_qa
+* Size: 555 evaluation samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                           | positive                                                                            |
+  |:--------|:---------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                           | string                                                                              |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 9.13 tokens</li><li>max: 16 tokens</li></ul> | <ul><li>min: 7 tokens</li><li>mean: 155.04 tokens</li><li>max: 367 tokens</li></ul> |
+* Samples:
+  | anchor                                        | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          |
+  |:----------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Hva er sosialt arbeid oppgave?</code>   | <code>Sosionomen forebygger løser og reduserer sosiale problemer for enkeltpersoner familier og grupper i samfunnet. Et viktig prinsipp i sosialt arbeid er at den hjelpen som gis skal være hjelp til selvhjelp. Hjelpen tar utgangspunkt i den enkeltes evner og situasjon. Den viktigste arbeidsoppgaven for en sosionom er å hjelpe mennesker med å finne løsninger som kan forbedre livskvaliteten. Sosionomen fungerer også som bindeledd mellom enkeltmennesker og ulike hjelpetilbud som samfunnet tilbyr. Som sosionom må du kartlegge ressurser og behov og bruke støtteordninger på best mulig måte for dem som har behov for det. Sosionomen opptrer som rådgiver og saksbehandler og jobber med å finne gode løsninger på politiske juridiske og sosiale problemer for grupper og enkeltmennesker. Sosionomer arbeider med individuelt arbeid med enkeltpersoner og deres familier nettverk og omgivelser gruppearbeid med mennesker med felles problemer og interesser samfunnsarbeid i form av naboskaps- grasrot- og reformarbeid sosial administrasjon og planlegging Samlebetegnelsen ”sosialarbeider” brukes om personer med ulik utdanning som jobber innen sosial hjelpevirksomhet i enten private eller offentlige virksomheter. Som oftest er disse utdannet sosionomer eller barnevernspedagoger. </code> |
+  | <code>Hva må til for å bli hundefører?</code> | <code>Som førerhundtrener trener du utvalgte hunder til å bli et hjelpemiddel for mennesker med svakt syn. Selve opptreningen av førerhunder foregår over lang tid og avsluttes ikke før brukeren og hunden samarbeider godt. Det er viktig å finne en førerhund som passer sammen med den svaksyntes behov og personlighet. Hunden må bestå eksamen før den kan brukes som førerhund. Vanlige arbeidsoppgaver for en førerhundtrener teste og trene hunder til ferdig tjenestehund delta på samtreningskurs med hund og bruker trene med hund og bruker på brukerens hjemsted (kan være over hele landet) følge opp hund og bruker på hjemstedet planlegge administrere og dokumentere arbeidet Jobben som førerhundtrener kan innebære mange reisedøgn i året og du tilbringer mesteparten av tiden utendørs. </code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           |
+  | <code>Hva kan man gjøre som jurist?</code>    | <code>Som jurist er du ekspert på å løse juridiske problemstillinger gjennom tolkning og analyse. Vanlige arbeidsoppgaver for en jurist gi råd og veiledning ha ansvar for å utforme og tolke dokumenter og kontrakter forhandle og mekle på vegne av sine klienter Arbeidsoppgavene som jurist varierer mye etter hvor du jobber. Juristene har innsikt i mange ulike rettsområder og kan arbeide innen de fleste fagområder og sektorer i samfunnet. Eksempler på rettsområder er kontraktsrett arbeidsrett familie- og arverett offentlig rett helse- og sosialrett forvaltningsrett og strafferett. Som jurist skal du formidle juss enkelt og forståelig til klienter brukere av offentlige velferdstilbud og personer som trenger rettshjelp. Noen jurister er advokater eller dommere. For å bli advokat må du først jobbe en viss tid som advokatfullmektig og oppfylle vilkårene for å få advokatbevilling. Du kan også jobbe som politijurist. Jurister er ofte samfunnsengasjerte og i dette yrket er det viktig å holde seg faglig oppdatert. </code>                                                                                                                                                                                                                                                                 |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+#### norqa
+
+* Dataset: norqa
+* Size: 472 evaluation samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                              |
+  |:--------|:----------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                                |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 12.57 tokens</li><li>max: 39 tokens</li></ul> | <ul><li>min: 249 tokens</li><li>mean: 475.62 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                      | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
+  |:------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Hvordan har det vært for Dan Coats å finne seg en god posisjon i Donald Trumps administrasjon?</code> | <code>USAs nasjonale etterretningssjef går av<br>President Donald Trump bekrefter at Dan Coats skal gå av som USAs nasjonale etterretningsdirektør. (Foto: Evan Vucci/AP/NTB Scanpix)<br>Coats har vært på kollisjonskurs med president Donald Trump i flere saker, deriblant Russland og presidentens kritikk av etterretningsvesenet. Den forestående avgangen ble varslet tidligere søndag av kilder som avisen New York Times hadde snakket med.<br>Nå bekrefter USAs president Donald Trump at Coats vil gå av 15. august. Presidenten vil nominere republikaneren John Ratcliffe til å overta stillingen.<br>Den tidligere republikanske senatoren Coats har siden mars 2017 vært øverste sjef for 17 etterretningsorganer. Han tok over stillingen fra James Clapper.<br>Uenigheter<br>Ifølge nyhetsbyrået AP har det blant toppolitikere i Washington i flere måneder gått rykter om at Coats kom til å trekke seg som etterretningsdirektør. Det var imidlertid ventet at han kom til å forlate sin stilling i forbindelse med slutten av presidentperioden neste høst.<br>Ifølge amerikanske medier har det vært vanskelig for Coats å finne fotfeste i Trump-administrasjonen. Etterforskningen rundt Russlands angivelige innblanding i 2016-valget er blant sakene som har vært grobunn til flere uenigheter mellom Coats og Trump.<br>Også Nord-Korea, IS og Iran har vært saker hvor de har vært på kollisjonskurs. Blant annet uttalte Coats i januar at etterretningstjenesten er av den oppfatning at Nord-Korea sannsynligvis ikke kommer til å gi slipp på alle sine atomvåpen og produksjonskapasiteter, i strid med Trumps egen oppfatning.<br>Lojal<br>Ratcliffe blir beskrevet som lojal overfor Trump og er i motsetning til Coats en kritiker av spesialetterforsker Robert Mueller, som var sjef for Russland-etterforskningen.<br>Republikaneren kritiserte Mueller for å si at Trump kan straffeforfølges når han går av som president fordi han forsøkte å hindre Russland-etterforskningen. Ratcliffe hevdet at premisset for hans etterforskning var at Trump var skyldig inntil det motsatte ble bevist.<br>Ratcliffe blir den sjette personen i stillingen siden den ble opprettet i kjølvannet av terrorangrepene 11. september 2001.</code>                                                                                                                                                                                                  |
+  | <code>Når lover Boris Johnson å ta Strobritannia ut av EU?</code>                                           | <code>Corbyn trapper opp kampen mot brexit uten avtale<br>Jeremy Corbyn skal i samtale med andre politikere tirsdag for å se hvordan han kan hindre at britene forlater EU uten en avtale. Foto: Frank Augstein / AP / NTB scanpix<br>På Corbyns gjesteliste står ikke bare andre opposisjonspolitikere, men også moderate, EU-vennlige medlemmer av Det konservative partiet.<br>– Jeg håper vi kan komme fram til en velfungerende løsning og få med oss andre fra hele spekteret i Parlamentet som ser farene ved en brexit uten avtale, skrev Corbyn i et innlegg i avisen The Independent mandag.<br>– Prisgitt Trump<br>– Jeg vil gjøre alt for å hindre en brexit uten avtale, skriver Labour-lederen, som blant annet er bekymret for statsminister Boris Johnsons tilnærming til USAs president Donald Trump. Corbyn mener «en hard brexit i virkeligheten er en Trump-avtale-brexit»<br>– Det vil ikke gi oss selvråderetten tilbake, men vi vil være prisgitt Trump og amerikanske storselskaper, skriver han, med henvisning til en mulig fremtidig frihandelsavtale mellom USA og Storbritannia.<br>Selv mener han et nyvalg er den beste muligheten for å hindre at britene forlater EU uten en sluttavtale. Andre parlamentarikere har luftet tanken om å lovfeste en utsettelse av brexit.<br>Samles neste uke<br>Parlamentet trer ikke sammen før til neste uke, men brexitmotstandere har diskutert hva de skal gjøre helt siden Johnson tok over etter Theresa May og gjentok løftet om å ta britene ut av unionen 31. oktober – med eller uten en avtale.<br>Johnson har sagt at han ønsker en ny og bedre avtale med EU, men at det viktigste er å unngå flere utsettelser.<br>Corbyn har sagt han vil stille mistillitsforslag mot Johnson så fort det lar seg gjøre og har tilbudt seg å lede en overgangsregjering dersom forslaget blir vedtatt. En av utfordringene med den løsningen er at flere av dem som vil stikke kjepper i hjulene for Johnsons brexitprosess, slett ikke vil ha Corbyn som statsminister.</code>                                                                                                                                                                                                                                                                                                                                                                                                                               |
+  | <code>Hva heter det meste solgte videospillet i 2007?</code>                                                | <code>Call of Duty 4: Modern Warfare<br>Call of Duty 4: Modern Warfare (ofte forkortet til Call of Duty 4 eller COD4) er et førstepersonsskytespill utviklet av Infinity Ward og gitt ut av Activision i 2007. Spillet er det fjerde i Call of Duty-serien, og det første i underserien Modern Warfare. Spillets etterfølger er Call of Duty: Modern Warfare 2, hvor handlingen i Call of Duty 4: Modern Warfare fortsetter.<br>I motsetning til de tidligere Call of Duty-spillene, hvor handlingen er lagt til andre verdenskrig, er Call of Duty 4: Modern Warfare satt til 2011. I spillet har en radikal leder tatt kontroll over et uspesifisert land i Midtøsten og henrettet presidenten. Samtidig har en ultranasjonalistisk bevegelse startet en borgerkrig i Russland. Handlingen blir hovedsakelig vist fra perspektivet til en soldat i United States Marine Corps (USMC) og en britisk soldat i Special Air Service (SAS). Enspillerdelen knyttes til en rekke land og områder, blant annet Storbritannia, Aserbajdsjan, Midtøsten, Russland og Ukraina. Flerspillerdelen har flere spillmoduser og et nivåsystem som lar spillere få tilgang til nye våpen og evner mens de når høyere nivåer.<br>Spillet fikk god kritikk: 94 av 100 poeng fra både GameRankings og Metacritic. Det fikk ros for sin enspiller- og flerspillerdel, men ble kritisert for at det ikke gjorde mye nytt innenfor førstepersonsskytespill-sjangeren. Spillet fikk flere priser, blant annet IGNs «Best Xbox 360 Game», GameSpots «PlayStation 3 Game of the Year», GamePros «Game of the Year» og tre priser fra Academy of Interactive Arts & Sciences. Det var verdens bestselgende videospill i 2007, og hadde solgt syv millioner kopier per januar 2008 og nesten 16 millioner per november 2013.<br>Spillet ble først utviklet for Microsoft Windows, PlayStation 3 og Xbox 360 over en toårsperiode. OS X-versjonen ble senere utviklet av Aspyr, ett år etter de andre versjonene. Nintendo Wii-versjonen ble utviklet av Treyarch ennå ett år senere. Det ble også lagd en versjon for Nintendo DS. En ny og oppdatert remaster-versjon kalt Call of Duty: Modern Warfare Remastered ble gitt ut for PlayStation 4, Xbox One og PC sammen med visse utgaver av Call of Duty: Infinite Warfare 4. november 2016. Denne nyversjonen fikk en selvstenig utgivelse i juni 2017. Serien fikk en reboot med utgivelsen av Call of Duty: Modern Warfare i 2019.<br><br><br></code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+#### mnli_no_triplet
+
+* Dataset: mnli_no_triplet
+* Size: 1,670 evaluation samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                          | negative                                                                          |
+  |:--------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                            | string                                                                            |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 24.36 tokens</li><li>max: 60 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 12.12 tokens</li><li>max: 33 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 12.47 tokens</li><li>max: 38 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                            | positive                                                                                                       | negative                                                                                                                       |
+  |:------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Jeg tenkte ikke engang på det, men jeg var så frustrert, og jeg endte opp med å snakke med ham igjen.</code>                                                | <code>Jeg var så opprørt at jeg bare begynte å snakke med ham igjen.</code>                                    | <code>Jeg har ikke snakket med ham igjen.</code>                                                                               |
+  | <code>Og jeg trodde det var et privilegium, og det er fortsatt, det er fortsatt, jeg var den eneste ni to-to Ex-O som var mitt AFFC Air Force Career-felt.</code> | <code>Jeg var under inntrykk av at jeg var den eneste med det nummeret på AFFC Air Force Career-feltet.</code> | <code>Vi fikk alle det samme nøyaktige antallet, uansett hvilke privilegier vi ble lovet å bli gitt, det hele var løgn.</code> |
+  | <code>De fortalte meg at jeg ville bli kalt inn en fyr på slutten for at jeg skulle møtes.</code>                                                                 | <code>Jeg ble fortalt at en fyr ville bli kalt inn for at jeg skulle møte.</code>                              | <code>Jeg ble aldri fortalt noe om å møte noen.</code>                                                                         |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `tf32`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 32
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: True
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step    | Training Loss | mnli no triplet loss | utdanning pair qa loss | norqa loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 |
+|:----------:|:-------:|:-------------:|:--------------------:|:----------------------:|:----------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:|
+| 0.3739     | 100     | 7.5558        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 0.7478     | 200     | 1.8637        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 0.9984     | 267     | -             | 2.1904               | 0.7226                 | 2.0794     | 0.2898                 | 0.3178                 | 0.3317                 | 0.2809                | 0.3481                 |
+| 1.1218     | 300     | 1.5972        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 1.4957     | 400     | 1.2965        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 1.8696     | 500     | 1.1359        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 1.9967     | 534     | -             | 2.0289               | 0.6398                 | 1.8099     | 0.2862                 | 0.3332                 | 0.3492                 | 0.2776                | 0.3467                 |
+| 2.2435     | 600     | 1.0991        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 2.6174     | 700     | 0.9438        | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| 2.9914     | 800     | 0.957         | -                    | -                      | -          | -                      | -                      | -                      | -                     | -                      |
+| **2.9951** | **801** | **-**         | **2.0308**           | **0.6306**             | **1.7636** | **0.3034**             | **0.3371**             | **0.3643**             | **0.2902**            | **0.3342**             |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.11.9
+- Sentence Transformers: 3.0.1
+- Transformers: 4.42.3
+- PyTorch: 2.3.1+cu121
+- Accelerate: 0.32.1
+- Datasets: 2.20.0
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning}, 
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "ltg/norbert3-base",
+  "architectures": [
+    "NorbertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "auto_map": {
+    "AutoConfig": "ltg/norbert3-base--configuration_norbert.NorbertConfig",
+    "AutoModel": "ltg/norbert3-base--modeling_norbert.NorbertModel",
+    "AutoModelForMaskedLM": "ltg/norbert3-base--modeling_norbert.NorbertForMaskedLM",
+    "AutoModelForMultipleChoice": "ltg/norbert3-base--modeling_norbert.NorbertForMultipleChoice",
+    "AutoModelForQuestionAnswering": "ltg/norbert3-base--modeling_norbert.NorbertForQuestionAnswering",
+    "AutoModelForSequenceClassification": "ltg/norbert3-base--modeling_norbert.NorbertForSequenceClassification",
+    "AutoModelForTokenClassification": "ltg/norbert3-base--modeling_norbert.NorbertForTokenClassification"
+  },
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "intermediate_size": 2048,
+  "layer_norm_eps": 1e-07,
+  "max_position_embeddings": 512,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_all_encoded_layers": true,
+  "position_bucket_size": 32,
+  "torch_dtype": "float32",
+  "transformers_version": "4.42.3",
+  "vocab_size": 50000
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.0.1",
+    "transformers": "4.42.3",
+    "pytorch": "2.3.1+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e6bf97e4a8a4031122ece8afdfbc6a7fb59551b22d81ee266e3670514a8d2f14
+size 518941336

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "[BOS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "[EOS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,870 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "[BOS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "6": {
+      "content": "[EOS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "7": {
+      "content": "[MASK_0]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "8": {
+      "content": "[MASK_1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "9": {
+      "content": "[MASK_2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "10": {
+      "content": "[MASK_3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "11": {
+      "content": "[MASK_4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "12": {
+      "content": "[MASK_5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "13": {
+      "content": "[MASK_6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "14": {
+      "content": "[MASK_7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "15": {
+      "content": "[MASK_8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "16": {
+      "content": "[MASK_9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "17": {
+      "content": "[MASK_10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "18": {
+      "content": "[MASK_11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "19": {
+      "content": "[MASK_12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "20": {
+      "content": "[MASK_13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "21": {
+      "content": "[MASK_14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "22": {
+      "content": "[MASK_15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "23": {
+      "content": "[MASK_16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "24": {
+      "content": "[MASK_17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "25": {
+      "content": "[MASK_18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "26": {
+      "content": "[MASK_19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "27": {
+      "content": "[MASK_20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "28": {
+      "content": "[MASK_21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "29": {
+      "content": "[MASK_22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "30": {
+      "content": "[MASK_23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "31": {
+      "content": "[MASK_24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32": {
+      "content": "[MASK_25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "33": {
+      "content": "[MASK_26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "34": {
+      "content": "[MASK_27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "35": {
+      "content": "[MASK_28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "36": {
+      "content": "[MASK_29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "37": {
+      "content": "[MASK_30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "38": {
+      "content": "[MASK_31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "39": {
+      "content": "[MASK_32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "40": {
+      "content": "[MASK_33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "41": {
+      "content": "[MASK_34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "42": {
+      "content": "[MASK_35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "43": {
+      "content": "[MASK_36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "44": {
+      "content": "[MASK_37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "45": {
+      "content": "[MASK_38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "46": {
+      "content": "[MASK_39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "47": {
+      "content": "[MASK_40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "48": {
+      "content": "[MASK_41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "49": {
+      "content": "[MASK_42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50": {
+      "content": "[MASK_43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "51": {
+      "content": "[MASK_44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "52": {
+      "content": "[MASK_45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "53": {
+      "content": "[MASK_46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "54": {
+      "content": "[MASK_47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "55": {
+      "content": "[MASK_48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "56": {
+      "content": "[MASK_49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "57": {
+      "content": "[MASK_50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "58": {
+      "content": "[MASK_51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "59": {
+      "content": "[MASK_52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "60": {
+      "content": "[MASK_53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "61": {
+      "content": "[MASK_54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "62": {
+      "content": "[MASK_55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "63": {
+      "content": "[MASK_56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64": {
+      "content": "[MASK_57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "65": {
+      "content": "[MASK_58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "66": {
+      "content": "[MASK_59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "67": {
+      "content": "[MASK_60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "68": {
+      "content": "[MASK_61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "69": {
+      "content": "[MASK_62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "70": {
+      "content": "[MASK_63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "71": {
+      "content": "[MASK_64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "72": {
+      "content": "[MASK_65]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "73": {
+      "content": "[MASK_66]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "74": {
+      "content": "[MASK_67]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "75": {
+      "content": "[MASK_68]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "76": {
+      "content": "[MASK_69]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "77": {
+      "content": "[MASK_70]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "78": {
+      "content": "[MASK_71]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "79": {
+      "content": "[MASK_72]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "80": {
+      "content": "[MASK_73]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "81": {
+      "content": "[MASK_74]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "82": {
+      "content": "[MASK_75]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "83": {
+      "content": "[MASK_76]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "84": {
+      "content": "[MASK_77]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "85": {
+      "content": "[MASK_78]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "86": {
+      "content": "[MASK_79]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "87": {
+      "content": "[MASK_80]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "88": {
+      "content": "[MASK_81]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "89": {
+      "content": "[MASK_82]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "90": {
+      "content": "[MASK_83]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "91": {
+      "content": "[MASK_84]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "92": {
+      "content": "[MASK_85]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "93": {
+      "content": "[MASK_86]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "94": {
+      "content": "[MASK_87]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "95": {
+      "content": "[MASK_88]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "96": {
+      "content": "[MASK_89]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "97": {
+      "content": "[MASK_90]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "98": {
+      "content": "[MASK_91]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "99": {
+      "content": "[MASK_92]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[MASK_93]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[MASK_94]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[MASK_95]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK_96]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "104": {
+      "content": "[MASK_97]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "105": {
+      "content": "[MASK_98]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "106": {
+      "content": "[MASK_99]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[BOS]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "eos_token": "[EOS]",
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}