english-char-roberta

This model was based on the RoBERTa architecture trained on the masked language modelling task on a dataset of English words. In this training phase, random characters from english words were masked and the model was asked to predict the missing character.

This was ultimately used to obtain character embeddings for words and used for anomaly detection for non-English words.

For full details of this anomaly detection task, see these notebooks.

Model description

Based on the RoBERTa.

Intended uses & limitations

This was created for research purposes to investigate the use of embeddings obtained from transformer models in anomaly detection tasks.

Training and evaluation data

See the dataset card for the exact train/validation/test splits of English words.

In our training run, we obtained a final validation loss of 0.0958.

Training procedure

For full details of training, also see this notebook.

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 128
• eval_batch_size: 8
• seed: 2023
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 600

Training results

Training Loss	Epoch	Step	Validation Loss
No log	1.0	296	0.2025
0.1722	2.0	592	0.1831
0.1722	3.0	888	0.1693
0.1408	4.0	1184	0.1635
0.1408	5.0	1480	0.1606
0.1317	6.0	1776	0.1547
0.1258	7.0	2072	0.1556
0.1258	8.0	2368	0.1513
0.1221	9.0	2664	0.1473
0.1221	10.0	2960	0.1486
0.1185	11.0	3256	0.1464
0.1169	12.0	3552	0.1442
0.1169	13.0	3848	0.1424
0.1134	14.0	4144	0.1412
0.1134	15.0	4440	0.1405
0.1114	16.0	4736	0.1394
0.1096	17.0	5032	0.1382
0.1096	18.0	5328	0.1345
0.1078	19.0	5624	0.1358
0.1078	20.0	5920	0.1349
0.1054	21.0	6216	0.1320
0.1044	22.0	6512	0.1328
0.1044	23.0	6808	0.1329
0.1027	24.0	7104	0.1310
0.1027	25.0	7400	0.1311
0.102	26.0	7696	0.1298
0.102	27.0	7992	0.1275
0.0998	28.0	8288	0.1280
0.098	29.0	8584	0.1288
0.098	30.0	8880	0.1249
0.0969	31.0	9176	0.1245
0.0969	32.0	9472	0.1239
0.0956	33.0	9768	0.1219
0.0947	34.0	10064	0.1239
0.0947	35.0	10360	0.1224
0.0938	36.0	10656	0.1243
0.0938	37.0	10952	0.1235
0.0922	38.0	11248	0.1213
0.0929	39.0	11544	0.1207
0.0929	40.0	11840	0.1187
0.0901	41.0	12136	0.1199
0.0901	42.0	12432	0.1206
0.0897	43.0	12728	0.1185
0.0882	44.0	13024	0.1158
0.0882	45.0	13320	0.1184
0.0884	46.0	13616	0.1166
0.0884	47.0	13912	0.1174
0.0869	48.0	14208	0.1161
0.086	49.0	14504	0.1154
0.086	50.0	14800	0.1137
0.0844	51.0	15096	0.1156
0.0844	52.0	15392	0.1135
0.0837	53.0	15688	0.1154
0.0837	54.0	15984	0.1140
0.0833	55.0	16280	0.1132
0.0822	56.0	16576	0.1117
0.0822	57.0	16872	0.1112
0.0824	58.0	17168	0.1100
0.0824	59.0	17464	0.1109
0.0814	60.0	17760	0.1117
0.0806	61.0	18056	0.1095
0.0806	62.0	18352	0.1104
0.0793	63.0	18648	0.1123
0.0793	64.0	18944	0.1106
0.0787	65.0	19240	0.1098
0.0784	66.0	19536	0.1079
0.0784	67.0	19832	0.1091
0.0773	68.0	20128	0.1088
0.0773	69.0	20424	0.1101
0.0762	70.0	20720	0.1083
0.0769	71.0	21016	0.1079
0.0769	72.0	21312	0.1067
0.0749	73.0	21608	0.1074
0.0749	74.0	21904	0.1073
0.075	75.0	22200	0.1079
0.075	76.0	22496	0.1058
0.0739	77.0	22792	0.1064
0.0723	78.0	23088	0.1068
0.0723	79.0	23384	0.1068
0.0732	80.0	23680	0.1063
0.0732	81.0	23976	0.1029
0.0724	82.0	24272	0.1058
0.0715	83.0	24568	0.1038
0.0715	84.0	24864	0.1055
0.0718	85.0	25160	0.1042
0.0718	86.0	25456	0.1030
0.0699	87.0	25752	0.1035
0.07	88.0	26048	0.1055
0.07	89.0	26344	0.1037
0.0701	90.0	26640	0.1024
0.0701	91.0	26936	0.1033
0.0683	92.0	27232	0.1042
0.068	93.0	27528	0.1012
0.068	94.0	27824	0.1042
0.0675	95.0	28120	0.1009
0.0675	96.0	28416	0.1042
0.0667	97.0	28712	0.1030
0.0672	98.0	29008	0.1020
0.0672	99.0	29304	0.1010
0.0669	100.0	29600	0.1024
0.0669	101.0	29896	0.1003
0.0661	102.0	30192	0.1035
0.0661	103.0	30488	0.1018
0.0658	104.0	30784	0.1021
0.0651	105.0	31080	0.1043
0.0651	106.0	31376	0.1013
0.0652	107.0	31672	0.1013
0.0652	108.0	31968	0.1013
0.0646	109.0	32264	0.0998
0.0638	110.0	32560	0.1003
0.0638	111.0	32856	0.1008
0.0626	112.0	33152	0.1004
0.0626	113.0	33448	0.1003
0.0625	114.0	33744	0.1006
0.0628	115.0	34040	0.0995
0.0628	116.0	34336	0.0996
0.0612	117.0	34632	0.1004
0.0612	118.0	34928	0.1007
0.0618	119.0	35224	0.1012
0.061	120.0	35520	0.1010
0.061	121.0	35816	0.0999
0.061	122.0	36112	0.0983
0.061	123.0	36408	0.0986
0.0609	124.0	36704	0.0999
0.0604	125.0	37000	0.0995
0.0604	126.0	37296	0.0981
0.0594	127.0	37592	0.0989
0.0594	128.0	37888	0.0982
0.0597	129.0	38184	0.0978
0.0597	130.0	38480	0.0997
0.0592	131.0	38776	0.0989
0.059	132.0	39072	0.0991
0.059	133.0	39368	0.0996
0.0585	134.0	39664	0.1001
0.0585	135.0	39960	0.0974
0.0585	136.0	40256	0.0987
0.0576	137.0	40552	0.0960
0.0576	138.0	40848	0.0986
0.0572	139.0	41144	0.0979
0.0572	140.0	41440	0.0992
0.0566	141.0	41736	0.0975
0.057	142.0	42032	0.0980
0.057	143.0	42328	0.0960
0.0568	144.0	42624	0.0972
0.0568	145.0	42920	0.0949
0.0562	146.0	43216	0.0989
0.0562	147.0	43512	0.0969
0.0562	148.0	43808	0.0952
0.0564	149.0	44104	0.0979
0.0564	150.0	44400	0.0966
0.0562	151.0	44696	0.0956
0.0562	152.0	44992	0.0986
0.0548	153.0	45288	0.0975
0.0544	154.0	45584	0.0971
0.0544	155.0	45880	0.0965
0.0548	156.0	46176	0.0969
0.0548	157.0	46472	0.1003
0.0548	158.0	46768	0.0965
0.0538	159.0	47064	0.0947
0.0538	160.0	47360	0.0963
0.0542	161.0	47656	0.0952
0.0542	162.0	47952	0.0970
0.0536	163.0	48248	0.0961
0.053	164.0	48544	0.0946
0.053	165.0	48840	0.0963
0.0524	166.0	49136	0.0959
0.0524	167.0	49432	0.0942
0.053	168.0	49728	0.0963
0.053	169.0	50024	0.0988
0.053	170.0	50320	0.0980
0.0519	171.0	50616	0.0980
0.0519	172.0	50912	0.0977
0.0514	173.0	51208	0.0921
0.0511	174.0	51504	0.0985
0.0511	175.0	51800	0.0946
0.052	176.0	52096	0.0957
0.052	177.0	52392	0.0950
0.0509	178.0	52688	0.0948
0.0509	179.0	52984	0.0974
0.0514	180.0	53280	0.0985
0.0514	181.0	53576	0.0957
0.0514	182.0	53872	0.0950
0.0509	183.0	54168	0.0974
0.0509	184.0	54464	0.0949
0.0499	185.0	54760	0.0959
0.0507	186.0	55056	0.0962
0.0507	187.0	55352	0.0924
0.0499	188.0	55648	0.0943
0.0499	189.0	55944	0.0934
0.049	190.0	56240	0.0970
0.0497	191.0	56536	0.0950
0.0497	192.0	56832	0.0929
0.0494	193.0	57128	0.0965
0.0494	194.0	57424	0.0934
0.0494	195.0	57720	0.0959
0.0496	196.0	58016	0.0944
0.0496	197.0	58312	0.0970
0.0483	198.0	58608	0.0975
0.0483	199.0	58904	0.0952
0.0472	200.0	59200	0.0954
0.0472	201.0	59496	0.0952
0.0488	202.0	59792	0.0967
0.0491	203.0	60088	0.0934
0.0491	204.0	60384	0.0952
0.0481	205.0	60680	0.0947
0.0481	206.0	60976	0.0949
0.0478	207.0	61272	0.0942
0.0475	208.0	61568	0.0971
0.0475	209.0	61864	0.0940
0.0478	210.0	62160	0.0928
0.0478	211.0	62456	0.0967
0.0472	212.0	62752	0.0956
0.0472	213.0	63048	0.0960
0.0472	214.0	63344	0.0926
0.0465	215.0	63640	0.0933
0.0465	216.0	63936	0.0958
0.0463	217.0	64232	0.0958
0.0463	218.0	64528	0.0955
0.0463	219.0	64824	0.0940
0.0462	220.0	65120	0.0941
0.0462	221.0	65416	0.0942
0.0457	222.0	65712	0.0947
0.0455	223.0	66008	0.0931
0.0455	224.0	66304	0.0961
0.0458	225.0	66600	0.0934
0.0458	226.0	66896	0.0936
0.0454	227.0	67192	0.0944
0.0454	228.0	67488	0.0942
0.0454	229.0	67784	0.0935
0.0453	230.0	68080	0.0944
0.0453	231.0	68376	0.0976
0.0442	232.0	68672	0.0941
0.0442	233.0	68968	0.0948
0.0456	234.0	69264	0.0935
0.0446	235.0	69560	0.0981
0.0446	236.0	69856	0.0956
0.0455	237.0	70152	0.0945
0.0455	238.0	70448	0.0942
0.044	239.0	70744	0.0923
0.0448	240.0	71040	0.0955
0.0448	241.0	71336	0.0936
0.0444	242.0	71632	0.0928
0.0444	243.0	71928	0.0951
0.0445	244.0	72224	0.0948
0.0441	245.0	72520	0.0927
0.0441	246.0	72816	0.0938
0.0441	247.0	73112	0.0950
0.0441	248.0	73408	0.0942
0.0431	249.0	73704	0.0959
0.0435	250.0	74000	0.0957
0.0435	251.0	74296	0.0962
0.0425	252.0	74592	0.0923
0.0425	253.0	74888	0.0935
0.0436	254.0	75184	0.0961
0.0436	255.0	75480	0.0952
0.0429	256.0	75776	0.0950
0.043	257.0	76072	0.0940
0.043	258.0	76368	0.0952
0.0431	259.0	76664	0.0934
0.0431	260.0	76960	0.0947
0.0425	261.0	77256	0.0945
0.0421	262.0	77552	0.0952
0.0421	263.0	77848	0.0944
0.043	264.0	78144	0.0959
0.043	265.0	78440	0.0936
0.0429	266.0	78736	0.0954
0.042	267.0	79032	0.0962
0.042	268.0	79328	0.0947
0.0421	269.0	79624	0.0960
0.0421	270.0	79920	0.0934
0.0423	271.0	80216	0.0949
0.0418	272.0	80512	0.0965
0.0418	273.0	80808	0.0959
0.0414	274.0	81104	0.0918
0.0414	275.0	81400	0.0967
0.0423	276.0	81696	0.0959
0.0423	277.0	81992	0.0927
0.0413	278.0	82288	0.0957
0.0416	279.0	82584	0.0954
0.0416	280.0	82880	0.0963
0.0413	281.0	83176	0.0938
0.0413	282.0	83472	0.0949
0.0412	283.0	83768	0.0944
0.0407	284.0	84064	0.0936
0.0407	285.0	84360	0.0955
0.0408	286.0	84656	0.0937
0.0408	287.0	84952	0.0933
0.0408	288.0	85248	0.0942
0.0409	289.0	85544	0.0939
0.0409	290.0	85840	0.0948
0.0401	291.0	86136	0.0944
0.0401	292.0	86432	0.0928
0.0405	293.0	86728	0.0960
0.0409	294.0	87024	0.0955
0.0409	295.0	87320	0.0949
0.0404	296.0	87616	0.0955
0.0404	297.0	87912	0.0979
0.0398	298.0	88208	0.0936
0.0397	299.0	88504	0.0938
0.0397	300.0	88800	0.0937
0.0405	301.0	89096	0.0947
0.0405	302.0	89392	0.0975
0.0398	303.0	89688	0.0927
0.0398	304.0	89984	0.0959
0.0392	305.0	90280	0.0937
0.0397	306.0	90576	0.0962
0.0397	307.0	90872	0.0955
0.0394	308.0	91168	0.0944
0.0394	309.0	91464	0.0973
0.039	310.0	91760	0.0955
0.0394	311.0	92056	0.0951
0.0394	312.0	92352	0.0969
0.0394	313.0	92648	0.0982
0.0394	314.0	92944	0.0927
0.0393	315.0	93240	0.0950
0.0386	316.0	93536	0.0923
0.0386	317.0	93832	0.0942
0.0396	318.0	94128	0.0968
0.0396	319.0	94424	0.0952
0.0391	320.0	94720	0.0965
0.0388	321.0	95016	0.0962
0.0388	322.0	95312	0.0941
0.0384	323.0	95608	0.0958
0.0384	324.0	95904	0.0945
0.0382	325.0	96200	0.0985
0.0382	326.0	96496	0.0956
0.0393	327.0	96792	0.0952
0.0379	328.0	97088	0.0981
0.0379	329.0	97384	0.0974
0.0382	330.0	97680	0.0948
0.0382	331.0	97976	0.0965
0.0388	332.0	98272	0.0945
0.0385	333.0	98568	0.0945
0.0385	334.0	98864	0.0947
0.0373	335.0	99160	0.0950
0.0373	336.0	99456	0.0940
0.0376	337.0	99752	0.0949
0.0384	338.0	100048	0.0942
0.0384	339.0	100344	0.0958
0.0375	340.0	100640	0.0965
0.0375	341.0	100936	0.0956
0.0368	342.0	101232	0.0944
0.0376	343.0	101528	0.0951
0.0376	344.0	101824	0.0978
0.0375	345.0	102120	0.0949
0.0375	346.0	102416	0.0940
0.0372	347.0	102712	0.0931
0.0373	348.0	103008	0.0954
0.0373	349.0	103304	0.0930
0.0369	350.0	103600	0.0937
0.0369	351.0	103896	0.0945
0.0366	352.0	104192	0.0957
0.0366	353.0	104488	0.0952
0.0362	354.0	104784	0.0978
0.0365	355.0	105080	0.0949
0.0365	356.0	105376	0.0933
0.0373	357.0	105672	0.0956
0.0373	358.0	105968	0.0965
0.0374	359.0	106264	0.0942
0.0357	360.0	106560	0.0974
0.0357	361.0	106856	0.0958
0.0372	362.0	107152	0.0951
0.0372	363.0	107448	0.0933
0.0368	364.0	107744	0.0947
0.0362	365.0	108040	0.0958
0.0362	366.0	108336	0.0934
0.036	367.0	108632	0.0977
0.036	368.0	108928	0.0987
0.0366	369.0	109224	0.0951
0.0364	370.0	109520	0.0951
0.0364	371.0	109816	0.0959
0.0357	372.0	110112	0.0954
0.0357	373.0	110408	0.0957
0.0361	374.0	110704	0.0937
0.0362	375.0	111000	0.0951
0.0362	376.0	111296	0.0965
0.0356	377.0	111592	0.0952
0.0356	378.0	111888	0.0970
0.036	379.0	112184	0.0966
0.036	380.0	112480	0.0983
0.0355	381.0	112776	0.0960
0.0354	382.0	113072	0.0979
0.0354	383.0	113368	0.0959
0.0355	384.0	113664	0.0962
0.0355	385.0	113960	0.0955
0.0358	386.0	114256	0.0958
0.035	387.0	114552	0.0950
0.035	388.0	114848	0.0943
0.0356	389.0	115144	0.0976
0.0356	390.0	115440	0.0971
0.0358	391.0	115736	0.0957
0.0355	392.0	116032	0.0945
0.0355	393.0	116328	0.0966
0.0351	394.0	116624	0.0949
0.0351	395.0	116920	0.0935
0.0351	396.0	117216	0.0964
0.0348	397.0	117512	0.0956
0.0348	398.0	117808	0.0964
0.0347	399.0	118104	0.0947
0.0347	400.0	118400	0.0959
0.0348	401.0	118696	0.0972
0.0348	402.0	118992	0.0961
0.0351	403.0	119288	0.0965
0.0351	404.0	119584	0.0925
0.0351	405.0	119880	0.0955
0.035	406.0	120176	0.0965
0.035	407.0	120472	0.0932
0.0343	408.0	120768	0.0963
0.0344	409.0	121064	0.0957
0.0344	410.0	121360	0.0976
0.0341	411.0	121656	0.0969
0.0341	412.0	121952	0.0943
0.0347	413.0	122248	0.0951
0.0338	414.0	122544	0.0965
0.0338	415.0	122840	0.0942
0.0343	416.0	123136	0.0953
0.0343	417.0	123432	0.0952
0.0337	418.0	123728	0.0940
0.0337	419.0	124024	0.0977
0.0337	420.0	124320	0.0953
0.0338	421.0	124616	0.0965
0.0338	422.0	124912	0.0973
0.0338	423.0	125208	0.0959
0.034	424.0	125504	0.0953
0.034	425.0	125800	0.0965
0.0335	426.0	126096	0.0978
0.0335	427.0	126392	0.0960
0.0335	428.0	126688	0.0945
0.0335	429.0	126984	0.0959
0.0338	430.0	127280	0.0960
0.0329	431.0	127576	0.0957
0.0329	432.0	127872	0.0955
0.0341	433.0	128168	0.0967
0.0341	434.0	128464	0.0942
0.033	435.0	128760	0.0976
0.0333	436.0	129056	0.0943
0.0333	437.0	129352	0.0954
0.0333	438.0	129648	0.0980
0.0333	439.0	129944	0.0945
0.0332	440.0	130240	0.0951
0.0337	441.0	130536	0.0968
0.0337	442.0	130832	0.0978
0.0334	443.0	131128	0.0963
0.0334	444.0	131424	0.0955
0.0325	445.0	131720	0.0972
0.0328	446.0	132016	0.0974
0.0328	447.0	132312	0.0929
0.0329	448.0	132608	0.0956
0.0329	449.0	132904	0.0937
0.0325	450.0	133200	0.0967
0.0325	451.0	133496	0.0950
0.0325	452.0	133792	0.0963
0.033	453.0	134088	0.0991
0.033	454.0	134384	0.0957
0.0332	455.0	134680	0.0972
0.0332	456.0	134976	0.0957
0.0327	457.0	135272	0.0979
0.0323	458.0	135568	0.0939
0.0323	459.0	135864	0.0955
0.0332	460.0	136160	0.0981
0.0332	461.0	136456	0.0962
0.0319	462.0	136752	0.0995
0.0327	463.0	137048	0.0981
0.0327	464.0	137344	0.0965
0.0322	465.0	137640	0.0953
0.0322	466.0	137936	0.0975
0.0325	467.0	138232	0.0968
0.0328	468.0	138528	0.0962
0.0328	469.0	138824	0.0949
0.0322	470.0	139120	0.0965
0.0322	471.0	139416	0.0954
0.0322	472.0	139712	0.0971
0.0313	473.0	140008	0.0986
0.0313	474.0	140304	0.0959
0.032	475.0	140600	0.0969
0.032	476.0	140896	0.0974
0.0318	477.0	141192	0.0956
0.0318	478.0	141488	0.0969
0.0319	479.0	141784	0.0987
0.0314	480.0	142080	0.0983
0.0314	481.0	142376	0.0977
0.0316	482.0	142672	0.0994
0.0316	483.0	142968	0.0962
0.0318	484.0	143264	0.0979
0.0313	485.0	143560	0.0974
0.0313	486.0	143856	0.0957
0.0316	487.0	144152	0.0960
0.0316	488.0	144448	0.0959
0.0318	489.0	144744	0.0980
0.032	490.0	145040	0.0953
0.032	491.0	145336	0.0960
0.0314	492.0	145632	0.0967
0.0314	493.0	145928	0.0952
0.0306	494.0	146224	0.0984
0.0311	495.0	146520	0.0972
0.0311	496.0	146816	0.0951
0.0307	497.0	147112	0.0950
0.0307	498.0	147408	0.0969
0.0305	499.0	147704	0.0977
0.0317	500.0	148000	0.0986
0.0317	501.0	148296	0.0967
0.0315	502.0	148592	0.0982
0.0315	503.0	148888	0.0965
0.0316	504.0	149184	0.0971
0.0316	505.0	149480	0.0965
0.0308	506.0	149776	0.0985
0.0313	507.0	150072	0.0954
0.0313	508.0	150368	0.0970
0.0303	509.0	150664	0.0979
0.0303	510.0	150960	0.0964
0.0306	511.0	151256	0.0983
0.0309	512.0	151552	0.0969
0.0309	513.0	151848	0.0968
0.0306	514.0	152144	0.0974
0.0306	515.0	152440	0.0975
0.0306	516.0	152736	0.0978
0.0307	517.0	153032	0.0965
0.0307	518.0	153328	0.0962
0.0305	519.0	153624	0.0971
0.0305	520.0	153920	0.0959
0.0307	521.0	154216	0.0940
0.0315	522.0	154512	0.0965
0.0315	523.0	154808	0.0960
0.0308	524.0	155104	0.0970
0.0308	525.0	155400	0.0975
0.0302	526.0	155696	0.0969
0.0302	527.0	155992	0.0964
0.0307	528.0	156288	0.0967
0.0307	529.0	156584	0.0974
0.0307	530.0	156880	0.0949
0.0309	531.0	157176	0.0983
0.0309	532.0	157472	0.0969
0.0308	533.0	157768	0.0967
0.0306	534.0	158064	0.0965
0.0306	535.0	158360	0.0979
0.0303	536.0	158656	0.0984
0.0303	537.0	158952	0.0976
0.0296	538.0	159248	0.0955
0.0304	539.0	159544	0.0955
0.0304	540.0	159840	0.0967
0.0304	541.0	160136	0.0973
0.0304	542.0	160432	0.0954
0.0305	543.0	160728	0.0950
0.0304	544.0	161024	0.0975
0.0304	545.0	161320	0.0974
0.0301	546.0	161616	0.0986
0.0301	547.0	161912	0.0944
0.0292	548.0	162208	0.0967
0.0302	549.0	162504	0.0959
0.0302	550.0	162800	0.0954
0.0303	551.0	163096	0.0973
0.0303	552.0	163392	0.0977
0.0298	553.0	163688	0.0992
0.0298	554.0	163984	0.0936
0.0294	555.0	164280	0.0984
0.0307	556.0	164576	0.0982
0.0307	557.0	164872	0.1011
0.0293	558.0	165168	0.0975
0.0293	559.0	165464	0.0965
0.0295	560.0	165760	0.0951
0.0299	561.0	166056	0.0964
0.0299	562.0	166352	0.0972
0.0294	563.0	166648	0.0950
0.0294	564.0	166944	0.0988
0.0293	565.0	167240	0.0968
0.0298	566.0	167536	0.0944
0.0298	567.0	167832	0.0970
0.0296	568.0	168128	0.0958
0.0296	569.0	168424	0.0990
0.0297	570.0	168720	0.0981
0.0284	571.0	169016	0.0970
0.0284	572.0	169312	0.0966
0.0294	573.0	169608	0.0995
0.0294	574.0	169904	0.0975
0.029	575.0	170200	0.0962
0.029	576.0	170496	0.0954
0.0292	577.0	170792	0.0950
0.029	578.0	171088	0.0990
0.029	579.0	171384	0.0956
0.0297	580.0	171680	0.0991
0.0297	581.0	171976	0.0975
0.0293	582.0	172272	0.0974
0.0299	583.0	172568	0.0964
0.0299	584.0	172864	0.0953
0.0292	585.0	173160	0.0991
0.0292	586.0	173456	0.0980
0.0294	587.0	173752	0.0978
0.0295	588.0	174048	0.0964
0.0295	589.0	174344	0.0971
0.0298	590.0	174640	0.0957
0.0298	591.0	174936	0.0984
0.029	592.0	175232	0.0969
0.0297	593.0	175528	0.0968
0.0297	594.0	175824	0.0986
0.0289	595.0	176120	0.0951
0.0289	596.0	176416	0.0963
0.0289	597.0	176712	0.0960
0.0292	598.0	177008	0.0940
0.0292	599.0	177304	0.0953
0.0288	600.0	177600	0.0958

Framework versions

• Transformers 4.34.0
• Pytorch 2.1.0
• Datasets 2.14.5
• Tokenizers 0.14.1