speaker-segmentation-fine-tuned-callhome-eng

This model is a fine-tuned version of pyannote/segmentation-3.0 on the diarizers-community/callhome eng dataset. It achieves the following results on the evaluation set:

• Loss: 0.6828
• Der: 0.1936
• False Alarm: 0.0736
• Missed Detection: 0.0727
• Confusion: 0.0473

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.001
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• num_epochs: 100.0

Training results

Training Loss	Epoch	Step	Validation Loss	Der	False Alarm	Missed Detection	Confusion
0.445	1.0	181	0.4932	0.1950	0.0594	0.0752	0.0604
0.4152	2.0	362	0.4827	0.1951	0.0659	0.0733	0.0560
0.4013	3.0	543	0.4607	0.1857	0.0529	0.0787	0.0542
0.3755	4.0	724	0.4658	0.1870	0.0555	0.0764	0.0551
0.3704	5.0	905	0.4640	0.1822	0.0582	0.0715	0.0526
0.3563	6.0	1086	0.4640	0.1828	0.0599	0.0701	0.0527
0.3503	7.0	1267	0.4524	0.1794	0.0543	0.0753	0.0498
0.3419	8.0	1448	0.4559	0.1794	0.0554	0.0748	0.0492
0.3349	9.0	1629	0.4705	0.1832	0.0531	0.0784	0.0517
0.3338	10.0	1810	0.4697	0.1822	0.0559	0.0732	0.0531
0.3218	11.0	1991	0.4734	0.1841	0.0652	0.0675	0.0513
0.3182	12.0	2172	0.4732	0.1832	0.0556	0.0754	0.0521
0.3128	13.0	2353	0.4809	0.1837	0.0565	0.0737	0.0535
0.3045	14.0	2534	0.4794	0.1828	0.0571	0.0738	0.0519
0.2969	15.0	2715	0.4890	0.1858	0.0617	0.0751	0.0490
0.296	16.0	2896	0.4934	0.1851	0.0640	0.0713	0.0499
0.2885	17.0	3077	0.4840	0.1823	0.0570	0.0752	0.0500
0.2849	18.0	3258	0.4991	0.1870	0.0658	0.0702	0.0509
0.2793	19.0	3439	0.4979	0.1862	0.0633	0.0744	0.0485
0.2763	20.0	3620	0.4953	0.1888	0.0682	0.0714	0.0492
0.2698	21.0	3801	0.5067	0.1835	0.0613	0.0717	0.0505
0.2662	22.0	3982	0.4984	0.1861	0.0681	0.0704	0.0476
0.264	23.0	4163	0.5057	0.1862	0.0675	0.0687	0.0500
0.2551	24.0	4344	0.5099	0.1867	0.0662	0.0721	0.0483
0.2597	25.0	4525	0.5166	0.1898	0.0714	0.0676	0.0508
0.2531	26.0	4706	0.5139	0.1885	0.0678	0.0699	0.0508
0.2503	27.0	4887	0.5218	0.1882	0.0667	0.0732	0.0484
0.2446	28.0	5068	0.5182	0.1864	0.0676	0.0709	0.0478
0.2465	29.0	5249	0.5300	0.1877	0.0722	0.0673	0.0482
0.2435	30.0	5430	0.5412	0.1912	0.0757	0.0665	0.0490
0.2395	31.0	5611	0.5311	0.1872	0.0749	0.0667	0.0455
0.2329	32.0	5792	0.5291	0.1871	0.0735	0.0672	0.0464
0.2318	33.0	5973	0.5370	0.1853	0.0713	0.0676	0.0464
0.2331	34.0	6154	0.5558	0.1926	0.0756	0.0684	0.0486
0.2287	35.0	6335	0.5454	0.1864	0.0687	0.0708	0.0469
0.2272	36.0	6516	0.5522	0.1872	0.0673	0.0722	0.0476
0.223	37.0	6697	0.5523	0.1903	0.0714	0.0701	0.0488
0.2207	38.0	6878	0.5738	0.1939	0.0739	0.0693	0.0506
0.2192	39.0	7059	0.5616	0.1885	0.0736	0.0680	0.0469
0.2169	40.0	7240	0.5645	0.1876	0.0674	0.0722	0.0480
0.2138	41.0	7421	0.5862	0.1909	0.0693	0.0728	0.0487
0.2112	42.0	7602	0.5898	0.1926	0.0694	0.0735	0.0497
0.2101	43.0	7783	0.5871	0.1956	0.0784	0.0670	0.0502
0.2085	44.0	7964	0.5755	0.1927	0.0757	0.0690	0.0480
0.2073	45.0	8145	0.5843	0.1909	0.0733	0.0704	0.0472
0.2049	46.0	8326	0.6058	0.1906	0.0716	0.0719	0.0471
0.2041	47.0	8507	0.6067	0.1920	0.0723	0.0721	0.0477
0.2009	48.0	8688	0.6101	0.1965	0.0769	0.0705	0.0491
0.1999	49.0	8869	0.6117	0.1921	0.0715	0.0728	0.0478
0.2001	50.0	9050	0.6204	0.1970	0.0770	0.0701	0.0499
0.2	51.0	9231	0.6298	0.1951	0.0732	0.0731	0.0488
0.1992	52.0	9412	0.6010	0.1908	0.0725	0.0706	0.0477
0.1953	53.0	9593	0.6342	0.1984	0.0766	0.0713	0.0505
0.1926	54.0	9774	0.6243	0.1935	0.0742	0.0721	0.0472
0.19	55.0	9955	0.6162	0.1937	0.0728	0.0721	0.0488
0.191	56.0	10136	0.6258	0.1930	0.0718	0.0727	0.0485
0.1898	57.0	10317	0.6357	0.1947	0.0764	0.0707	0.0476
0.1871	58.0	10498	0.6335	0.1927	0.0759	0.0698	0.0470
0.1875	59.0	10679	0.6386	0.1942	0.0739	0.0729	0.0474
0.1876	60.0	10860	0.6346	0.1916	0.0697	0.0735	0.0484
0.1838	61.0	11041	0.6446	0.1936	0.0735	0.0719	0.0482
0.1841	62.0	11222	0.6449	0.1927	0.0748	0.0709	0.0470
0.1827	63.0	11403	0.6476	0.1946	0.0747	0.0721	0.0478
0.1829	64.0	11584	0.6427	0.1914	0.0698	0.0741	0.0476
0.181	65.0	11765	0.6463	0.1957	0.0768	0.0713	0.0475
0.1788	66.0	11946	0.6591	0.1943	0.0756	0.0711	0.0476
0.1803	67.0	12127	0.6513	0.1947	0.0746	0.0732	0.0469
0.1789	68.0	12308	0.6617	0.1932	0.0723	0.0740	0.0470
0.1781	69.0	12489	0.6620	0.1934	0.0756	0.0709	0.0468
0.1797	70.0	12670	0.6597	0.1934	0.0739	0.0720	0.0475
0.1773	71.0	12851	0.6671	0.1936	0.0730	0.0728	0.0478
0.177	72.0	13032	0.6566	0.1936	0.0746	0.0723	0.0467
0.1741	73.0	13213	0.6712	0.1958	0.0758	0.0718	0.0481
0.1741	74.0	13394	0.6594	0.1921	0.0711	0.0735	0.0475
0.1737	75.0	13575	0.6698	0.1945	0.0739	0.0729	0.0477
0.1737	76.0	13756	0.6729	0.1942	0.0748	0.0723	0.0471
0.174	77.0	13937	0.6677	0.1934	0.0735	0.0722	0.0477
0.173	78.0	14118	0.6741	0.1944	0.0745	0.0724	0.0474
0.1734	79.0	14299	0.6713	0.1940	0.0746	0.0720	0.0474
0.1716	80.0	14480	0.6789	0.1946	0.0742	0.0723	0.0481
0.1709	81.0	14661	0.6779	0.1954	0.0751	0.0721	0.0483
0.1698	82.0	14842	0.6818	0.1948	0.0746	0.0725	0.0478
0.1725	83.0	15023	0.6802	0.1939	0.0736	0.0732	0.0471
0.1714	84.0	15204	0.6777	0.1928	0.0729	0.0731	0.0468
0.1698	85.0	15385	0.6818	0.1941	0.0756	0.0715	0.0470
0.1713	86.0	15566	0.6783	0.1932	0.0731	0.0734	0.0468
0.1707	87.0	15747	0.6818	0.1941	0.0742	0.0725	0.0474
0.1687	88.0	15928	0.6802	0.1944	0.0742	0.0725	0.0477
0.1717	89.0	16109	0.6814	0.1937	0.0733	0.0730	0.0474
0.169	90.0	16290	0.6789	0.1937	0.0729	0.0733	0.0474
0.1713	91.0	16471	0.6811	0.1936	0.0731	0.0729	0.0475
0.1682	92.0	16652	0.6802	0.1938	0.0735	0.0727	0.0476
0.1705	93.0	16833	0.6813	0.1936	0.0735	0.0727	0.0475
0.1679	94.0	17014	0.6818	0.1937	0.0736	0.0725	0.0475
0.1692	95.0	17195	0.6831	0.1940	0.0740	0.0724	0.0475
0.1675	96.0	17376	0.6835	0.1938	0.0737	0.0727	0.0474
0.168	97.0	17557	0.6830	0.1937	0.0736	0.0726	0.0474
0.1702	98.0	17738	0.6827	0.1937	0.0736	0.0727	0.0474
0.1676	99.0	17919	0.6828	0.1936	0.0736	0.0727	0.0473
0.169	100.0	18100	0.6828	0.1936	0.0736	0.0727	0.0473

Framework versions

• Transformers 4.47.1
• Pytorch 2.3.0+cu118
• Datasets 3.2.0
• Tokenizers 0.21.0