Turn-Taking Detection Models — Collection complete v4

Modeles de detection de fin de tour (HOLD/SHIFT), architecture causale, entraines sur Smart Turn v3.2 (synthetique) et/ou AppTek (audio reel de centre d'appel, 14 accents anglophones).

Table des matieres

Comparaison globale avec les modeles de reference
Ablation : acoustique seule vs semantique seule vs fusion
Comparaison d'architectures acoustiques a budget variable
CPC : encodeur audio pre-entraine (self-supervised)
Trois configurations d'entrainement (mixte / Smart Turn seul / AppTek seul)
Experience de reequilibrage synthetique/reel
Fichiers de resultats bruts

1. Comparaison globale — 4 modeles, test officiel Smart Turn v3.2

Modele	Params	Accuracy	ROC-AUC	Notes
LiveKit v1-mini	~0.5B (distille)	61.02%	0.7324	Limite a 1.2s de contexte audio
Smart Turn v3.2 (officiel)	~8M	73.33%	0.7962	Whisper-tiny fine-tune complet
Phase 1 (notre, from scratch)	462K	87.36-87.93%	0.9439-0.9483	Selon config, Whisper gele
Phase 2 (notre, fusion)	~360K (+8M geles)	92.06-92.60%	0.9744-0.9776	Meilleure architecture

2. Ablation : Phase 1 (acoustique) vs Whisper-frozen-head (semantique) vs Phase 2 (fusion)

14 accents, config mixte (94% Smart Turn / 6% AppTek).

Accent OOD	P1 Test	WF Test	P2 Test	P1 OOD	WF OOD	P2 OOD
en-AU	84.21%	83.63%	90.01%	66.44%	70.04%	80.76%
en-CA	84.27%	83.75%	89.77%	64.70%	71.04%	78.66%
en-CN	84.29%	83.47%	90.18%	56.12%	67.89%	72.97%
en-GB	84.14%	82.78%	90.48%	60.29%	65.29%	73.43%
en-GB_SCT	84.57%	83.64%	90.52%	57.98%	60.65%	70.39%
en-GB_WLS	83.87%	83.48%	90.05%	57.35%	65.03%	75.58%
en-IE	84.35%	83.37%	90.11%	63.68%	76.04%	84.52%
en-IN	84.31%	83.56%	90.55%	61.05%	69.43%	70.57%
en-MX	84.26%	83.71%	90.58%	56.85%	64.38%	75.99%
en-SG	84.57%	83.54%	90.44%	63.38%	71.14%	76.58%
en-US_Aave	84.20%	83.70%	90.07%	58.56%	65.64%	71.83%
en-US_General	84.45%	83.47%	90.08%	62.39%	71.20%	79.05%
en-US_Southern	84.60%	83.68%	90.60%	65.61%	66.60%	76.32%
en-ZA	84.56%	83.84%	90.54%	57.71%	67.48%	76.62%
Moyenne	84.39%	83.61%	90.21%	60.86%	68.03%	76.02%

Resultat cle : ni l'acoustique seule ni la semantique seule n'atteignent la performance de la fusion complete — la cross-attention genere une synergie reelle.

3. Comparaison d'architectures acoustiques a budget de parametres variable

Config AppTek seul, 3 accents (en-CN, en-GB_WLS, en-IE), mode seul et mode fusion (avec Whisper gele).

Moyennes sur 3 accents — architectures from-scratch

Architecture	Budget (params)	Seul Test	Seul OOD	Fusion Test	Fusion OOD
ECAPA-TDNN	1x (462K)	64.68%	57.42%	78.97%	78.21%
ECAPA-TDNN	2x (911K)	64.51%	57.46%	78.05%	77.40%
BiGRU	1x (461K)	70.19%	65.50%	75.70%	74.48%
BiGRU	2x (909K)	70.54%	65.76%	76.61%	74.04%
Conformer	1x (430K)	67.99%	61.59%	77.95%	75.93%
Conformer	2x (904K)	72.22%	68.93%	78.32%	77.78%
Conformer	3x (1.36M)	70.74%	70.09%	77.18%	77.04%
Conformer	4x (1.83M)	65.14%*	63.13%*	78.08%	78.34%

*Instabilite d'entrainement isolee sur en-CN a 4x, affectant la moyenne.

Resultats cles :

A budget egal (~460K), BiGRU domine en mode seul, mais ECAPA-TDNN reprend l'avantage en mode fusion.
Conformer beneficie d'un budget accru jusqu'a ~900K parametres (2x), avec un gain marque vs 1x.
Au-dela de 2x, Conformer ne progresse plus de facon monotone (possible surapprentissage sur ~17K exemples train).
En mode fusion, la performance reste stable a travers tous les budgets (77-78%).

4. CPC : encodeur audio pre-entraine (self-supervised)

Contrairement aux architectures precedentes (entrainees from-scratch), CPC (Contrastive Predictive Coding, Riviere et al. 2020) est un encodeur pre-entraine sur de la parole brute en self-supervised, sans supervision texte. Checkpoint officiel FAIR charge et entierement gele — seule une tete de classification legere (mode seul) ou le module de fusion (mode fusion) sont entraines.

Architecture reelle du checkpoint utilise : 1 843 456 parametres au total (encodeur convolutif + GRU contextuel, sortie 256-dim) — note : ce chiffre differe de certaines estimations plus elevees (~5.8M) parfois citees pour cette famille de modeles ; il correspond aux poids du checkpoint officiel effectivement charge et verifie.

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-CN	64.31%	53.42%	80.64%	74.96%
en-GB_WLS	62.69%	57.61%	79.91%	77.56%
en-IE	62.40%	66.95%	79.15%	85.70%
Moyenne	63.13%	59.33%	79.90%	79.41%

Comparaison finale — toutes architectures, mode fusion, moyennes sur 3 accents

Architecture	Params (encodeur)	Fusion Test	Fusion OOD
BiGRU (1x, from scratch)	461K	75.70%	74.48%
Conformer (1x, from scratch)	430K	77.95%	75.93%
ECAPA-TDNN (1x, from scratch)	462K	78.97%	78.21%
Conformer (2x, from scratch)	904K	78.32%	77.78%
CPC (pre-entraine, gele)	1.84M	79.90%	79.41%

Resultat cle : CPC (pre-entraine, gele, jamais affine sur la tache) obtient le meilleur score en mode fusion, devant toutes les architectures from-scratch testees — suggerant que son pre-entrainement self-supervised capture deja des informations acoustiques/prosodiques pertinentes, complementaires a la semantique de Whisper. En mode seul cependant, CPC reste modeste (63.13% test, 59.33% OOD), moins bon que BiGRU ou Conformer entraines specifiquement — le gain de CPC provient donc presque entierement de la fusion, pas de sa capacite de classification isolee.

5. Trois configurations d'entrainement (Phase 1 et Phase 2, 14 accents)

Configuration	P1 Test	P1 OOD	P2 Test	P2 OOD
Smart Turn seul (0% AppTek)	87.55%	55.85%*	92.31%	65.77%*
Mixte (94% ST / 6% AppTek)	84.39%	60.86%	90.21%	76.02%
AppTek seul (0% ST)	64.42%	56.59%	78.79%	77.58%

*Pour Smart Turn seul, "OOD" = AppTek test (jamais vu a l'entrainement).

Resultat le plus marquant : Phase 2 (AppTek seul) obtient le meilleur score OOD moyen parmi ces 3 configurations, malgre 16x moins de donnees et l'absence de synthetique.

Tableau complet — Mixte, 14 accents, avec baselines figees

Accent OOD	ST v3.2 AppTek	ST v3.2 OOD	LiveKit AppTek	LiveKit OOD	P1 AppTek	P1 OOD	P2 AppTek	P2 OOD
en-AU	64.39%	67.38%	69.12%	74.37%	62.07%	66.44%	80.55%	80.76%
en-CA	63.41%	67.80%	67.88%	70.61%	66.44%	64.70%	79.06%	78.66%
en-CN	63.59%	63.04%	68.77%	64.79%	67.39%	56.12%	81.64%	72.97%
en-GB	64.76%	60.48%	68.46%	67.33%	65.61%	60.29%	78.75%	73.43%
en-GB_SCT	64.23%	58.39%	68.43%	68.27%	66.15%	57.98%	77.75%	70.39%
en-GB_WLS	63.67%	61.76%	67.44%	67.65%	65.83%	57.35%	79.48%	75.58%
en-IE	63.06%	73.44%	68.00%	76.18%	68.62%	63.68%	78.77%	84.52%
en-IN	64.34%	61.49%	68.15%	62.63%	67.47%	61.05%	79.70%	70.57%
en-MX	64.88%	63.65%	68.63%	70.44%	65.86%	56.85%	78.74%	75.99%
en-SG	63.30%	66.45%	68.01%	67.19%	67.14%	63.38%	79.73%	76.58%
en-US_Aave	65.98%	58.14%	69.10%	65.70%	64.17%	58.56%	80.86%	71.83%
en-US_General	63.84%	68.90%	68.41%	67.82%	66.21%	62.39%	79.73%	79.05%
en-US_Southern	64.96%	63.43%	68.30%	70.44%	67.61%	65.61%	78.71%	76.32%
en-ZA	64.84%	66.57%	68.42%	65.71%	65.50%	57.71%	78.29%	76.62%
Moyenne	64.23%	64.35%	68.29%	68.51%	66.01%	60.86%	79.34%	76.02%

6. Experience de reequilibrage synthetique/reel (OOD=en-CN)

Configuration	P1 Test	P1 OOD	P2 Test	P2 OOD
Original (94%/6%)	84.89%	59.54%	90.48%	71.07%
Oversample (65%/35%, reptete)	84.50%	59.78%	90.10%	70.19%
Undersample (50%/50%, vrai)	60.93%	54.69%	87.47%	71.70%

Resultat cle : Phase 1 s'effondre severement sous undersample (-23.96 points), Phase 2 resiste beaucoup mieux (-3.01 points).

Resultats cles globaux (synthese)

La fusion (Phase 2) genere une vraie synergie — ni l'acoustique seule ni la semantique seule ne l'egalent.
CPC (pre-entraine, gele) surpasse toutes les architectures from-scratch en mode fusion, malgre l'absence totale de fine-tuning sur la tache — le pre-entrainement self-supervised sur audio brut semble capturer une information acoustique/prosodique complementaire particulierement utile.
Phase 2 (AppTek seul) atteint la meilleure generalisation OOD absolue parmi les configurations de donnees testees.
Le choix d'architecture acoustique optimal depend du contexte (seule vs fusionnee) et du budget de parametres.
La chute de performance OOD est systematique a travers tous les accents et modeles testes.

Chargement

import torch
ckpt = torch.load("phase2-whisper-crossattn-v4-ood-en-AU-light.pt", map_location="cpu")
model.load_state_dict(ckpt['best_state'])

Fichiers de resultats bruts (JSON)

results-ood-{accent}.json, results-apptekonly-{accent}.json — Phase1/Phase2, configs mixte et AppTek seul
results-whisperfrozen-mixte-{accent}.json — ablation Whisper-frozen-head
arch-comparison-{arch}-{accent}.json, arch2x-comparison-{arch}-{accent}.json — architectures, budgets 1x/2x
archscale-comparison-conformer-{3x,4x}-{accent}.json — Conformer, budgets 3x/4x
cpc-comparison-{accent}.json — CPC pre-entraine gele
architecture-comparison-consolidated.json — consolide 1x/2x
decomposition-test-all-accents.json, results-smartturn-only-v4.json, smartturn-only-apptek-test-by-accent.json
baselines-smartturn-livekit-all-accents.json

Limites connues

LiveKit v1-mini limite a 1.2s de contexte audio (vs 8s pour les autres modeles)
Couverture AppTek limitee a l'anglais (14 accents)
Comparaison d'architectures effectuee sur 3 accents seulement, pour limiter le temps de calcul
Instabilite d'entrainement observee pour Conformer a budget 4x sur un accent (en-CN)
CPC evalue avec un seul checkpoint pre-entraine (LibriSpeech, anglais), sans fine-tuning

7. Extension : architectures alternatives en config mixte (14 accents)

Suite a la comparaison d'architectures a budget egal (config AppTek seul, section 3), deux architectures supplementaires ont ete testees en config mixte (Smart Turn + AppTek), sur les 14 accents.

BiGRU (config mixte, 14 accents)

Accent OOD	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	69.29%	71.17%	88.48%	79.49%
en-CA	68.31%	69.33%	88.74%	78.17%
en-CN	69.24%	64.71%	88.65%	69.00%
en-GB	69.95%	62.62%	89.06%	69.90%
en-GB_SCT	69.50%	61.49%	88.79%	71.26%
en-GB_WLS	68.02%	66.18%	88.38%	74.17%
en-IE	68.04%	69.13%	88.85%	81.72%
en-IN	69.57%	63.46%	88.83%	67.11%
en-MX	69.89%	64.21%	88.82%	72.76%
en-SG	68.46%	67.29%	88.93%	73.56%
en-US_Aave	69.12%	63.21%	89.02%	71.88%
en-US_General	68.93%	69.28%	88.95%	76.05%
en-US_Southern	70.41%	67.39%	88.71%	75.66%
en-ZA	70.08%	63.62%	88.68%	72.43%
Moyenne	69.06%	65.59%	88.78%	74.71%

Resultat : BiGRU (461K params) sous-performe ECAPA-TDNN (Phase 1, 462K params) sur le test combine en config mixte (88.78% vs 90.21%), malgre sa superiorite observee en config AppTek seul. Suggere que BiGRU exploite moins bien le volume massif de donnees synthetiques Smart Turn.

CPC + Whisper + Transformer (nouvelle architecture de fusion)

Modification apportee a la fusion (par rapport a la Cross-Attention + TCN originale de Phase 2) :

Cross-attention causale entre features CPC (acoustique, gelees) et Whisper (semantique, gelees) — identique a l'original
Connexion residuelle ajoutee : l'acoustique brute projetee est additionnee a la sortie de cross-attention, puis normalisee (LayerNorm)
TCN remplace par 2 couches de TransformerEncoder (d_model=128, nhead=4, dim_feedforward=256), avec masque causal explicite
Classifieur a 2 couches (Linear 128->32 + ReLU + Linear 32->2)

Parametres de la fusion : 499,810 (contre ~360K pour la fusion originale Cross-Attention+TCN, soit +39%)

Accent OOD	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.71%	62.45%	80.42%	86.28%
en-CA	63.70%	63.72%	79.75%	81.34%
en-CN	65.98%	54.45%	81.44%	74.09%
en-GB	63.61%	58.81%	80.39%	77.19%
en-GB_SCT	64.93%	60.93%	80.01%	75.92%
en-GB_WLS	63.94%	57.67%	79.68%	77.05%
en-IE	63.96%	65.20%	78.68%	86.70%
en-IN	64.38%	61.71%	80.97%	69.96%
en-MX	63.77%	64.04%	80.42%	78.65%
en-SG	65.11%	61.01%	81.14%	77.37%
en-US_Aave	64.31%	58.56%	80.46%	77.80%
en-US_General	64.07%	59.64%	80.66%	81.10%
en-US_Southern	63.42%	62.57%	80.35%	80.69%
en-ZA	64.74%	55.62%	79.77%	78.38%
Moyenne	64.19%	60.82%	80.02%	78.04%

Resultat cle : cette architecture obtient le meilleur score OOD moyen de toutes les architectures testees en config mixte (78.04%), surpassant Phase 2 originale (76.02%) — malgre un score de test in-distribution inferieur (80.02% vs 90.21%). Le remplacement du TCN par un Transformer avec connexion residuelle semble ameliorer specifiquement la capacite de generalisation vers l'audio reel inconnu, au prix d'une performance legerement moindre sur les donnees vues (Smart Turn + AppTek connus).

Comparaison finale — toutes architectures en config mixte, moyennes 14 accents

Architecture	Params (fusion)	Test combine	OOD
BiGRU	461K (encodeur)	88.78%	74.71%
Phase 1/2 (ECAPA + Cross-Attn+TCN)	462K + ~360K	90.21%	76.02%
CPC + Whisper + Transformer	1.84M (CPC gele) + 500K (fusion)	80.02%	78.04%

Interpretation : si l'objectif est la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA + Cross-Attention/TCN) reste la meilleure architecture. Si l'objectif est la generalisation a un accent totalement inconnu, la combinaison CPC (pre-entraine) + fusion Transformer semble legerement superieure, suggerant une piste d'amelioration pour des applications ou la robustesse a des locuteurs/accents non vus est prioritaire.

8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Extension de l'experience CPC (section 4) : comparaison entre l'encodeur CPC entierement gele ("frozen") et une variante ou le GRU contextuel (couche recurrente apres l'encodeur convolutif) est degele et fine-tune sur la tache ("partial"), tandis que l'encodeur convolutif reste toujours gele dans les deux cas.

Parametres entraines : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

CPC Frozen (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	65.06%	61.63%	80.75%	84.02%
en-CA	64.63%	63.11%	80.21%	82.30%
en-CN	63.00%	52.70%	80.35%	73.77%
en-GB	63.66%	59.60%	79.99%	78.17%
en-GB_SCT	64.86%	59.44%	80.24%	74.86%
en-GB_WLS	64.53%	56.19%	79.83%	76.85%
en-IE	63.79%	66.02%	78.79%	87.83%
en-IN	64.55%	60.92%	80.53%	71.34%
en-MX	64.10%	60.79%	80.06%	78.02%
en-SG	64.99%	62.29%	80.60%	78.14%
en-US_Aave	64.63%	57.31%	80.32%	76.24%
en-US_General	63.79%	59.83%	80.49%	80.97%
en-US_Southern	63.84%	63.65%	80.42%	78.05%
en-ZA	65.19%	56.09%	80.55%	76.63%
Moyenne	64.33%	59.97%	80.23%	78.37%

CPC Partial (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.02%	61.45%	79.45%	85.89%
en-CA	63.18%	59.70%	79.22%	80.98%
en-CN	60.84%	50.87%	79.96%	72.50%
en-GB	63.50%	52.29%	80.75%	76.33%
en-GB_SCT	64.46%	55.81%	79.86%	75.18%
en-GB_WLS	63.69%	57.23%	79.46%	77.05%
en-IE	63.62%	59.23%	79.21%	85.75%
en-IN	62.45%	55.53%	79.98%	71.14%
en-MX	64.69%	62.91%	79.18%	77.41%
en-SG	63.92%	58.69%	80.35%	77.28%
en-US_Aave	62.54%	53.12%	79.68%	75.53%
en-US_General	63.32%	56.39%	80.33%	80.72%
en-US_Southern	63.44%	57.41%	80.33%	77.98%
en-ZA	63.87%	56.10%	79.24%	79.43%
Moyenne	63.33%	56.91%	79.79%	78.08%

Comparaison synthetique

Mode	Seul Test	Seul OOD	Fusion Test	Fusion OOD
Frozen	64.33%	59.97%	80.23%	78.37%
Partial	63.33%	56.91%	79.79%	78.08%
Ecart (frozen - partial)	+1.00	+3.06	+0.44	+0.29

Resultat cle : le fine-tuning partiel du GRU contextuel de CPC n'apporte aucun benefice, et se revele legerement contre-productif sur toutes les metriques, particulierement pour la generalisation OOD en mode seul (+3.06 points en faveur du frozen). Ceci suggere que les representations pre-entrainees de CPC captent deja l'essentiel du signal utile pour cette tache, et qu'un fine-tuning limite (peu de donnees specifiques face a un espace de parametres relativement large) ajoute du bruit d'optimisation sans gain reel.

Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

Architecture	Params (acoustique)	Fusion Test	Fusion OOD
CPC frozen	1.84M (gele)	80.23%	78.37%
CPC + Whisper + Transformer	1.84M (gele) + 500K (fusion)	80.02%	78.04%
CPC partial	1.84M (559K entraines)	79.79%	78.08%
Phase 2 (ECAPA + Cross-Attn+TCN)	462K (from scratch)	90.21%	76.02%
BiGRU	461K (from scratch)	88.78%	74.71%

Interpretation finale : pour la performance maximale sur donnees connues (synthetique + reel vu), Phase 2 (ECAPA, from scratch) reste la meilleure architecture. Pour la generalisation a un accent totalement inconnu, CPC gele (sans aucun fine-tuning) offre la meilleure robustesse parmi toutes les architectures testees — confirmant qu'un encodeur pre-entraine en self-supervised sur de la parole brute capture une information acoustique/prosodique qui generalise mieux qu'un apprentissage from-scratch specifique a la tache, meme avec beaucoup moins de parametres entraines (33K vs 462K).

8. CPC Frozen vs CPC Partial (fine-tuning du GRU contextuel) — config mixte, 14 accents

Parametres entraines : 33,154 (frozen, tete de classification seule) vs 559,490 (partial, tete + GRU contextuel).

CPC Frozen (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	65.06%	61.63%	80.75%	84.02%
en-CA	64.63%	63.11%	80.21%	82.30%
en-CN	63.00%	52.70%	80.35%	73.77%
en-GB	63.66%	59.60%	79.99%	78.17%
en-GB_SCT	64.86%	59.44%	80.24%	74.86%
en-GB_WLS	64.53%	56.19%	79.83%	76.85%
en-IE	63.79%	66.02%	78.79%	87.83%
en-IN	64.55%	60.92%	80.53%	71.34%
en-MX	64.10%	60.79%	80.06%	78.02%
en-SG	64.99%	62.29%	80.60%	78.14%
en-US_Aave	64.63%	57.31%	80.32%	76.24%
en-US_General	63.79%	59.83%	80.49%	80.97%
en-US_Southern	63.84%	63.65%	80.42%	78.05%
en-ZA	65.19%	56.09%	80.55%	76.63%
Moyenne	64.33%	59.97%	80.23%	78.37%

CPC Partial (14 accents)

Accent	Seul Test	Seul OOD	Fusion Test	Fusion OOD
en-AU	63.02%	61.45%	79.45%	85.89%
en-CA	63.18%	59.70%	79.22%	80.98%
en-CN	60.84%	50.87%	79.96%	72.50%
en-GB	63.50%	52.29%	80.75%	76.33%
en-GB_SCT	64.46%	55.81%	79.86%	75.18%
en-GB_WLS	63.69%	57.23%	79.46%	77.05%
en-IE	63.62%	59.23%	79.21%	85.75%
en-IN	62.45%	55.53%	79.98%	71.14%
en-MX	64.69%	62.91%	79.18%	77.41%
en-SG	63.92%	58.69%	80.35%	77.28%
en-US_Aave	62.54%	53.12%	79.68%	75.53%
en-US_General	63.32%	56.39%	80.33%	80.72%
en-US_Southern	63.44%	57.41%	80.33%	77.98%
en-ZA	63.87%	56.10%	79.24%	79.43%
Moyenne	63.33%	56.91%	79.79%	78.08%

Comparaison synthetique

Mode	Seul Test	Seul OOD	Fusion Test	Fusion OOD
Frozen	64.33%	59.97%	80.23%	78.37%
Partial	63.33%	56.91%	79.79%	78.08%
Ecart (frozen - partial)	+1.00	+3.06	+0.44	+0.29

Tableau recapitulatif final — toutes architectures en fusion, config mixte, moyennes 14 accents

Architecture	Params (acoustique)	Fusion Test	Fusion OOD
CPC frozen	1.84M (gele)	80.23%	78.37%
CPC + Whisper + Transformer	1.84M (gele) + 500K (fusion)	80.02%	78.04%
CPC partial	1.84M (559K entraines)	79.79%	78.08%
Phase 2 (ECAPA + Cross-Attn+TCN)	462K (from scratch)	90.21%	76.02%
BiGRU	461K (from scratch)	88.78%	74.71%

9. Choix de l'encodeur semantique : Whisper vs HuBERT — config Smart Turn seul

Ablation testant si le choix de l'encodeur semantique gele (dans la fusion Phase 2) influence les resultats. Meme protocole que l'experience "Smart Turn seul" (train/val/test officiels Smart Turn v3.2, aucune donnee AppTek), avec Phase 1 (ECAPA-TDNN) identique dans les deux cas, seul l'encodeur de fusion change.

Whisper-tiny : encodeur pre-entraine pour la reconnaissance vocale (supervision texte forte), 384 dimensions de sortie. HuBERT-base : encodeur pre-entraine en self-supervised pur (masquage acoustique, sans supervision textuelle), 768 dimensions de sortie.

Modele	Accuracy	F1	ROC-AUC
Phase 1 (ECAPA-TDNN, acoustique seule)	87.34%	87.34%	0.9439
Phase 2 (fusion avec Whisper)	92.37%	—	0.9769
Phase 2 (fusion avec HuBERT)	85.57%	85.56%	0.9271

Resultat cle : la fusion avec HuBERT degrade les performances par rapport a Phase 1 seul (85.57% vs 87.34%), alors que la fusion avec Whisper les ameliore significativement (+5 points). Ceci suggere que le gain de la fusion semantique dans Phase 2 ne provient pas simplement de l'ajout d'une representation audio pre-entrainee generique, mais specifiquement de la supervision textuelle de Whisper (entraine pour la reconnaissance vocale) — un signal linguistique/semantique que le self-supervised pur de HuBERT ne capture pas de la meme maniere. Pour une tache de detection de fin de tour, qui beneficie probablement d'une comprehension du caractere syntaxiquement/semantiquement complet d'un enonce, la supervision texte de Whisper semble apporter un avantage decisif que HuBERT n'offre pas.

10. Ablation du mecanisme de fusion — config mixte, en-CN

Comparaison de trois mecanismes pour combiner les features acoustiques (ECAPA-TDNN) et semantiques (Whisper), Phase 1 identique dans les trois cas.

Cross-Attention (Phase 2 originale) : attention causale entre les deux modalites, suivie d'un TCN. Average Pooling : moyenne temporelle de chaque modalite, projection, concatenation, MLP. Gated Pooling : moyenne temporelle de chaque modalite, porte apprise (sigmoid) ponderant la contribution relative de chaque modalite avant fusion.

Mecanisme	Test combine	OOD
Cross-Attention (baseline)	90.01%	69.00%
Gated Pool	87.30%	67.57%
Avg Pool	87.02%	68.20%

Resultat cle : la cross-attention domine les deux mecanismes plus simples sur les deux metriques (+2.71 a +2.99 points test, +0.80 a +1.43 points OOD), confirmant que la capacite d'attention dynamique entre modalites (plutot qu'une simple moyenne ou une porte statique) apporte une vraie valeur ajoutee a la tache, justifiant la complexite additionnelle de ce mecanisme dans l'architecture Phase 2.

11. Curriculum de diversite d'accents — effet du nombre d'accents sur la generalisation OOD

Description de l'experience

Cette experience teste l'effet du nombre d'accents distincts presents dans l'entrainement sur la capacite de generalisation a des accents totalement inconnus (OOD), independamment du volume total de donnees.

Protocole :

Pour chaque valeur de K (nombre d'accents AppTek inclus), on construit un jeu d'entrainement melangeant K accents AppTek avec un volume egal de Smart Turn sous-echantillonne aleatoirement (ratio 50/50, pour que les accents inclus ne soient jamais negligeables face au synthetique)
Le modele (Phase 1 ECAPA-TDNN + Phase 2 fusion Cross-Attention, architecture standard du projet) est entraine sur ce melange, 15 epochs
L'evaluation OOD se fait sur chacun des accents restants (14-K) individuellement, puis moyennee
Valeurs de K testees : 1, 2, 4, 7, 10, 13 (espacees plutot qu'exhaustives, pour couvrir la pente initiale et le plateau avec un budget de calcul raisonnable)

Controle de la variance : pour isoler l'effet de la diversite (K) de l'effet de l'ordre specifique des accents et du hasard d'entrainement, chaque (K, ordre) est repete avec 2 graines d'entrainement independantes, sur 6 sequences d'accents (3 permutations aleatoires distinctes, chacune testee en ordre normal et inverse) :

$6 \text{ sequences} \times 6 \text{ valeurs de K} \times 2 \text{ repetitions} = 72 \text{ runs}$

Resultats — moyenne et ecart-type sur les 12 runs par valeur de K

K (accents inclus)	Test moyen	Test std	OOD moyen	OOD std
1	77.20%	3.13%	73.99%	1.15%
2	76.78%	2.61%	75.26%	0.52%
4	77.78%	1.60%	75.82%	1.02%
7	78.38%	1.22%	76.89%	1.12%
10	78.98%	1.01%	76.57%	1.41%
13	78.67%	0.51%	75.90%	2.60%

Resultats cles

La variance diminue fortement avec K (3.13% -> 0.51% pour le test) — avec peu d'accents, l'identite precise de l'accent choisi influence enormement le resultat ; avec beaucoup d'accents, l'effet de l'ordre/choix specifique s'estompe et les resultats deviennent stables quelle que soit la sequence testee.
Rendements decroissants clairs — le plus gros du gain de generalisation OOD arrive tot (K=1 a K=7 : +2.90 points), puis plafonne voire recule legerement (K=7 a K=10 : -0.32 point ; K=10 a K=13 : -0.67 point). Au-dela de 7-10 accents differents, ajouter davantage de diversite n'apporte plus de gain significatif.
Le bruit statistique redevient dominant a K=13 — avec un seul accent OOD restant par run a cette valeur, l'ecart-type OOD remonte fortement (2.60%), rendant cette mesure moins fiable individuellement (coherent avec le design : K=13 n'offre qu'un seul point de comparaison OOD par sequence, contre 13 points a K=1).
Robustesse a l'ordre des accents : la faible variance a haut K a travers les 6 sequences testees (3 permutations x 2 sens) suggere que l'effet de diversite domine largement tout effet potentiel de proximite/distance entre accents specifiques — aucune sequence n'a produit de resultat systematiquement different des autres a K egal.

Interpretation pour la pratique : ces resultats suggerent qu'il n'est pas necessaire de collecter des donnees pour un tres grand nombre d'accents differents pour obtenir une bonne generalisation — un socle de 7 a 10 accents diversifies semble suffire a capturer l'essentiel du benefice, avec des gains marginaux au-dela.

Downloads last month: -; Downloads are not tracked for this model. How to track