• Menu
  • Nouveau
  • Prochaines versions
  • Taux de bits par défaut et qualité
  • Pourquoi un autre codec pour la Voix HD?
  • Sujets
  • vlrPhone
  • vlrFilter
  • vlrMemos
  • TéléSurveillance Médicale
  • Big Data
  • IoT / M2M
  • OFDM / CPL
  • Réseaux de Neurones
  • Algorithmes
  • Support GPU
  • Investisseurs
  • Informations Technologie
  • Screenshots
  • Téléchargements
  • Sources
  • Liens
• Accueil
• vlrPhone
• vlrFilter
• vlrMemos
• Big Data
• IoT / M2M
• OFDM / CPL
• Réseaux de Neurones
• Vidéos

Nouveau:

Les codecs VLC et VLR sont prêts sur Windows. Voir plus bas pour les exécutables et les codes sources.
vlrPhone.exe: pour communiquer via SIP (codecs VLC et VLR ou G711).
test.exe: pour tester les codecs avec des fichiers Wave.
play.exe: pour jouer des fichiers Wave.
fshift.exe: pour tester les décalages de fréquence (frequency shifts en Anglais) et la réduction de bruit (V7).
Plus d'Informations
pshift.exe: pour tester les décalages de hauteur (pitch shifts en Anglais) et la réduction de bruit (V7).
Plus d'Informations
Cliquez Ici pour plus d'informations au sujet de la réduction de bruit avec les codecs VLC et VLR.
Les utilitaires supportent les codecs PCM non compressés.

Prochaines versions:

- Traitement supplémentaire pour enlever tous les bruits (prise en compte des phases pour les premiers ou les plus grands pics locaux, et implémentation d'un recouvrement de trames de 50%).
Etape réalisée.

- Audio Haute Qualité (les plus grands points et les bandes les plus énergétiques).
- VLC 8, VLC 16, VLC 32 et VLC 48 (les plus grands pics locaux).
Etape réalisée.

- Codecs VLC et VLR: fréquence d'échantillonnage de 8 kHZ au lieu de 16 kHz.
Etape réalisée.

- Ajout du codec VLC HQ 16: grande qualité et fréquence d'échantillonnage de 16 kHz.
Etape réalisée.

- VLC 16, 32 et 48: utilisation des plus grands points et des bandes les plus énergétiques, au lieu des pics locaux uniquement. Les codecs VLC, VLR et VLC 8 utilisent toujours uniquement des pics locaux.
Etape réalisée.

- VLC HQ 16 et 48: transmission et utilisation de l'énergie des points.
Ces codecs sont devenus pratiquement quasi sans perte en énergie, par comparaison avec les trames non compressées.
Etape réalisée.

- Recouvrement partiel des trames de moins de 50%, pour plus de qualité et moins de calculs:
   - VLC, VLR: pas de changement (50%)
   - VLC 8, 16, 32 et 48: 33%
   - VLC HQ 16 ET 48: moins de 10%
Etape réalisée.

- Possibilité d'utiliser des filtres IIR (Filtre à Réponse Impulsionnelle Infinie, Infinite Impulse Response en Anglais) ou des filtres FIR (Filtre à Réponse Impulsionnelle Finie, Finite Impulse Response en Anglais) pour les codecs VLC, VLR et VLC 8.
Les autres codecs (VLC 16, 32, 48, HQ 16 et HQ 48) n'utilisent plus ou n'utilisent pas de filtres.
Etape réalisée.

- Les filtres FIR (codecs VLC, VLR et VLC 8) sont appliqués dans le domaine de Fourier (convolutions rapides).
Etape réalisée.

- Codecs VLC 3D 48 et VLC HQ 3D 48 (codecs audio 3D):
Codecs compatibles avec l'audio 3D. Fréquences d'échantillonnage de 48 kHz.
Durant les restitutions sonores, avant la décompression, des filtres HRTF (Fonction de Transfert Relative à la Tête, Head-Related Transfer Function en Anglais) sont appliqués aux canaux dans le domaine de Fourier (opérations très rapides), pour un son positionnel 3D de grande qualité.
Les Filtres HRTF sont chargés au démarrage et peuvent être génériques ou personnalisés.
Les codecs VLC ne supportent qu'un seul canal pour l'instant.
Etape réalisée.
Plus d'Informations

- Codec VLC 8: Filtre FIR utilisé par défaut. Plus grands points, bandes les plus énergétiques et presque même qualité que VLC 16.
Etape réalisée. A publier (V7).

- Codecs VLC et VLR:
   - Augmentation de la qualité.
   - Fréquence d'échantillonnage externe de 16 kHz et Fréquence d'échantillonnage interne de 8 kHz. Recouvrement partiel interne: 33%.
   - Possibilité d'utiliser un générateur de ton au lieu de iFFT (inverse FFT) lors de la décompression.
Etape réalisée. A publier (V7).

- Générateur de ton:
L'utilisation d'un générateur de ton lors de la décompression permet de contrôler très finement les fréquences (double précision), comme les magnitudes et les phases.
Les tons peuvent être générés en parallèle, donc la génération est compatible avec la programmation GPU.
Le contrôle très fin des fréquences permet de faire des décalages de fréquence (frequency shifts en Anglais) ou des décalages de hauteur (pitch shifts en Anglais) en temps réel avec très peu d'opérations supplémentaires.
Cette puissante fonctionnalité pourra être utilisée notamment en cas de pertes auditives profondes dans certaines zones de fréquence, lors de communications vocales.
Etape réalisée. A publier (V7).

- Codecs PCM non compressés:
Les utilitaires supportent les codecs PCM non compressés (pcm8, pcm16, pcm32 et pcm48, pour les fréquences d'échantillonnage de 8, 16, 32 et 48 kHz).
Pour les traitements, les transformations FFT et inverse FFT sont effectuées côté décodeur.
Etape réalisée. A publier (V7).

- Taux de bits par défaut du codec VLC HQ 48:
Le taux de bits par défaut pour le codec VLC HQ 48 passe de 64 Kbps à 96 Kbps.
Augmentation sensible de la qualité de ce codec par une augmentation de la précision des magnitudes et des phases.
Etape réalisée. A publier (V7).

- Décalages de Fréquence:
Contrôle des fréquences sur mesure (tous les codecs sauf les codecs audio 3D):
Fichier texte XML permettant de définir des paramètres personnalisés pour chaque plage de fréquences qu'on souhaite contrôler.
Plus d'Informations
Etape à finir.

- Décalages de Hauteur:
Contrôle des fréquences sur mesure (tous les codecs sauf les codecs audio 3D):
Fichier texte XML permettant de définir des paramètres personnalisés pour chaque plage de fréquences qu'on souhaite contrôler.
Plus d'Informations
Etape à finir.

- Tous les codecs sauf les codecs avec décalages de fréquence activés:
Possibilité de charger des filtres FIR personnalisés pour tous les codecs et toutes les fréquences d'échantillonnage.
Ceci est utile pour des sorties audio personnalisées et des corrections auditives. Les filtres sont générés à partir de fichiers texte XML contenant la sensibilité relative de chaque oreille à différentes fréquences (comme les données d'audiogramme).
Pour les développeurs, les filtres FIR pourront être changés dynamiquement via l'appel d'une fonction PJSIP (pjmedia_codec_modify).
Plus d'Informations
Etape à réaliser.

- Codecs VLC 3D 48 et VLC HQ 3D 48 stéréo, multicanaux et dynamiques:
Les Filtres HRTF seront appliqués à tous les canaux de sortie, en particulier aux canaux gauche et droit avec les sorties stéréo.
Pour les développeurs, les filtres HRTF pourront être changés dynamiquement via l'appel d'une fonction PJSIP (pjmedia_codec_modify).
Etape à réaliser.

- Support du processeur graphique (GPU, Graphics Processing Unit en Anglais) pour plus d'efficacité et moins de consommation d'énergie (FFT, filtres FIR, tris, bandes de l'arrière plan, générateurs de ton).
Nous allons utiliser OpenGL et les Shaders de Calculs (OpenGL 4.3 et OpenGL ES 3.1) et/ou un SDK équivalent.
Etape à réaliser.

- Applications pour montres connectées ou smartwatches et bracelets connectés (Android Wear, ...).
- Applications pour smartphones (Android, iOS, Windows Phone).
Etape à réaliser.

- Module Asterisk (Serveur VoIP).
Etape à réaliser.

- Implémenter une compression additionnelle sans perte: codec VLR++, à moins de 1200 bits par seconde (bps). Nous allons utiliser la compression LZW, avec un dictionnaire construit avec des milliers de trames précédemment transmises, et un vidage complet des données à transmettre à la fin de chaque trame.
Plus d'Informations
Etape à terminer.

- La version codebook des codecs VLC et VLR, à moins de 1000 bps, avec la quantification vectorielle et la recheche du plus proche voisin (kNN).
Plus d'Informations
Etape à terminer.

Financement Participatif

EquityNet

Sujets:

Voix HD, Voix Haute Définition, Voix Large Bande
VoIP, Voix sur IP, Voice over IP en Anglais
VoLTE, Voix sur LTE, Voice over LTE en Anglais, 4G
SIP, Protocole d'Initialisation de Session, Session Initiation Protocol en Anglais
FFT, Transformation de Fourier Rapide, Fast Fourier Transform en Anglais
Crédit de Répétitions
Softphone
Faible consommation de batterie
Faible rayonnement électro-magnétique
Communications par satellite, communications satellitaires
GPU, GPGPU, Shaders de Calculs
Objets connectés
Montres connectées (smartwatches) et bracelets connectés
Quantification vectorielle, recheche du plus proche voisin (kNN)
Audio 3D, Audio Positionnel 3D
HRTF (Fonction de Transfert Relative à la Tête, Head-Related Transfer Function en Anglais)
Audio Réalité Virtuelle
Réseau de Microphones (Beamforming Microphone Array en Anglais)
Codec pour les Ultrasons
Big data, Mégadonnées, Données Massives
Intelligence Artificielle
Apprentissage Supervisé, Apprentissage non Supervisé
Apprentissage par Renforcement, Apprentissage Automatique
Apprentissage Profond (Deep Learning en Anglais)
Réseau de Neurones (Neural Network en Anglais)
Internet des Objets (IoT ou Internet of Things en Anglais)
Machine à Machine (M2M ou Machine to machine en Anglais)
OFDM (Orthogonal Frequency-Division Multiplexing en anglais)
PLC (Power-Line Communication en Anglais)
CPL (Courant Porteur en Ligne)

vlrPhone:

vlrPhone est une application basée sur PJSIP et des produits Open Source, qui a pour but de promouvoir, dans les futures versions, un nouveau codec (méthode de compression et décompression) pour l'audio et les ultrasons.
Ce codec est basé sur FFT (Fast Fourier Transform), les plus grands points et les bandes les plus énergétiques. Il peut aussi n'utiliser que les pics locaux.
Ce codec est caractérisé par son efficacité, sa simplicité et sa robustesse.
Il permettra d'avoir de faibles consommations de batterie (VLC, Very Low Consumption, bouton jaune) et des émissions des trames audio limitées au strict minimum, donc des rayonnements électro-magnétiqes minimisés (VLR, Very Low Radiation, bouton vert).
Il permettra d'effectuer, en temps réel, les décalages de fréquence, les décalages de hauteur et l'égalisation pour la correction des pertes auditives.
Il permettra aussi d'effectuer des communications ultrasonores locales ou en champ proche, donc sans aucune radiation électro-magnétique, avec ou sans décalages de fréquence.
On trouvera plus de détails Ici.
Si le codec n'est pas implémenté, l'application se comporte comme un softphone normal.
Si le correspondant n'utilise pas vlrPhone, l'application se comporte comme un softphone normal.

vlrFilter:

vlrPhone utilise un codec audio (méthode de compression et de décompression audio) de grande qualité, entièrement basé sur FFT (Transformation de Fourier Rapide, ou Fast Fourier Transform en Anglais).
A ce stade de développement, à partir de la version 7 des codecs, le projet fournit 3 utilitaires sur Windows pour tester les codecs audio (nommés VLC et VLR) ainsi que d'autres fonctionnalités:
   - test.exe: lit un fichier Wave en entrée, encode le fichier, décode le fichier puis créé un autre fichier Wave en sortie.
   - fshift.exe: permet en plus de tester les décalages de fréquence pour corriger les pertes auditives, et la réduction de bruit.
   - pshift.exe: permet en plus de tester les décalages de hauteur pour corriger les pertes auditives, les décalages de hauteur en général, et la réduction de bruit.
Le programme vlrFilter va reprendre et complèter les fonctionnalités de ces utilitaires, en y ajoutant un contrôle dynamique des paramètres par l'intermédiaire d'une télécommande.
Le programme pourra être lancé sans paramètre, ou avec un ou plusieurs paramètres. Les valeurs des paramètres manquants seront lues dans un fichier de configuration si elles y figurent, sinon des valeurs par défaut seront prises.
Les valeurs de ces paramètres pourront être testées et fixées en temps réel par l'utilisation d'une télécommande.
A noter qu'à ce jour, ces utilitaires travaillent avec les codecs VLC et VLR, et avec les codecs PCM. Le programme vlrFilter va prendre en compte aussi les données audio non compressées.
On trouvera plus de détails Ici.

vlrMemos:

vlrMemos est une application pour enregistrer des mémos vocaux ou audio et pour mesurer la qualité de la voix.
L'application pourra calculer et afficher en temps réel des paramètres acoustiques comme le LTAS (Spectre Moyen à Long Terme, Long-Term Average Spectrum en Anglais) et le HPR (Rapport de Puissance Hautes Fréquences, High-Frequency Power Ratio en Anglais).
Lors de la lecture des enregistrements, l'application pourra ajouter le calcul et l'affichage d'autres paramètres comme le Jitter, le Shimmer ou le HNR (Rapport Harmonique sur Bruit, Harmonic to Noise Ratio en Anglais).
Les paramètres avancés tels que le CPP (Pic de Proéminence Cepstral ou Cepstral Peak Prominence en Anglais) et le CPPS (Pic de Proéminence Cepstral Lissé ou Smoothed Cepstral Peak Prominence en Anglais), qui sont des mesures fiables de la dysphonie, seront également calculés et affichés. Enfin, les paramètres spectraux mesurant le ralentissement du spectre, la perte de complexité du signal ou la similarité entre plusieurs canaux seront calculés et affichés.
Durant les restitutions sonores, avant la décompression, des filtres FIR (Filtre à Réponse Impulsionnelle Finie, Finite Impulse Response en Anglais) générés à partir d'audiogrammes normalisés et non normalisés, seront appliqués aux canaux dans le domaine de Fourier (convolutions rapides), pour des sorties audio hautement optimisées et sur mesure.
L'application sera disponible pour les ordinateurs, les tablettes, les smartphones, les montres et les objets connectés.
Elle pourra utiliser un codec audio (méthode de compression et de décompression audio) très rapide, de grande qualité, basé sur FFT (Transformation de Fourier Rapide, Fast Fourier Transform en Anglais) et pouvant être accéléré avec le support GPU (support du processeur graphique, Graphics Processing Unit en Anglais), pour une consommation très faible de batterie.
Ce codec est quasi sans perte en énergie: l'énergie d'une trame non compressée est presque aussi égale à celle de la trame compressée.
Ce codec peut fournir l'audio en 3D. Durant les restitutions sonores, avant la décompression, des filtres HRTF (Fonction de Transfert Relative à la Tête, Head-Related Transfer Function en Anglais) génériques ou personnalisés sont appliqués aux canaux dans le domaine de Fourier (opérations très rapides), pour un son positionnel 3D de grande qualité.
L'application va être compatible avec les sons du corps, les signaux physiologiques et les données de variabilité.
En utilisant cette application, on pourra:
- Détecter des anomales dans la voix.
- Suivre l'efficacité d'un traitement de la voix.
- Suivre les progrès réalisés lors d'un entraînement de la voix ou lors d'une rééducation vocale.
- Enregistrer et analyser les sons de battements de coeur et les sons pulmonaires.
- Enregistrer et analyser les signaux physiologiques.
- En option, effectuer la sonification des signaux physiologiques et des données de variabilité.
- En option, envoyer les valeurs moyennes de certains paramètres sous forme de codes d'intensité et / ou de couleur (notifications lumineuses) à des ampoules connectées ou à des ponts d'ampoules connectées.
- En option, afficher les courbes de valeurs pour les paramètres acoustiques sélectionnés.
- En option, calculer et afficher la variabilité de la fréquence cardiaque (VFC).
On trouvera plus de détails Ici.

TéléSurveillance Médicale:

Dans le domaine de la télésurveillance médicale, le codec VLC HQ 16 avec le support du multicanal (VLC HQM 16) peut servir à:
- Enregistrer ou transmettre les bruits du corps (très basses fréquences).
- Enregistrer ou transmettre des données telles que l'ECG (ElectroCardioGramme), l'EEG (ElectroEncéphaloGramme) ou l'EMG (ElectroMyoGramme).
- Enregistrer ou transmettre les données des formes d'ondes de la pression sanguine artérielle (ABP ou Arterial Blood Pressure en Anglais) et les données des formes d'ondes de la PhotoPléthysmoGraphie (PhotoPléthysmoGramme, PhotoPlethysmoGram ou PPG en Anglais, à partir de l'oxymétrie pulsée appelée aussi l'oxymétrie de pouls).
- Enregistrer ou transmettre les données des formes d'ondes de la glycémie (taux de glucose ou taux de sucre dans le sang), dans la surveillance de la glycémie en continu (Continuous Glucose Monitoring ou CGM en Anglais).
- En option, calculer et afficher la variabilité de la fréquence cardiaque (VFC) et la variabilité de la pression artérielle (VPA).
On trouvera plus de détails Ici.

Big Data:

Le Big data (ou Mégadonnées, ou encore Données Massives) est un des thèmes les plus chauds en ce moment en informatique.
Pour les données qui peuvent être compressées avec pertes, les codecs VLC et VLR sont compatibles avec les algorithmes du Big Data comme MapReduce, les systèmes de stockage comme NoSQL, et s'intègrent parfaitement bien dans des architectures comme Hadoop ou Spark.
Plus d'Informations

IoT / M2M:

Avec les codecs VLC et VLR (méthodes de compression et décompression), on peut rendre les objets connectés plus intelligents, plus reconnaissables et plus prévisibles.
La nécessité de compresser au niveau des objets n'est pas évidente, surtout si les débits sont faibles. Mais au niveau des machines qui enregistrent les données de quelques objets à plusieurs milliers d'objets, le problème de compression peut se poser, surtout sur de longues périodes.
Pour l'IoT (Internet des Objets, ou Internet of Things en Anglais) et la M2M (Communication de Machine à Machine, ou Machine to Machine en Anglais), au niveau des machines, les codecs VLC et VLR peuvent fournir des caractéristiques (features en Anglais) très importantes en intelligence artificielle et en apprentissage profond (deep learning en Anglais) pour la détection des anomalies, la reconnaissance des objets et la prédiction des comportements.
Plus d'Informations

OFDM / CPL:

L'OFDM (Orthogonal Frequency-Division Multiplexing en Anglais) est un procédé de codage de signaux numériques par répartition des données sur des fréquences différentes sous forme de multiples sous-porteuses. Il utilise FFT (Fast Fourier Transform) et est couramment utilisé dans la plupart des communications haut débit. On peut citer: la télédiffusion numérique terrestre (TNT, normes DVB-T et DVB-H), la radiodiffusion numérique terrestre (norme DAB), l'ADSL, les courants porteurs en ligne (CPL, norme HomePlug, CPL G3 et CPL Prime), les réseaux locaux sans fil (par exemple la norme 802.11a, la norme 802.11g ou WiFi ou encore la norme 802.16 ou WiMAX), et les réseaux mobiles de nouvelle génération (LTE, 4G).
Avec l'OFDM, on transporte tous les types de données, y compris les données issus des codecs VLC. Néanmoins, en utilisant les propriétés de ces codecs (notamment l'arrière plan) et les propriétés des types de données (notamment le nombre de trames par seconde), on peut augmenter de manière significative le nombre de sous-porteuses ainsi que la portée des communications, et diminuer la consommation d'énergie. Ce document porte uniquement sur les communications par courants porteurs en ligne, utilisées notamment avec les réseaux électriques intelligents (Smart Grids), avec l'Internet de l'Energie, avec les villes intelligentes (Smart Cities), ainsi qu'avec les voitures électriques.
Plus d'Informations

Réseaux de Neurones:

Le codec VLR a été mis au point non seulement pour compresser très fortement les données audio, mais aussi pour minimiser la fréquence d'émission des trames audio.
On peut l'utiliser pour réduire considérablement les latences dans les communications vocales bidirectionnelles.
Enfin, on peut envisager de l'utiliser avec les réseaux de neurones, notamment avec l'apprentissage profond par renforcement.
Des systèmes d'alertes peuvent être mis en place pour la surveillance des signes vitaux.
On peut utiliser les données provenant de l'Internet des Objets (IoT, ou Internet of Things en Anglais).
Les besoins de stockages sont diminués, les calculs sont simplifiés, les prédictions et les aides à la décision sont facilitées.
Plus d'Informations

Algorithmes:

Voir les algorithmes

VLR++ et Compression Additionnelle sans Perte

Version Codebook des Codecs

Version Codebook Unilatérale des Codecs

VLB et Audio Haute Qualité

Prise en Compte de L'Emotion

Prise en Compte d'un Espace dit Intermédiaire

Prise en Compte des Chaînes de Blocs

Support GPU:

Le support des GPU permettra d'accélérer encore plus les calculs avec moins de consommation d'énergie ou de batterie.
Liens utiles:

Français:
   - GPGPU
   - CUDA
   - OpenCL

Anglais:

- GPGPU    - Shaders de Calculs    - CUDA    - FFT et GPU (cuFFT)    - FFT et GPU (clFFT)    - FFT et GPU (Shaders de Calculs)    - ACELP (AMR,G729,...) et GPU	- OpenCL (1)    - OpenCL (2)    - OpenCL (3)    - Mali-OpenCL    - GPU-FS-kNN    - kNN-CUDA

Nos codecs sont basés sur FFT et peuvent être accélérés avec le support GPU
comme ces animations WebGL:
   - Lignes (10000)
   - Particules 1 (500000)
   - Particules 2 (100000)
   - Particules 3
   - Shaders
   - Monstres (1000)
Plus d'exemples

Investisseurs:

Description du Projet vlrPhone

Description du Projet vlrFilter

Description du Projet vlrMemos

Contact

Financement Participatif

EquityNet

Vidéos:

vlrPhone


vlrFilter


vlrMemos

Informations Technologie:

#vlrphone Tweets

Screenshots:

Windows

Android

Téléchargements:

Windows:
V7: Bientôt Disponible.
V6
Fichier ZIP - Windows

Android:
Projet


iPhone / iPad:
Bientôt Disponible

Sources:

V7: Bientôt Disponible.
V6
Téléchargement - PJSIP - vlrPhone - Windows

V6
Téléchargement - vlrPhone - Windows

Projet
Téléchargement - vlrPhone - Android

Liens:

PJSIP

GreenJ

CSipSimple