Bu model 2024-08-30 tarihinde HF papers'ta yayımlandı ve 2025-08-15 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

X-Codec

Genel Bakış

X-Codec modeli, Zhen Ye, Peiwen Sun, Jiahe Lei, Hongzhan Lin, Xu Tan, Zheqi Dai, Qiuqiang Kong, Jianyi Chen, Jiahao Pan, Qifeng Liu, Yike Guo ve Wei Xue tarafından Codec Does Matter: Exploring the Semantic Shortcoming of Codec for Audio Language Model makalesinde önerilmiştir.

X-Codec modeli, kendinden denetimli modellerden (ör. HuBERT) gelen semantik bilgileri geleneksel akustik bilgilerle birleştiren sinirsel bir ses kodlayıcısıdır. Bu sayede:

• Müzik devamı: Müziksel anlambilimin daha iyi modellenmesi, daha tutarlı devamlar sağlar.
• Ses Sentezi: X-Codec, metin istemleri ile üretilen ses arasındaki anlamsal uyumu yakalar.
• Anlama duyarlı ses tokenizasyonu: X-Codec, YuE sözlerden şarkı üretim modelinde ses tokenizatörü olarak kullanılır.

Makalenin özeti şunları belirtmektedir:

Ses üretimi alanındaki son gelişmeler, Büyük Dil Modellerinin (LLM) yetenekleri tarafından önemli ölçüde desteklenmiştir. Ses LLM'leri üzerine yapılan mevcut araştırmalar, ağırlıklı olarak ses dil modellerinin mimarisini ve ölçeğini iyileştirmeye, daha büyük veri kümelerinden yararlanmaya odaklanmıştır ve genel olarak EnCodec gibi akustik codec'ler ses tokenizasyonu için kullanılmaktadır. Ancak bu codec'ler başlangıçta ses sıkıştırma için tasarlandığından, ses LLM bağlamında suboptimal performansa yol açabilir. Araştırmamız, mevcut ses LLM codec'lerinin eksikliklerini, özellikle üretilen seslerde semantik bütünlüğü korumadaki zorluklarını ele almayı hedeflemektedir. Örneğin, akustik token üretimini metin transkripsiyonlarına koşullandıran VALL-E gibi mevcut yöntemler, akustik tokenlerin semantik yanlış yorumlanması nedeniyle içerik doğruluğu sorunları ve yüksek kelime hata oranlarına (WER) maruz kalır; bu durum kelime atlama ve hatalara neden olur. Bu sorunları aşmak için X-Codec adlı basit ama etkili bir yaklaşım öneriyoruz. X-Codec, Residual Vector Quantization (RVQ) aşamasından önce önceden eğitilmiş bir semantik kodlayıcıdan semantik özellikleri dahil eder ve RVQ'den sonra bir semantik yeniden yapılandırma kaybı (loss) tanıtır. Codec'in semantik yeteneğini artırarak X-Codec, konuşma sentez görevlerinde WER'i önemli ölçüde azaltır ve bu faydaları müzik ve ses üretimi gibi konuşma dışı uygulamalara da taşır. Metinden konuşmaya, müzik devamı ve metinden sese görevlerindeki deneyimlerimiz, semantik bilginin entegrasyonunun ses üretiminde dil modellerinin genel performansını önemli ölçüde iyileştirdiğini göstermektedir.

Model kartları:

• xcodec-hubert-librispeech (konuşma için)
• xcodec-wavlm-mls (konuşma için)
• için xcodec-wavlm-more-data
• xcodec-hubert-general (genel ses için)
• xcodec-hubert-general-balanced (genel ses için)

Bu model Manal El Aidouni tarafından katkıda bulunmuştur. Orijinal kod burada ve beş farklı modelin orijinal denetim noktaları burada bulunabilir.

Demolar bu sayfada bulunabilir.

Kullanım örneği

Bu modelle bir ses dosyasını kodlama ve çözmeye dair hızlı bir örnek:

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, XcodecModel


dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

# load model and feature extractor
model_id = "hf-audio/xcodec-hubert-librispeech"
model = XcodecModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

# load audio sample
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

Orijinal ve yeniden oluşturulan sesi dinlemek için aşağıdaki kod parçasını çalıştırın ve ardından karşılaştırma yapmak için oluşturulan original.wav ve reconstruction.wav dosyalarını müzik çalarınızda açın.

import soundfile as sf


original = audio_sample
reconstruction = audio_values[0].cpu().detach().numpy()
sampling_rate = feature_extractor.sampling_rate

sf.write("original.wav", original, sampling_rate)
sf.write("reconstruction.wav", reconstruction.T, sampling_rate)

XcodecConfig

>>> from transformers import XcodecModel, XcodecConfig

>>> # Initializing configuration
>>> configuration = XcodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = XcodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

XcodecModel

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, XcodecModel

>>> model_id = "hf-audio/xcodec-hubert-librispeech"
>>> model = XcodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values