Hub documentation
Telemetría
Telemetría
A partir de la versión 1.7.0, el paquete de Python hf_xet y el crate de Rust hf-xet envían un informe breve al Hub después de cada carga y descarga. Utilizamos estos informes para ver con qué frecuencia fallan las transferencias y qué tan rápidas son entre las versiones de hf_xet, los sistemas operativos y las redes, de modo que podamos encontrar y corregir problemas.
Git Xet 0.2.1 y versiones anteriores no envían telemetría.
Lo que se recopila
Cada informe describe una transferencia. Una carga de varios archivos en un solo commit es una transferencia, al igual que una descarga de varios archivos a la vez.
| Datos | Detalles |
|---|---|
| Tipo de transferencia y resultado | Subir o descargar, y si tuvo éxito, falló o se canceló. En caso de fallos, una categoría de error general como network, timeout o server_error. |
| Tiempo | Cuánto tiempo duró la transferencia. En el caso de las cargas, también el tiempo empleado en dividir y subir los datos y el tiempo empleado en finalizar el commit. |
| Tamaño | Número de archivos, tamaño total de los archivos y número de bytes enviados a través de la red. |
| Deduplicación | Para las cargas, cuántos datos ya estaban almacenados en el Hub y se omitieron, cuántos eran nuevos y qué tan bien se comprimió el nuevo dato. |
| Ruta de carga | A partir de hf_xet 1.8.0, para las cargas, cuántos bloques se enviaron directamente a S3 y cuántos a través del servicio de almacenamiento Xet, junto con su tamaño y tiempo de carga. También cuántas cargas directas se reenviaron al servicio de almacenamiento Xet, y cuántas de ellas fueron porque no se pudo acceder a S3. |
| Velocidad | Throughput medio y el mayor número de solicitudes paralelas utilizadas. |
| Cliente | La versión de hf_xet, el sistema operativo, la arquitectura de la CPU, el número de CPUs y la cadena de user agent. Es el mismo user agent que huggingface_hub envía con cada solicitud al Hub, con el nombre y la versión de la biblioteca que realiza la llamada (como transformers) y las versiones de huggingface_hub, Python y PyTorch. |
| IDs | Un ID aleatorio para la transferencia, un ID aleatorio para la sesión de hf_xet y el nombre del host del servidor de almacenamiento Xet que gestionó la transferencia. |
Los informes no incluyen nombres de archivos, rutas de archivos, contenido de archivos, hashes de archivos, nombres de repositorios ni tu nombre de usuario.
Los informes se envían al servidor de almacenamiento Xet con el mismo token de acceso que la transferencia. Cuando el servidor almacena un informe, añade tu dirección IP, la cuenta de Hub a la que pertenece el token (o “anónimo” si no has iniciado sesión), el repositorio para el que se emitió el token y si el token permite acceso de lectura o escritura.
Cuando se envían los informes
hf_xet envía un informe cuando una carga o descarga finaliza, independientemente de si tuvo éxito o no. Una transferencia que dura más de 5 minutos también envía un informe de progreso cada 5 minutos hasta que finalice.
Los informes son de aproximadamente 1 KB. Se envían junto con la transferencia y no la ralentizan. Si un informe no se puede enviar, se descarta y no se reintenta. Una vez que la transferencia está completa, hf_xet espera hasta 2 segundos para que el último informe se envíe, de modo que no se pierda si tu programa termina de inmediato.
Excluirse
La telemetría está activada de forma predeterminada. Para desactivarla, establezca HF_HUB_DISABLE_TELEMETRY=1:
export HF_HUB_DISABLE_TELEMETRY=1Esta es la misma variable que desactiva la telemetría en huggingface_hub y en las demás bibliotecas de Python de Hugging Face. Consulte HF_HUB_DISABLE_TELEMETRY en la documentación de huggingface_hub.
hf_xet también desactiva la telemetría cuando DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE o TRANSFORMERS_OFFLINE se establece en 1, true, yes o on.
Para desactivar la telemetría solo para hf_xet, establece HF_XET_TELEMETRY_ENABLED=0.
| Variable de entorno | Predeterminado | Descripción |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | Establezca 1 para desactivar la telemetría en hf_xet y las demás bibliotecas de Python de Hugging Face. |
HF_XET_TELEMETRY_ENABLED | true | Establezca 0 para desactivar solo la telemetría de hf_xet. Establecerlo en 1 no anula las variables de exclusión anteriores. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | Duración de la transferencia antes de que comience a enviar informes de progreso. 0 desactiva los informes de progreso. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | Tiempo entre los informes de progreso. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | Tiempo que hf_xet espera el último informe después de que termina una transferencia. 0 significa que no espera. |