Un usage très gourmand ne doit pas ralentir tous les autres : c’est l’un des défis du stockage derrière les services d’OpenAI. Dans une publication technique du 23 octobre, l’entreprise détaille comment Habitat répartit et encadre cette charge. Il s’agit du second volet d’un dossier commencé en septembre, sans nouvelle option à activer dans ChatGPT.
Le titre de la série mentionne un milliard d’utilisateurs. Ce chiffre figurait déjà dans le premier volet, daté du 11 septembre : la nouveauté porte ici sur les mécanismes techniques exposés, pas sur l’annonce d’un seuil franchi le 23 octobre.
Habitat limite les usages qui pourraient ralentir les autres
La nouvelle publication décrit une architecture reposant notamment sur Azure Cosmos DB, avec des mécanismes de limitation et de qualité de service. L’objectif est d’isoler les effets des usages les plus gourmands afin qu’ils ne dégradent pas de la même façon les autres.
On peut comparer le problème à une file de traitement commune : si une opération très volumineuse consomme toute la capacité disponible, les petites opérations risquent d’attendre elles aussi. Réserver ou limiter une partie des ressources permet d’éviter que le volume demandé par un acteur dicte seul le délai de tous les autres.
OpenAI détaille également le rôle de la mise en cache et du placement des données, avec des répliques plus petites pour certains usages sensibles au délai. La proximité des données est un levier différent de la puissance du modèle : un système peut perdre du temps à chercher des informations avant même de générer une réponse.
Une requête de stockage n’est pas une question posée à ChatGPT
Dans le premier volet de septembre, OpenAI décrivait déjà le changement d’échelle de son stockage. Les volumes de requêtes de stockage mentionnés dans ce contexte désignent des opérations sur l’infrastructure. Ils ne doivent pas être présentés comme autant de conversations ou de réponses produites chaque seconde.
Une seule action visible de l’utilisateur peut nécessiter plusieurs lectures ou écritures en arrière-plan. Inversement, le délai de génération dépend aussi de calculs qui ne se résument pas au stockage. Confondre ces niveaux donnerait une image fausse de la charge et des performances du service.
Ces choix techniques aident à comprendre une partie du délai perçu dans un assistant : la lecture des données et la génération de la réponse sont deux étapes différentes. Les améliorations du stockage peuvent agir sur la première. Elles ne donnent donc pas, à elles seules, une mesure de la rapidité complète de ChatGPT dans chaque conversation.
Eric Thomas suit l’actualité de Windows, des logiciels, de la cybersécurité grand public et des outils web. Il s’intéresse aux mises à jour système, aux nouveautés informatiques et aux solutions pratiques qui améliorent l’expérience numérique au quotidien.
