Les matheux sont dans la place - pt=prout

[Enyss]

Mais pourquoi tu veux tout agréger en une seule variable qui ne correspondrait à rien? Il ne serrait pas plus logique d'estimer séparément chaque paramètre?

[Janer]

Quels paramètres? Justement, c'est tout ce qui n'est pas un paramètre clair.

Je vais essayer de clarifier autrement.

Alors imaginons que j'essaye d'estimer le taux d'utilisation Y à un instant t. Supposons que ce soit avec une simple régression multilinéaire.

J'ai comme paramètres :
La météo
Le temps (le jour, l'heure, le mois, la semaine etc...)
La densité de population

Si je fais une estimation pour chaque station, j'aurais des coeffs et une constante différente, me ce sera plus proche que si je le fais pour toutes les stations. Et la constante prendra en compte des trucs que j'ai pas pu mesurer (l'emplacement, le nombre de commerce aux alentours, la présence de monuments etc...). Des paramètres essentiellments géographiques.
Mais je veux faire une estimation globale, en utilsant tous les données et un unique modèle pur toutes les stations, pour les raisons que j'ai évoqué précedemment, en rajoutant une variable imaginaire, qui me permet de tricher, propre à chaque station, pour rendre le modèle "fit" à chaque station.

Dans le cas multilinéaire ce serait rajouter au paramètre de chaque station un vecteur v de taille n, n étant le nombre de stations, qui prend 0 partout et 1 à l'indice qui correspond à la station, qui rendrait le modèle plus fit pour chaque station. Mais problème : c'est totalement discret, ne marche pas sur les stations où je n'ai pas de données etc...

Du coup je pars de l'hypothèse que ces considérations géographiques évoluent de façon continu avec la position et j'ai envie de trouver un moyen d'intégrer ça.

Après je pars pas sur un modèle multilinéaire tout bête.

- - - Mise à jour - - -

Je reformule un petit coup avec un exemple
Y = AX

A que je veux estimer.

X mes entrées, un vecteur qui comprend les paramètres que j'ai bien (météo, population etc...) sans ambiguïté, puis n indices, un pour chaque station. C'est artificielle mais ça marcherait si je ne voulais pas considérer d'autres stations.

[Enyss]

Bah tu fit ton modèle sur les stations pour lesquelles tu as des données, ça te donnes le paramètre magique pour chaque station ou tu as des données, paramètre magique que tu interpoles ensuite sur les stations ou tu n'a pas de données

[Janer]

Bah tu fit ton modèle sur les stations pour lesquelles tu as des données, ça te donnes le paramètre magique pour chaque station ou tu as des données, paramètre magique que tu interpoles ensuite sur les stations ou tu n'a pas de données

Héhé sauf que j'utilise pas un modèle multilinéaire.

Par exemple, si j'utilise Random Forest je fais quoi? C'est un peu une black box.

EN fait je veux voir si il existe une technique pour rajouter un paramètre artificiel qui peut être modifié par l'algorithme. En temps normal si je mets un paramètre météo, l'algo va pas y toucher, c'est la donnée que je lui donne, là je veux lui donner un paramètre, un degré de liberté supplémentaire pour qu'il puisse en faire ce qu'il veut pour fitter un peu plus, même artificiellement. Par exemple si je faisais un réseau RBF, je rajouterais un noeud qui ne correspond à rien, qui rajouterai un coeff sur lequel l'algo peut jouer.

Désolé si je dis de la merde etc... je suis un peu débutant encore.

[Aghora]

Tu as réfléchi à un modèle où tu établirais des lois de proba pour tes observations et des lois a priori pour tes paramètres ?

Peut-être aussi que tu complexifie trop ton modèle, mais si tu tiens vraiment à faire du non-linéaire, essaies de chercher dans les publis (ou des cours) comment résoudre des problèmes non-linéaires. En général on fait de l'optimisation (moindres carrés, etc).

[Janer]

Question un peu technique de python (je devrais me créer un compte sur stack overflow héhé) :

Je manipule énormément de données et ça me pose des problème de RAM, même avec la mémoire virtuelle, j'ai pas envie de rentrer dans une grosse machinerie avec des méthodes genre HDF ou une base de donnée SQL car je pense que ce n'est pas nécessaire.

En fait mon tableau de donnée est gigantesque (2 000 000 de lignes et 1000 colonnes) mais il y a beaucoup de redondance, entre deux lignes, les attributs dans les colonnes qui changent sont souvent peu nombreux. Par exemple en général il y a des dizaines de milliers de lignes qui concernent une même station et donc ont plus de 1000 attributs qui représentent des données spatiales qui sont identitiques, seul la date de la mesure et quelques autres données vont différer. J'ai donc en rentrant les données dans des classes pu gagner beaucoup d'espace (genre une classe qui représente la station et les nombreuses données "statiques", une sous classe qui représente la mesure et ses changements etc...)

Le problème c'est que les outils statistiques demandent en entrée non pas des objets mais des tableaux 2D. Mon idée, je pense que c'est possible c'est d'interfacer mon objet qui économise la mémoire avec un tableau classique. En gros un moyen de faire une interface qu'on va appeler du genre data[i][j] et pouvoir expliquer comment cette requête va aller chercher les informations dans mes objets... Et interfacer ça tranquillement avec les bibliothèques de data habituel.

[Wobak]

2M lignes, 1000 colonnes, mais une BDD Pas nécessaire ? wut ?

[Janer]

2M lignes, 1000 colonnes, mais une BDD Pas nécessaire ? wut ?

Cela donne ça si je représente les données en tableau normal.

En vrai il y a 45 objects avec 1000 attributs. Donc 45 lignes et 1000 colonnes.

Et pour chacun de ces objets il y a 3-4 attributs qui ont évolué sur la période de mesure, donc 3-4 colonnes et 2 000 000 de lignes.

[Wobak]

Je dirais qu'on s'en fout : si le résultat final fait 2M lignes, quelque soit la variation, tu ferais mieux de le stocker dans un outil adapté.

Si quelqu'un te disait qu'il utilise un fichier excel pour 2M de lignes, tu te DOIS de lui répondre que ce n'est pas fait pour en fait :D

[Janer]

Je dirais qu'on s'en fout : si le résultat final fait 2M lignes, quelque soit la variation, tu ferais mieux de le stocker dans un outil adapté.

Si quelqu'un te disait qu'il utilise un fichier excel pour 2M de lignes, tu te DOIS de lui répondre que ce n'est pas fait pour en fait :D

Mais même en terme de stockage ça me ferait chier de générer un fichier de telle taille. Cela fait autant de lignes et de colonnes "virtuellement", mais en fait la quantité de donnée réelle, l'information réelle est beaucoup plus petite.

Je vais poser mon problème autrement : imagine que j'ai une matrice très creuse, mais genre super creuse, avec des zéros partout sauf pour 1/1000 des valeurs et que je sais où sont les 0 (du genre je pourrais faire une faction qui avec i la ligne et j la colonne déterminerait si c'est un 0 ou si il faut vraiment regarder la valeur). Un module de statistique standard me demanderait un bête tableau 2d et je serais obligé de générer un énorme fichier 1000 fois trop grand pour ça, alors qu'il est plein de zéros! Du coup j'aimerais savoir s'il était possible de créer un "faux tableau" pour l'interfacer avec les modules standards, qui quand on appelle data[i][j] vérifie d'abord si c'est pas un zéro car ça couvre 99,99% des cas, puis si ce n'est pas le cas va chercher dans un container plus petit la donnée voulue!

En fait je trouve ça bourrin de construire une base de donnée quand l'information réelle est pas si grosse.

[Janer]

Un problème similaire serait si les données sont générées procéduralement. Je peux pour tout i et tout j obtenir une certaine valeur et je voudrais pouvoir interfacer ce mapping avec une fonction d'un module statistique qui prend en entrée un bête tableau 2d, sans avoir à pré-générer le tableau à l'avance qui peut être gigantesque! Je ne vois pas pourquoi ce ne serait pas possible, après tout c'est tout con un tableau, c'est un truc qui à (i,j) associe une valeur. Evidemment mon tableau virtuel ou procédural sera pas aussi efficace car qu'un vrai tableau qui map des valeurs stockées sur la mémoire de l'ordinateur, mais ça c'est mon problème de rendre ma fonction rapide.

[Laya]

Tu as besoin de faire rentrer toute les données d'un coup dans ton outils statistique?
Sinon tu peux simplement fragmenter tes données.

[Møgluglu]

Une solution existe. Elle n'est pas forcément unique.


jelb : tu auras peut-être plus de réponses sur le topic des strings, chaînes, cuir et compagnie.

[Anonyme112]

https://lejournal.cnrs.fr/articles/l...-mathematiques

Les mathématiciens, ces assistés

[ducon]

J’aime le nom du solveur.

[ducon]

je bloque sur un calcul de proba tout con.
je cherche à déterminer les probas, en pourcentage, d'obtenir un triple six selon le nombre de dés lancés.

Alors à trois, dés, c'est simple.
1/216 * 100 = 0,46%

Mais lorsqu'on rajoute un dé, puis un autre, puis un autre, comment doit-on ajuster la formule ?

C’est un calcul de loi binomiale, le nombre X de six dans un lancer de n dés suit une loi binomiale de paramètres (n;1/6) donc p(X=3)=C_n^3*(1/6)^3*(5/6)^(n−3) où C_n^3 est le coefficient binomial qui vaut n!/3!/(n−3)!.
Bien entendu, si n<3, les dits coefficients binomiaux sont en fait nuls.

[SeanRon]

Merci. Je pense que j'ai pigé.
Je mets en pratique et je reviens faire un compte-rendu

[Gafda]

Dites, petite question, est-ce que vous avez des ouvrages/références utiles sur les automates cellulaires ?

Parce que je galère à trouver les bonnes règles

[ducon]

Installe Golly ?
Sinon, il me semble que Conway a pondu des trucs.

[Gafda]

Je vais aller jeter un oeil du côté de chez Conway. Merci

[Møgluglu]

Un cours complet qui fait mal au yeux :
http://users.utu.fi/jkari/ca/
Plein de refs plus ou moins en vrac avec du Wolfram-bashing :
http://bactra.org/notebooks/cellular-automata.html

[Anonyme20240202]

Yo les canards matheux. Je suis en train de me prendre la tête sur un problème que je me suis trouvé tout seul.

Je vais vous présenter ça sous la forme de petits "jeux"/questions. Pour les gros matheux vous pouvez sauter directement tout à la fin.

J'y réfléchis trop et du coup je bloque. Étant donné la nature du problème j'ai l'intuition que ça se rapproche d'un truc connu, ça ressemble pas mal à de la théorie des graphes/des listes chaînées en programmation.

C'est assez abstrait mais vraiment très simple à comprendre donc n'importe qui sur le topic pourra peut-être trouver des idées. En revanche c'est un chouillet long à expliquer (rien de bien méchant).

Même si vous ni connaissez absolument rien en maths vous pourrez au moins faire les questions que je pose et ça devrait au moins vous amuser autant que des mots fléchés

Voilà le problème, je fais des dessins et des exemples pour expliquer:

On considère les graphes qui respectent la structure suivante,



- On a T étages (de 1 à T): 1, 2, 3, 4 ... T-1, T (dans l'exemple il y a 7 étages)
- Chaque noeud occupe 1 étage, 1 seul noeud par étage. Donc T noeuds en tout. (7 noeuds dans l'exemple)
- Il y a 2 profondeurs, la profondeur 1 et la profondeur 2.
- Un noeud de profondeur 1 peut avoir 0 ou 1 noeud fils dans la profondeur 2, à l'étage d'en dessous. (en respectant 1 seul noeud par étage)
- Un noeud de profondeur 2 peut avoir 0 ou 1 fils dans la profondeur 2, à l'étage d'en dessous. (en respectant 1 seul noeud par étage).

- L'entrée est toujours le premier noeud de profondeur 1, il faut obligatoirement une entrée.
- Un noeud sans fils est une sortie.

Donc pour simplifier il y a une notation pour les graphes, pas obligé de les dessiner.

Le graphe de mon exemple et le graphe de taille T = 7, avec donc 7 noeuds. Et on peut le noter (4, 3).

4 représente la première "grappe" et 3 représente la deuxième grappe. On a donc 4+3 = 7. Et l'entrée se trouve en 4.

Donc (4,3) est différent du graphe (3,4). Dans (3,4) l'entrée se trouve en 3.

-----------------

Maintenant on arrive au coeur du sujet, on gardera tout le temps l'exemple du graphe avec 7 noeud.

- Un chemin est une succession de noeuds, la longueur d'un chemin est le nombre de noeuds qu'il contient
- On s'intéresse uniquement aux chemins de l'entrée vers une sortie.

Donc dans mon exemple on a 2 chemins de longueur 4.

Celui qui rentre par le noeud de l'étage 4 puis 3, 2, 1 (4 noeuds)
Celui qui rentre par le noeud de l'étage 4 puis 5, 6, 7 (4 noeuds)

-----------------

Quelques questions avec les réponses pour vous mettre dans le bain:

1) Considérons le graphe de taille T=2 (donc 2 noeuds), combien y-a-t-il de configurations possible pour ce graphe?

Réponse:

Spoiler Alert!

Pour un graphe de taille T=2, on peut l'organiser soit en (2) soit en (1,1)

2) Quelle est la longueur du chemin le plus grand (on rappelle que chemin c'est entrée vers sortie) dans ces graphe de taille 2?

Réponse:

Spoiler Alert!

Chemin de longueur 2 pour les 2 configurations.

3) Même questions 1) et 2) pour un graphe de taille 3.

Réponse:

Spoiler Alert!

Ici tous les chemins de taille 3! Sauf dans le dernier graphe! Dans le dernier graphe on a au maximum un chemin de taille 2!

La représentation des 4 configurations possibles est là suivante (de gauche à droite):

(1,1,1) (1, 2) (3) (2, 1)

On voit donc que le graphe (2,1) est le meilleur car seul lui propose des chemins plus courts!

-----------------

Maintenant on va uniquement considérer les configurations "BONNES" dont le chemin le plus long est minimisé.

Et on va repartir sur l'exemple avec nombre d'étages T = 7.

1) Dessiner le graphe (5,2), qu'elle est la taille du chemin le plus long?

Réponse:

Spoiler Alert!

Le chemin le plus long est de taille 5

2) Trouver une configuration MEILLEURE que (5,2) pour un graphe de taille 7. Une configuration A est MEILLEURE que B si son chemin le plus long est plus court que le chemin le plus long de B.

Réponse:

Spoiler Alert!

Facile! C'est le tout premier graphe d'exemple, celui de taille 7, la configuration (4,3)

QUESTION FINALE:

Écrire toutes les configuration optimisée pour un graphe de taille 7. On donne le résultat suivant: le chemin minimal dans un graphe de taille 7 est 4. Impossible de faire plus court.

Indice: Il y en a 12, trouvez les toutes!

Réponse:

Spoiler Alert!

(4,3)
(4,2,1)
(4,1,2)
(4,1,1,1)
(3,3,1)
(3,2,2)
(3,2,1,1)
(3,1,2,1)
(2,3,2)
(2,3,1,1)
(2,2,2,1)
(1,3,2,1)

Et maintenant le problème sur lequel je bute.

Comment peut-on dénombrer toutes les configurations?

Comment j'aurais pu deviner à l'avance le résultat pour 7, en connaissant à l'avance:
- La taille du graphe (7)
- Le chemin le plus long minimisé (4)

Épargnons-nous le fait de trouver le chemin le plus long minimal pour un graphe de taille T (T étages).

Restons sur le cas 7 pour simplifier. Un résultat que j'ai trouvé est que la matrice suivante contient toutes les possibilités, en connaissant le chemin le plus long minimisé (4).



On parcourt cette matrice de gauche à droite en prenant une case dans la colonne 1, puis une dans la colonne 2 et il faut que la somme des colonnes face 7.

Et donc si vous m'avez suivi jusque là on peut reformuler le problème comme ça:

Combien y'a-t-il de manière d'écrire une somme qui fait 7, avec les restrictions que le coefficient x_n doit-être tel que x_n + n <= 4.

Donc par exemple:

4 + 3 fonctionne parce que

x₀ + x₁ = 7

x₀ = 4
x₁ = 3

x₀ + 0 = 4 <= 4
x₁ + 1 = 4 <= 4

Voilà voilà donc si quelqu'un trouve une solution particulière pour 7 je pense que ça m'avancera, je bloque alors que ça a pas l'air trop dur.

C'est vraiment un problème perso donc vous trouverez rien sur internet qui y ressemble a priori.

Vous pouvez essayez avec des graphes de taille différente pour vous aider.

C'est assez facile d'écrire un algo qui génère toutes les configs possibles mais je sais pas si j'aurais pu deviner ce nombre 12 de configuration pour graphe de taille 7 et chemin minimal possible de taille 4.

On note également que ça revient à écrire la question suivante:

GROS MATHEUX:

Dénombrer (avec une formule, pas à la main en essayant tout) tous les n-uplets (x₀, ... , x₃)

Tels que

x₀ + x₁ + x₂ + x₃ = 7

Sous contrainte:

x₀ <= 4
x₁ <= 3
x₂ <= 2
x₃ <= 1

et pour tout x_n, x_n >= 1 si la somme partielle x₀ + ... + x_n-1 < 7

Y'a peut-être un meilleur moyen de formuler ce dernier point et ce sera p'têt une piste pour avancer.

Obligé de passer par un algo? Ça me fait penser à l'algo du simplexe?

Y'a pas une formule fermée? J'ai l'impression que c'est débile mais je trouve pas...

[Møgluglu]

T'as cherché les premiers termes dans l'OEIS, au cas où c'est une suite connue ?

Sinon, tel que tu l'as formalisé (avec T et n fixés), c'est bien un simplexe. Tu as bien un polyèdre convexe défini par 2n+1 hyperplans dont tu veux calculer le volume. Géométriquement, ça a une gueule d'hyperrectangle tronqué par l'hyperplan "en diagonale" Sum(x_i) = T. Tu peux essayer de calculer le volume de l'hyperrectangle complet (genre (n-1)!) et retrancher le morceau que tu as compté en trop. Ou un autre découpage.

[Enyss]

La formulation "gros matheux" ne me semble pas être le même problème que celui que tu veux traiter. Entre autre, on ne comptera pas la solution (4,3) car elle ne vérifie pas toutes les conditions.

Sinon, ça n'a aucun rapport avec l'algo du simplexe (le problème n'étant absolument pas le même).

[Anonyme20240202]

La formulation "gros matheux" ne me semble pas être le même problème que celui que tu veux traiter. Entre autre, on ne comptera pas la solution (4,3) car elle ne vérifie pas toutes les conditions.

Sinon, ça n'a aucun rapport avec l'algo du simplexe (le problème n'étant absolument pas le même).

Ouais je me suis rendu compte de l'erreur et j'ai modifié l'intitulé gros matheux pour que ce soit bien le même problème, et 4,3 vérifie les conditions alors

- - - Mise à jour - - -

C'est justement mon gros problème de formaliser cette question en premier lieu, en m'abstrayant de la vision "graphe"

[Møgluglu]

C'est le problème classique de déterminer à partir de quel étage la défenestration d'un étudiant est fatale, quand tu as 2 étudiants, non ? Sauf que tu ne veux pas juste connaître la stratégie optimale en nombre de lancers, tu veux énumérer toutes celles qui suivent le même pattern.

[Anonyme20240202]

En gros le truc formulé bizarrement c'est pour respecter la connexité du graphe.

Donc (4,0,2,1) est interdit par exemple, "pas de 0 au milieu"

- - - Mise à jour - - -

C'est le problème classique de déterminer à partir de quel étage la défenestration d'un étudiant est fatale, quand tu as 2 étudiants, non ? Sauf que tu ne veux pas juste connaître la stratégie optimale en nombre de lancers, tu veux énumérer toutes celles qui suivent le même pattern.

Hahahaha très très bien vu, je suis exactement parti de là!

Je voulais justement vous épargner le côté /blog.

Pour le fameux problème "des étudiants" ou "des oeufs" j'ai trouvé la solution pas de problème, ça se prouve assez facilement et on comprend bien le résultat.

Mais j'étais pas satisfait de m'arrêter là. Je pense que tu peux facilement piéger quelqu'un en entretien en lui parlant de l'immeuble à 7 étages (ou tout autre nombre d'étage avec plusieurs configurations optimales) et en donnant d'autres contraintes (probabilité pour l'oeuf de casser à un étage donné) et en lui demandant de choisir une configuration optimale.

Ou alors en lui donnant plus d'oeufs, ou autres considérations bizarres.

En gros j'aime pas trop la devinette classique parce que j'ai l'intuition que ça masque un problème plus fondamental qui m'échappe.

Mon problème final est donc bien d'énumérer les configurations possible de graphe pour T étages et N lancers au plus, comme tu l'as dit. Sachant que minimiser N pour T est le problème initial.

Sachant qu'on a donc l'équivalence, chemin le plus long = nombre minimal de lancer pour ceux qui connaissent le problème initial

[Møgluglu]

En probabiliste, tu tombes sur le problème de la compression, que te peux attaquer sous l'angle de la théorie de l'information. Par exemple avec une infinité d'étudiants, c'est Huffman, avec une distribution géométrique, c'est Golomb.

Pour éviter ta contrainte de connexité bizarre (pas pratique car non linéaire), tu peux compter séparément les p-uplets d'entiers strictement positifs pour chaque p≤n, non ?

[Anonyme20240202]

Pour éviter ta contrainte de connexité bizarre (pas pratique car non linéaire), tu peux compter séparément les p-uplets d'entiers strictement positifs pour chaque p≤n, non ?

Oui un truc du genre:

x₀ + x₁ = T
x₀ + x₁ + x₂ = T

...

etc.

En sachant que x_n + n <= X

Et x_n >= 1 du coup

J'pense que je vais finir par trouver quelque chose d'intéressant, mais je peine et j'ai l'impression de passer à côté de quelque chose de simple.

Merci pour les pistes en tout cas

[Dr.Kant]

J ai pas lu la totalite du probleme donc je vais surement etre a cote de la plaque.
T as essaye les methodes de programmation lineaire? Type probleme du sac a dos?
Ou bien l algo de Dijkstra?