Understanding Priors in Bayesian Neural Networks

Séminaire Borelli « Understanding Priors in Bayesian Neural Networks at the Unit Level » par Julyan Arbel  (INRIA Grenoble)

Date : 13 mars 2020
Lieu : Campus de Cachan, bâtiment d’Alembert, salle Condorcet

Nous nous retrouverons exceptionnellement avant le séminaire à partir de 12h30 au premier étage du bâtiment Laplace autour d’un buffet de sandwiches et salades. Merci de vous inscrire, ainsi que vos invité.e.s éventuel.le.s AVANT le mercredi 11 mars à midi.

Abstract:
We investigate deep Bayesian neural networks with Gaussian weight priors and a class of ReLU-like nonlinearities. Bayesian neural networks with Gaussian priors are well known to induce an L2 -« weight decay »- regularization.
Our results characterize a more intricate regularization effect at the level of the unit activations.
Our main result establishes that the induced prior distribution on the units before and after activation becomes increasingly heavy-tailed with the depth of the layer. We show that first layer units are Gaussian, second layer units are sub-exponential, and units in deeper layers are characterized by sub-Weibull distributions. Our results provide new theoretical insight on deep Bayesian neural networks, which we corroborate with simulation experiments.
Joint work with Mariia Vladimirova, Jakob Verbeek and Pablo Mesejo

Modéliser la forêt

Séminaire Borelli : Modéliser l’évolution d’une forêt, par Arnaud Personne (ENS Paris-Saclay)

Date : 24 février 2020
Lieu : campus Cachan, C102 bâtiment Cournot – 12h-13h

Une version grand public des travaux d’Arnaud Personne est disponible : Balade mathématique en forêt,  The Conversation, 26 avril 2020.

En 2001, Hubbell présente un modèle de dynamique des populations dit « neutre » visant à décrire l’évolution d’une forêt dans le temps. Dans ce modèle toutes les espèces sont d’égales compétitrices et la composition de la communauté est déterminée uniquement par la dispersion stochastique des individus. Hubbell, Stephen P. « The Unified Neutral Theory of Biodiversity and Biogeography », Princeton University Press (MPB-32), 2001. 0-691-02129-5 – 978-0691021287

Nous nous intéresserons à une extension de ce modèle dans lequel chaque espèce possède un avantage sélectif caractérisé par un paramètre aléatoire (processus de saut, diffusion…). Ce modèle, largement utilisé en génétique des populations et connu sous le nom de « Modèle de Moran » en environnement aléatoire. Il s’agit d’un modèle Markovien dont la dynamique peut être approchée quand la taille de la communauté étudiée est assez grande par des processus continus en temps (diffusion de Wright-Fisher ou pdmp).
Nous donnerons un ordre de grandeur de l’erreur commise en effectuant cette approximation diffusion pour une taille de population fixée. Ensuite, nous nous servirons de ce résultat pour obtenir des informations sur le processus discret à partir du processus continu : approximation des moments, comportement en temps long, persistance…

Decision making and motor control in larval zebrafish

07/02/2020 : Séminaire Neurosciences
Lieu : CUSP, salle R229, 11h30-12h30

Decision making and motor control in larvalk zebrafish
by Ruben Portugues

In order to succeed in a changing environment, animals need to take into account noisy and ambiguous stimuli and select appropriate behavior. Furthermore, animals need to modify their behavior when the outcome is unsuccessful. In this talk, I will present two projects from my lab, which works on larval zebrafish, which touch upon these topics of decision making and motor control.

Computational Behavioral Phenotyping

26/02/2020 : Séminaire GTTI
Lieu : campus de Cachan, bâtiment Cournot, C102, 12h-13h
Une conférence de Guillermo Sapiro (Duke University), professeur invité à l’ENS Paris-Saclay dans le cadre des groupes de travail de l’équipe Images Borelli.

Behavioral observations are the key instrument for screening, diagnosis, and treatment monitoring of developmental and neurodegenerative problems, from autism to Parkinson’s. In this talk I will describe the challenges, our clinical studies where we have collected by orders of magnitude the largest datasets in the field, and the new questions for vision and learning, including new theories for information-theory based privacy and Pareto optimality do-not-harm fairness.

Tomographie Radar

Lieu : salle C406, Bâtiment Cournot, ENS Paris-Saclay, campus de Cachan
Date et horaire : lundi 27 janvier 2020, 12h00-13h00

3-D reconstruction from tomographic SAR data: From low-to high-level information processing
par Olivier D’Hondt (Technische Universität Berlin)

Tomographic SAR (TomoSAR) is a powerful technique that allows the 3-D reconstruction of objects lying on the surface of the Earth. It relies on a system called Synthetic Aperture Radar that sends and receives electromagnetic waves in the microwave domain and produces 2-D complex-valued images. As opposed to optical sensors, SAR is not affected by weather conditions and operates by day and night. By combining the phase of several images acquired from different points of view, it is possible to achieve 3-D imaging of man-made objects such as buildings, but also natural targets such as trees. Because at certain frequencies the wave penetrates the vegetation, the topographic structure of the ground beneath the canopy can be recovered, which would be impossible with an optical sensor.

This talk will cover the basic principles of TomoSAR as well as more advanced research topics in the field of image processing and machine learning carried on by the Computer Vision and Remote Sensing team at TU-Berlin. An emphasis will be put on some research challenges that are currently faced by the SAR community as well as potential applications and future satellite missions.

Version française