All issues

Как правило, данные конфокальной и многофотонной лазерной сканирующей микроскопии страдают от низкого уровня полезного сигнала и высокого вклада дробового шума, связанного со стохастическим характером испускания фотонов флуорофором. Это осложняет задачу подавления шума и выделения полезного сигнала в таких данных. В настоящее время популярны нейросетевые алгоритмы улучшения изображений, однако они часто представляют собой «черный ящик» и требуют длительного обучения на конкретных наборах данных. В работе предлагается алгоритм подавления шума для данных динамической флуоресцентной микроскопии, опирающийся на наличие пространственно-временных локальных корреляций в полезном сигнале и на отсутствие пространственных корреляций в шумовой компоненте. Сингулярное разложение матриц (SVD), производящее спектральное разложение матрицы ковариации, — распространенный способ низкоранговой аппроксимации двумерных массивов, концентрирующий скоррелированный сигнал в нескольких первых компонентах разложения. Однако данные динамической микроскопии представляют собой трехмерные массивы или тензоры большей размерности, поэтому использование тензорных разложений потенциально может улучшить результат подавления шума по сравнению с обычным SVD. В основе алгоритма — двухэтапное применение усеченного сингулярного разложения высшего порядка (HOSVD) с введением порога для коэффициентов и последующим обратным преобразованием, сначала для локальных трехмерных окон в пространстве TXY (3D-HOSVD), а затем для пространственно объединенных групп трехмерных окон (4D-HOSVD). Для валидации алгоритма используются синтетические данные кальциевой сигнализации в астроцитах, в которых концентрация кальция транслируется в сигнал флуоресценции, значения которого в каждом кадре и каждом пикселе затем служат математическим ожиданием и дисперсией для сэмплирования случайной величины из непрерывного аналога пуассоновского распределения. Проведен анализ чувствительности алгоритма от параметров понижения ранга вдоль размерности временных компонент и группового ранга, длины локального окна и порога коэффициентов разложения. Несмотря на наличие мультипликативного шума, предлагаемый алгоритм демонстрирует значительное улучшение анализируемого сигнала, увеличивая соотношение «сигнал/шум» (PSNR) более чем на 20 дБ. Данный метод не опирается на предположения относительно разреженности или гладкости сигнала и может быть использован в качестве одного из этапов обработки данных динамической флуоресцентной микроскопии для самых различных типов данных.

Fluorescent imaging data are currently widely used in neuroscience and other fields. Genetically encoded sensors, based on fluorescent proteins, provide a wide inventory enabling scientiests to image virtually any process in a living cell and extracellular environment. However, especially due to the need for fast scanning, miniaturization, etc, the imaging data can be severly corrupred with multiplicative heteroscedactic noise, reflecting stochastic nature of photon emission and photomultiplier detectors. Deep learning architectures demonstrate outstanding performance in image segmentation and denoising, however they can require large clean datasets for training, and the actual data transformation is not evident from the network architecture and weight composition. On the other hand, some classical data transforms can provide for similar performance in combination with more clear insight in why and how it works. Here we propose an algorithm for denoising fluorescent dynamical imaging data, which is based on multilinear higher-order singular value decomposition (HOSVD) with optional truncation in rank along each axis and thresholding of the tensor of decomposition coefficients. In parallel, we propose a convenient paradigm for validation of the algorithm performance, based on simulated flurescent data, resulting from biophysical modeling of calcium dynamics in spatially resolved realistic 3D astrocyte templates. This paradigm is convenient in that it allows to vary noise level and its resemblance of the Gaussian noise and that it provides ground truth fluorescent signal that can be used to validate denoising algorithms. The proposed denoising method employs truncated HOSVD twice: first, narrow 3D patches, spanning the whole recording, are processed (local 3D-HOSVD stage), second, 4D groups of 3D patches are collaboratively processed (non-local, 4D-HOSVD stage). The effect of the first pass is twofold: first, a significant part of noise is removed at this stage, second, noise distribution is transformed to be more Gaussian-like due to linear combination of multiple samples in the singular vectors. The effect of the second stage is to further improve SNR. We perform parameter tuning of the second stage to find optimal parameter combination for denoising.

В данной статье предлагаются методы оптимизации высокого порядка (тензорные методы) для решения двух типов седловых задач. Первый тип — это классическая мин-макс-постановка для поиска седловой точки функционала. Второй тип — это поиск стационарной точки функционала седловой задачи путем минимизации нормы градиента этого функционала. Очевидно, что стационарная точка не всегда совпадает с точкой оптимума функции. Однако необходимость в решении подобного типа задач может возникать в случае, если присутствуют линейные ограничения. В данном случае из решения задачи поиска стационарной точки двойственного функционала можно восстановить решение задачи поиска оптимума прямого функционала. В обоих типах задач какие-либо ограничения на область определения целевого функционала отсутствуют. Также мы предполагаем, что целевой функционал является $\mu$-сильно выпуклыми $\mu$-сильно вогнутым, а также что выполняется условие Липшица для его $p$-й производной.

Для задач типа «мин-макс» мы предлагаем два алгоритма. Так как мы рассматриваем сильно выпуклую и сильно вогнутую задачу, первый алгоритмиспо льзует существующий тензорный метод для решения выпуклых вогнутых седловых задач и ускоряет его с помощью техники рестартов. Таким образом удается добиться линейной скорости сходимости. Используя дополнительные предположения о выполнении условий Липшица для первой и второй производных целевого функционала, можно дополнительно ускорить полученный метод. Для этого можно «переключиться» на другой существующий метод для решения подобных задач в зоне его квадратичной локальной сходимости. Так мы получаем второй алгоритм, обладающий глобальной линейной сходимостью и локальной квадратичной сходимостью. Наконец, для решения задач второго типа существует определенная методология для тензорных методов в выпуклой оптимизации. Суть ее заключается в применении специальной «обертки» вокруг оптимального метода высокого порядка. Причем для этого условие сильной выпуклости не является необходимым. Достаточно лишь правильным образом регуляризовать целевой функционал, сделав его таким образом сильно выпуклым и сильно вогнутым. В нашей работе мы переносим эту методологию на выпукло-вогнутые функционалы и используем данную «обертку» на предлагаемом выше алгоритме с глобальной линейной сходимостью и локальной квадратичной сходимостью. Так как седловая задача является частным случаем монотонного вариационного неравенства, предлагаемые методы также подойдут для поиска решения сильно монотонных вариационных неравенств.

In this paper we propose high-order (tensor) methods for two types of saddle point problems. Firstly, we consider the classic min-max saddle point problem. Secondly, we consider the search for a stationary point of the saddle point problem objective by its gradient norm minimization. Obviously, the stationary point does not always coincide with the optimal point. However, if we have a linear optimization problem with linear constraints, the algorithm for gradient norm minimization becomes useful. In this case we can reconstruct the solution of the optimization problem of a primal function from the solution of gradient norm minimization of dual function. In this paper we consider both types of problems with no constraints. Additionally, we assume that the objective function is $\mu$-strongly convex by the first argument, $\mu$-strongly concave by the second argument, and that the $p$-th derivative of the objective is Lipschitz-continous.

For min-max problems we propose two algorithms. Since we consider strongly convex a strongly concave problem, the first algorithm uses the existing tensor method for regular convex concave saddle point problems and accelerates it with the restarts technique. The complexity of such an algorithm is linear. If we additionally assume that our objective is first and second order Lipschitz, we can improve its performance even more. To do this, we can switch to another existing algorithm in its area of quadratic convergence. Thus, we get the second algorithm, which has a global linear convergence rate and a local quadratic convergence rate.

Finally, in convex optimization there exists a special methodology to solve gradient norm minimization problems by tensor methods. Its main idea is to use existing (near-)optimal algorithms inside a special framework. I want to emphasize that inside this framework we do not necessarily need the assumptions of strong convexity, because we can regularize the convex objective in a special way to make it strongly convex. In our article we transfer this framework on convex-concave objective functions and use it with our aforementioned algorithm with a global linear convergence and a local quadratic convergence rate.

Since the saddle point problem is a particular case of the monotone variation inequality problem, the proposed methods will also work in solving strongly monotone variational inequality problems.

В данной статье рассматривается задача типа min-min: минимизация по двум группам переменных. Данная задача в чем-то похожа на седловую (min-max), однако лишена некоторых сложностей, присущих седловым задачам. Такого рода постановки могут возникать, если в задаче выпуклой оптимизации присутствуют переменные разных размерностей или если какие-то группы переменных определены на разных множествах. Подобная структурная особенность проблемы дает возможность разбивать ее на подзадачи, что позволяет решать всю задачу с помощью различных смешанных оракулов. Ранее в качестве возможных методов для решения внутренней или внешней задачи использовались только методы первого порядка или методы типа эллипсоидов. В нашей работе мы рассматриваем данный подход с точки зрения возможности применения алгоритмов высокого порядка (тензорных методов) для решения внутренней подзадачи. Для решения внешней подзадачи мы используем быстрый градиентный метод.

Мы предполагаем, что внешняя подзадача определена на выпуклом компакте, в то время как для внутренней задачи мы отдельно рассматриваем задачу без ограничений и определенную на выпуклом компакте. В связи с тем, что тензорные методы по определению используют производные высокого порядка, время на выполнение одной итерации сильно зависит от размерности решаемой проблемы. Поэтому мы накладываем еще одно условие на внутреннюю подзадачу: ее размерность не должна превышать 1000. Для возможности использования смешанного оракула намнео бходимы некоторые дополнительные предположения. Во-первых, нужно, чтобы целевой функционал был выпуклымпо совокупности переменных и чтобы его градиент удовлетворял условию Липшица также по совокупности переменных. Во-вторых, нам необходимо, чтобы целевой функционал был сильно выпуклый по внутренней переменной и его градиент по внутренней переменной удовлетворял условию Липшица. Также для применения тензорного метода нам необходимо выполнение условия Липшица p-го порядка ($p > 1$). Наконец, мы предполагаем сильную выпуклость целевого функционала по внешней переменной, чтобы иметь возможность использовать быстрый градиентный метод для сильно выпуклых функций.

Стоит отметить, что в качестве метода для решения внутренней подзадачи при отсутствии ограничений мы используем супербыстрый тензорный метод. При решении внутренней подзадачи на компакте используется ускоренный проксимальный тензорный метод для задачи с композитом.

В конце статьи мы также сравниваем теоретические оценки сложности полученных алгоритмов с быстрым градиентным методом, который не учитывает структуру задачи и решает ее как обычную задачу выпуклой оптимизации (замечания 1 и 2).

In this article we consider min-min type of problems or minimization by two groups of variables. In some way it is similar to classic min-max saddle point problem. Although, saddle point problems are usually more difficult in some way. Min-min problems may occur in case if some groups of variables in convex optimization have different dimensions or if these groups have different domains. Such problem structure gives us an ability to split the main task to subproblems, and allows to tackle it with mixed oracles. However existing articles on this topic cover only zeroth and first order oracles, in our work we consider high-order tensor methods to solve inner problem and fast gradient method to solve outer problem.

We assume, that outer problem is constrained to some convex compact set, and for the inner problem we consider both unconstrained case and being constrained to some convex compact set. By definition, tensor methods use high-order derivatives, so the time per single iteration of the method depends a lot on the dimensionality of the problem it solves. Therefore, we suggest, that the dimension of the inner problem variable is not greater than 1000. Additionally, we need some specific assumptions to be able to use mixed oracles. Firstly, we assume, that the objective is convex in both groups of variables and its gradient by both variables is Lipschitz continuous. Secondly, we assume the inner problem is strongly convex and its gradient is Lipschitz continuous. Also, since we are going to use tensor methods for inner problem, we need it to be p-th order Lipschitz continuous ($p > 1$). Finally, we assume strong convexity of the outer problem to be able to use fast gradient method for strongly convex functions.

We need to emphasize, that we use superfast tensor method to tackle inner subproblem in unconstrained case. And when we solve inner problem on compact set, we use accelerated high-order composite proximal method.

Additionally, in the end of the article we compare the theoretical complexity of obtained methods with regular gradient method, which solves the mentioned problem as regular convex optimization problem and doesn’t take into account its structure (Remarks 1 and 2).