SBER

Август — декабрь 2023 · ML-команда аудита

Работал в ML-команде аудита. Помогал находить странные операции, проверять цены аренды и разбирать документы.

Аномалии в транзакциях

Задача была определить мошеннические схемы внутри компании и быстро отдать аудиторам только те операции, которые действительно стоит проверить. Я собирал витрину с признаками по суммам, времени, частоте, географии и связям между переводами, смотрел распределения, чистил технические выбросы и обучал модель выделять нетипичные паттерны. Всё это работало на Python, SQL, ClickHouse, CatBoost и Airflow: данные обновлялись, модель отдавала скор, а в выборке оставалось объяснение, почему операция выглядит подозрительно. Через решение обработали около 20 млн транзакций и нашли 3 000 подозрительных операций для ручной проверки. В результате были выявлены нарушения в трёх разных отделах.

Аренда не по рынку

Во втором кейсе я сделал модель для проверки аренды: она сравнивала цену в договоре с ожидаемой ценой для похожих объектов. Сначала собрал данные по району, площади, типу объекта, сроку договора и сезонности, затем отфильтровал несопоставимые объекты и обучил модель оценивать нормальный диапазон цены. Работал с Python, SQL, Pandas, LightGBM и PostgreSQL; важно было не просто показать большую разницу, а дать аудитору контекст: с какими объектами сравнивали и насколько договор ушёл от рынка. В черновом варианте за пару часов можно было проверить выгрузку примерно из 75 000 договоров и найти около 900 объектов с сильным отклонением от рынка.

Валидация документов через OCR

Для документов собрал пайплайн, который забирал скан, улучшал изображение, доставал текст через OCR и проверял обязательные поля: даты, номера, суммы и реквизиты. Если текст не читался, поле было пустым или формат не совпадал, документ не проходил дальше автоматически и попадал человеку с понятной причиной ошибки. Использовал Python, OCR, OpenCV, FastAPI и Docker; отдельное внимание уделил плохим сканам, разным шаблонам и скорости ответа, чтобы ручная очередь не стояла. В черновом варианте из примерно 12 000 документов в месяц около 85% проходили первичную проверку автоматически, а ручная очередь стала примерно в три раза меньше.

← Все проекты