Airflow + 1С + PostgreSQL: загружаем 50K+ заказов из кривых Excel-файлов

Проблема

Что сделали?

Результат

Архитектура

1С (Excel) → Airflow DAG → PostgreSQL (staging_client_orders)
                ↓
        автоопределение заголовков
                ↓
         нормализация и загрузка

for i in range(min(10, len(df))):
    row = df.iloc[i].astype(str)
    if 'Клиент' in row.values or 'Заказ клиента.Номер' in row.values:
        df = pd.read_excel(file_path, header=i)
        print(f'Заголовки найдены на строке {i}')
        break

def parse_date(date_value):
    for fmt in ['%d.%m.%Y %H:%M:%S', '%d.%m.%Y', '%Y-%m-%d']:
        try:
            return datetime.strptime(str(date_value), fmt).date()
        except:
            continue
    return None

INSERT INTO staging_client_orders (...) VALUES (%s)
ON CONFLICT (order_number, load_date) DO NOTHING;

Что дальше?

B2B | Реклама завода по производству ароматизаторов и отдушек

B2С | Реклама архитектурного бюро

B2B | Реклама пищевых добавок в СНГ

B2С | Реклама вакансий

B2С | Доставка пирогов

B2С | Оформление ВНЖ

B2С | Строительство частных домов

B2B | Доставка товаров из Китая

Google Adwords | Заявки для агентства недвижимости

B2С | Заявки для магазина элитных постельных принадлежностей

B2С | Заявки для танцевальной студии в Москве

B2C | Сетевое оборудование

B2B | Продажа светильников оптом

B2C | Продажа детской мебели на заказ

B2B | Продажа мебели

SEO — Продвижение туристического агрегатора aanapa.ru

Задача

Решение

Результаты

SEO — Строительная компания «СК10»

Задача

Решение

Результаты

SEO — Продвижение СК «Неометрия»

Задача

Решение

Результаты

SEO — Продвижение СК «Алмакс-Строй»

Задача

Решение

Результаты

SEO — Продвижение «Кема Клаб»

Задача

Решение

Результаты

SEO — Продвижение «ЖК Арбат»

Задача

Решение

Результаты

SEO — Продвижение «Банк Центрокредит»

Задача

Решение

Результаты

SEO — Продвижение «Мкр «Губернский»»

Задача

Решение

Результаты

SEO — Продвижение «Камавторесурс»

Результаты

SEO — Продвижение «Мой Бизнес»

Задача

Решение

Результаты

SEO — Продвижение «Мобильный Дом»

Анализ конкурентов

{$te}

Анализ справочников

Составление семантического ядра

Разработка нового сайта

Работы с панелями для вебмастеров

Техническая оптимизация

Результаты

SEO — Продвижение «Nordpanel»

Выполненные работы

Результат

Airflow + Яндекс.Директ: выгружаем статистику рекламных кампаний из API

Проблема

Что сделали

Архитектура

Ключевые фрагменты кода

response = make_request(account, "reports", body)

if response.status_code == 201:
    report_id = response.headers.get("ReportId")
    
    for attempt in range(max_retries):
        time.sleep(wait_time)
        ready_response = make_request(account, f"reports/{report_id}")
        
        if ready_response.status_code == 200:
            response = ready_response
            print("Отчёт успешно сгенерирован!")
            break

error_code = error_data['error'].get('error_code')
if error_code in [52, 53]:
    wait_time = int(error_data['error'].get('error_detail', delay))
    print(f"Лимит запросов. Ждём {wait_time} сек.")
    time.sleep(wait_time)
    continue

INSERT INTO yd_campaigns_stats (
    client_login, date, campaign_name, campaign_id,
    impressions, clicks, cost, conversions
) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)
ON CONFLICT (client_login, date, campaign_id, targeting_location_name)
DO UPDATE SET
    impressions = EXCLUDED.impressions,
    clicks = EXCLUDED.clicks,
    cost = EXCLUDED.cost,
    conversions = EXCLUDED.conversions;

Результат