Skip to content

Глава 13. Итоговый проект: отчёт по успеваемости

Задача главы: собрать сквозной скрипт «выгрузка → расчёты → готовый отчёт», в котором работают инструменты всех предыдущих глав вместе, а не по одному в изолированном примере — и получить свой первый завершённый инструмент аналитика.

13.1 Постановка задачи и формат входной выгрузки

Деканат выгружает из системы один файл journal_dirty.csv со всеми предметами и всеми потоками сразу — одна строка выгрузки описывает одну сдачу одного предмета одним учеником:

student_name	subject	score	submitted_at
`Иванов Иван`	Python	78	16.05.2024
Ким Юрий	Python	н/д	20.05.2024
`Петров Пётр`	Python	150	19.05.2024
Сидорова Анна	Аналитика	90	15.05.2024

Выгрузка почти никогда не приходит идеальной: в именах бывают случайные пробелы, в баллах — текстовые заглушки вместо чисел и опечатки, из-за которых балл выходит за пределы 0–100. Задача — не «написать код для чистых данных», а собрать отчёт, который выдержит именно такую выгрузку целиком, ни разу не упав и не потеряв ни одной строки без следа.

На выходе нужны три вещи:

Файл report.csv — по одной строке на ученика: средний балл, статус, просрочка.
Консольная сводка — рейтинг, группа риска, разбивка по предметам, медиана, разброс, распределение статусов.
Журнал отбракованных строк — что не попало в отчёт и почему.

Это ровно то же самое разделение, что и в главе Файлы и CSV («чтение → расчёты → запись»), только теперь на входе — реалистично грязная выгрузка, а расчётов — на порядок больше.

// PYTHON_EXECUTOR (Pyodide Wasm)

DATE_FORMAT = '%d.%m.%Y'         # формат дат в выгрузке — глава 12
PASS_THRESHOLD = 60              # порог зачёта — тот же смысл, что в главе 9

// Output:

13.2 Слой чтения и нормализации: главы 3, 10, 11

Зачем это нужно. Прежде чем что-либо считать, выгрузку нужно превратить из «текста в файле» в чистые, однотипные значения — и сделать это так, чтобы одна кривая строка не обрушила чтение всех остальных. Это уже знакомая связка трёх глав: csv.DictReader открывает файл (Файлы и CSV), .strip() убирает случайные пробелы по краям ФИО и предмета (Строки и f-строки), а try / except перехватывает как нечисловой балл, так и балл вне диапазона, откладывая проблемную строку в отдельный список вместо падения (Ошибки и исключения).

// PYTHON_EXECUTOR (Pyodide Wasm)

import csv
from datetime import datetime

def read_journal(file_path):
  valid_rows = []
  rejected_rows = []
  with open(file_path, encoding='utf-8') as file:
      reader = csv.DictReader(file)
      for row in reader:
          student_name = row['student_name'].strip()      # глава 3 — убираем случайные пробелы
          subject = row['subject'].strip()
          try:
              score = int(row['score'])                    # глава 10 — csv отдаёт строки
              if not 0 <= score <= 100:
                  raise ValueError(f'балл вне диапазона 0-100: {score}')
              submitted_at = datetime.strptime(row['submitted_at'].strip(), DATE_FORMAT)   # глава 12
          except ValueError as error:                       # глава 11 — не роняем весь отчёт
              rejected_rows.append((student_name, subject, str(error)))
              continue
          valid_rows.append({
              'student_name': student_name,
              'subject': subject,
              'score': score,
              'submitted_at': submitted_at,
          })
  return valid_rows, rejected_rows

// Output:

Функция отдаёт два списка сразу: valid_rows — то, с чем можно дальше считать, и rejected_rows — то, что попало под нож, с понятной причиной для каждой строки. Ни одна строка выгрузки не пропадает без объяснения — тот же принцип, что закрывал мини-кейс главы 11.

13.3 Слой расчётов: функции из глав 4, 5, 9, 12

Зачем это нужно. У valid_rows — плоская структура: одна строка на пару «ученик–предмет». Чтобы получить средний балл и статус по ученику, а не по отдельной сдаче, данные сначала группируют (Словари), затем считают через собственные функции (Функции), уточняют медианой и разбросом (Стандартная библиотека) и, наконец, выстраивают в рейтинг (Списки).

// PYTHON_EXECUTOR (Pyodide Wasm)

import statistics
from collections import Counter

def calculate_average(scores):
  return sum(scores) / len(scores)

def get_status(average_score, pass_threshold=PASS_THRESHOLD):
  return 'зачёт' if average_score >= pass_threshold else 'незачёт'

def get_average_score(student_summary):     # функция для key= в sorted() — вызывает её сам sorted()
  return student_summary['average_score']

def group_by_student(rows, deadline):
  students = {}
  for row in rows:
      # словарь словарей — приём из 5.4: значение по ключу — снова словарь
      student = students.setdefault(row['student_name'], {'scores': [], 'max_days_late': None})
      student['scores'].append(row['score'])
      days_late = (row['submitted_at'] - deadline).days
      if student['max_days_late'] is None or days_late > student['max_days_late']:
          student['max_days_late'] = days_late
  return students

def group_by_subject(rows):
  scores_by_subject = {}
  for row in rows:
      scores_by_subject.setdefault(row['subject'], []).append(row['score'])
  return scores_by_subject

def build_summary(students_grouped):
  summary = []
  for student_name, data in students_grouped.items():
      average_score = calculate_average(data['scores'])
      summary.append({
          'student_name': student_name,
          'average_score': average_score,
          'status': get_status(average_score),
          'days_late': data['max_days_late'],
      })
  return summary

// Output:

get_average_score, переданная в sorted(..., key=get_average_score) без круглых скобок, — не новый трюк, а прямое применение ловушки из 9.1: имя функции без () — это ссылка на сам объект-функцию, а не её результат. Обычно эта ссылка мешает (переменной по ошибке достаётся функция вместо числа); здесь она работает как задумано — sorted() сам вызовет эту функцию на каждом элементе, чтобы понять, по чему сравнивать. Это тот самый приём с собственной функцией в key=, который был обещан ещё в главе Списки.

// PYTHON_EXECUTOR (Pyodide Wasm)

DEADLINE = datetime.strptime('15.05.2024', DATE_FORMAT)

students_grouped = group_by_student(valid_rows, DEADLINE)
summary = build_summary(students_grouped)
ranking = sorted(summary, key=get_average_score, reverse=True)

scores_by_subject = group_by_subject(valid_rows)
subject_averages = {}
for subject, scores in scores_by_subject.items():
  subject_averages[subject] = calculate_average(scores)

average_scores = []
statuses = []
for entry in summary:
  average_scores.append(entry['average_score'])
  statuses.append(entry['status'])

median_score = statistics.median(average_scores)      # честнее среднего при выбросах — глава 12
spread = statistics.stdev(average_scores)
status_counts = Counter(statuses)

// Output:

13.4 Слой вывода: f-строки, файл отчёта, сводка по группам

Зачем это нужно. Расчёты бесполезны, пока они не превратились в две конкретные вещи: файл, который можно переслать коллеге, и текст на экране, который читается за десять секунд. Запись — тот же csv.writer в режиме 'w' с newline='' из главы Файлы и CSV; вывод на экран — f-строки из главы Переменные и ввод данных и спецификаторы :.1f из главы Строки и f-строки.

// PYTHON_EXECUTOR (Pyodide Wasm)

def write_report(file_path, ranking):
  with open(file_path, 'w', encoding='utf-8', newline='') as file:
      writer = csv.writer(file)
      writer.writerow(['student_name', 'average_score', 'status', 'days_late'])
      for entry in ranking:
          writer.writerow([
              entry['student_name'],
              f"{entry['average_score']:.1f}",
              entry['status'],
              entry['days_late'],
          ])

write_report('report.csv', ranking)

print('Рейтинг (топ-3):')
for place, entry in enumerate(ranking[:3], start=1):     # enumerate — бонус из главы 8
  print(f"{place}. {entry['student_name']} — {entry['average_score']:.1f}")

print('\nСредний балл по предметам:')
for subject, average_score in subject_averages.items():
  print(f'{subject}: {average_score:.1f}')

// Output:

Сводка по группам (предметам) и рейтинг по ученикам — это один и тот же приём «сгруппировать → посчитать → напечатать», примененный на двух разных уровнях одной и той же выгрузки: по строкам предмета и по строкам ученика.

13.5 Разбор итогов и куда двигаться дальше

Всё, что написано в этой главе, делает вручную то, что уже умеет специализированная библиотека pandas — но написанное вручную не потрачено впустую: без него pandas выглядел бы чёрным ящиком, а его ошибки — необъяснимой магией.

// PYTHON_EXECUTOR (Pyodide Wasm)

# Ориентир на будущее — не разбираем подробно, только показываем направление
import pandas as pd

journal = pd.read_csv('journal_dirty.csv')                       # замена read_journal() из 13.2
average_by_student = journal.groupby('student_name')['score'].mean()   # замена group_by_student() + calculate_average()

// Output:

Две строки pandas заменяют десятки строк ручной группировки — но groupby() — это тот же setdefault() из главы 5 под капотом, а .mean() — тот же statistics.mean() из главы 12, просто с другим синтаксисом сверху. Ошибка KeyError в pandas — тот же KeyError, что уже разобран в главе Словари. Библиотеки для визуализации (matplotlib, seaborn) превращают subject_averages и ranking из этой главы в столбчатые диаграммы и графики — следующий логичный шаг после того, как текстовый отчёт уже научился строиться надёжно.

Финальный кейс: полный скрипт «выгрузка → расчёты → отчёт»

Задача: собрать все слои этой главы в один запускаемый скрипт — от намеренно грязной выгрузки до сохранённого report.csv и полной консольной сводки по потоку.

// PYTHON_EXECUTOR (Pyodide Wasm)

import csv
import statistics
from collections import Counter
from datetime import datetime

DATE_FORMAT = '%d.%m.%Y'
PASS_THRESHOLD = 60
DEADLINE = datetime.strptime('15.05.2024', DATE_FORMAT)

# --- Слой чтения и нормализации (главы 3, 10, 11) ---
def read_journal(file_path):
  valid_rows = []
  rejected_rows = []
  with open(file_path, encoding='utf-8') as file:
      reader = csv.DictReader(file)
      for row in reader:
          student_name = row['student_name'].strip()
          subject = row['subject'].strip()
          try:
              score = int(row['score'])
              if not 0 <= score <= 100:
                  raise ValueError(f'балл вне диапазона 0-100: {score}')
              submitted_at = datetime.strptime(row['submitted_at'].strip(), DATE_FORMAT)
          except ValueError as error:
              rejected_rows.append((student_name, subject, str(error)))
              continue
          valid_rows.append({
              'student_name': student_name,
              'subject': subject,
              'score': score,
              'submitted_at': submitted_at,
          })
  return valid_rows, rejected_rows

# --- Слой расчётов (главы 4, 5, 9, 12) ---
def calculate_average(scores):
  return sum(scores) / len(scores)

def get_status(average_score, pass_threshold=PASS_THRESHOLD):
  return 'зачёт' if average_score >= pass_threshold else 'незачёт'

def get_average_score(student_summary):
  return student_summary['average_score']

def group_by_student(rows, deadline):
  students = {}
  for row in rows:
      student = students.setdefault(row['student_name'], {'scores': [], 'max_days_late': None})
      student['scores'].append(row['score'])
      days_late = (row['submitted_at'] - deadline).days
      if student['max_days_late'] is None or days_late > student['max_days_late']:
          student['max_days_late'] = days_late
  return students

def group_by_subject(rows):
  scores_by_subject = {}
  for row in rows:
      scores_by_subject.setdefault(row['subject'], []).append(row['score'])
  return scores_by_subject

def build_summary(students_grouped):
  summary = []
  for student_name, data in students_grouped.items():
      average_score = calculate_average(data['scores'])
      summary.append({
          'student_name': student_name,
          'average_score': average_score,
          'status': get_status(average_score),
          'days_late': data['max_days_late'],
      })
  return summary

# --- Слой вывода (глава 10) ---
def write_report(file_path, ranking):
  with open(file_path, 'w', encoding='utf-8', newline='') as file:
      writer = csv.writer(file)
      writer.writerow(['student_name', 'average_score', 'status', 'days_late'])
      for entry in ranking:
          writer.writerow([
              entry['student_name'],
              f"{entry['average_score']:.1f}",
              entry['status'],
              entry['days_late'],
          ])

# 1. Сбор данных — выгрузка с намеренно нечистыми строками, как в реальном журнале деканата
raw_rows = [
  ['student_name', 'subject', 'score', 'submitted_at'],
  [' Иванов Иван ', 'Python', '78', '16.05.2024'],
  ['Иванов Иван', 'Аналитика', '92', '17.05.2024'],
  ['Смирнова Ольга ', 'Python', '92', '14.05.2024'],
  ['Смирнова Ольга', 'Аналитика', '88', '14.05.2024'],
  ['Ким Юрий', 'Python', 'н/д', '20.05.2024'],           # не сдавал — текст вместо балла
  ['Ким Юрий', 'Аналитика', '55', '20.05.2024'],
  [' Петров Пётр', 'Python', '150', '19.05.2024'],       # опечатка — балл вне диапазона
  ['Петров Пётр', 'Аналитика', '15', '19.05.2024'],
  ['Сидорова Анна', 'Python', '88', '15.05.2024'],
  ['Сидорова Анна', 'Аналитика', '90', '15.05.2024'],
]
with open('journal_dirty.csv', 'w', encoding='utf-8', newline='') as file:
  csv.writer(file).writerows(raw_rows)

# 2. Расчёты — читаем выгрузку слоями и считаем метрики по потоку
valid_rows, rejected_rows = read_journal('journal_dirty.csv')

students_grouped = group_by_student(valid_rows, DEADLINE)
summary = build_summary(students_grouped)
ranking = sorted(summary, key=get_average_score, reverse=True)

at_risk = []
for entry in summary:
  if entry['status'] == 'незачёт':
      at_risk.append(entry)

scores_by_subject = group_by_subject(valid_rows)
subject_averages = {}
for subject, scores in scores_by_subject.items():
  subject_averages[subject] = calculate_average(scores)

average_scores = []
statuses = []
overdue_count = 0
for entry in summary:
  average_scores.append(entry['average_score'])
  statuses.append(entry['status'])
  if entry['days_late'] > 0:
      overdue_count += 1

median_score = statistics.median(average_scores)
spread = statistics.stdev(average_scores)
status_counts = Counter(statuses)

# 3. Вывод итогового отчёта
write_report('report.csv', ranking)

print('--- ИТОГОВЫЙ ОТЧЁТ ПО ПОТОКУ ---')
print('Отчёт сохранён в report.csv')

print('\nРейтинг (топ-3):')
for place, entry in enumerate(ranking[:3], start=1):
  print(f"{place}. {entry['student_name']} — {entry['average_score']:.1f}")

print('\nГруппа риска (статус «незачёт»):')
for entry in at_risk:
  print(f"{entry['student_name']} — {entry['average_score']:.1f}, просрочка {entry['days_late']} дн.")

print('\nСредний балл по предметам:')
for subject, average_score in subject_averages.items():
  print(f'{subject}: {average_score:.1f}')

print(f'\nМедиана среднего балла по потоку: {median_score:.1f}')
print(f'Разброс (стандартное отклонение): {spread:.1f}')
print(f'Распределение статусов: {dict(status_counts)}')
print(f'Просрочили дедлайн: {overdue_count} из {len(summary)}')

print(f'\nОтбраковано строк при чтении: {len(rejected_rows)}')
for student_name, subject, reason in rejected_rows:
  print(f'  {student_name} / {subject}: {reason}')

// Output:

--- ИТОГОВЫЙ ОТЧЁТ ПО ПОТОКУ ---
Отчёт сохранён в report.csv

Рейтинг (топ-3):
1. Смирнова Ольга — 90.0
2. Сидорова Анна — 89.0
3. Иванов Иван — 85.0

Группа риска (статус «незачёт»):
Ким Юрий — 55.0, просрочка 5 дн.
Петров Пётр — 15.0, просрочка 4 дн.

Средний балл по предметам:
Python: 86.0
Аналитика: 68.0

Медиана среднего балла по потоку: 85.0
Разброс (стандартное отклонение): 32.3
Распределение статусов: {'зачёт': 3, 'незачёт': 2}
Просрочили дедлайн: 3 из 5

Отбраковано строк при чтении: 2
  Ким Юрий / Python: invalid literal for int() with base 10: 'н/д'
  Петров Пётр / Python: балл вне диапазона 0-100: 150

Что получилось: из десяти строк грязной выгрузки в отчёт попали данные пяти учеников, обе испорченные строки отброшены не молча, а с точной причиной каждая. Рейтинг, группа риска, разбивка по предметам, медиана и распределение статусов — семь разных срезов одной и той же выгрузки, и ни один из них не потребовал нового синтаксиса: только csv, try/except, словари, свои функции и модули statistics/collections/datetime, изученные по одной главе за раз. report.csv на диске содержит только пять чистых строк ранжированного отчёта — то, за что можно ручаться перед деканатом.

Итоговый чек-лист аналитика (вместо чек-листа главы)

Эта глава последняя, поэтому чек-лист — не по одной теме, а по всем двенадцати:

Учебник на этом закончен — но собранные в нём функции, привычки читать traceback и разложенные по слоям скрипты теперь ваш личный набор инструментов, который переносится в любую новую выгрузку. Следующий шаг за пределами этой книги — pandas и визуализация, обозначенные в 13.5.

Возврат к началу: Оглавление