Лекции по теории вероятности и математической статистике

[pic]

т.е. в результате первого испытания произошли элементарные события: [pic].

В результате второго испытания события: [pic].

Сложное событие B определяет все возможные комбинации исходов двух

испытаний независимо друг от друга. В результате первого испытания

произошли элементарные события: [pic].

В результате второго испытания события: [pic].

Тогда: [pic]

[pic], т.к. второе испытание не влияет на результаты первого.

[pic]

т.к. [pic], (надо доказать)

то [pic]

При решении практических задач, связанных с независимыми испытаниями обычно

не требуется строить композиционных пространств элементарных событий, а

использовать формально неверную запись: P(A(B)=P(A)(P(B).

Композиция n испытаний.

Имеется n испытаний. Зададим для i-го испытания вероятностное пространство:

[pic] i=1, ..., n

Композицией n испытаний называется сложное испытание, состоящее в

совместном проведении n испытаний. Задается n испытаний, вероятностное

пространство каждого из которых имеет вид:

[pic] i=1, ..., n

Композиционное пространство имеет вид:

[pic] j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;

Композиция n независимых испытаний.

Испытания (n - испытаний) называются независимыми, если неоднозначность

исхода каждого из испытаний определена не связанными между собой группами

факторов.

Событие A1: в результате проведения композиционного испытания в первом

испытании произошло событие [pic]. Тогда [pic]

Событие An: в результате проведения композиционного испытания в первом

испытании произошло событие [pic]. Тогда [pic]

[pic]

[pic]

[pic] i=1, ..., n

Рассмотрим событие: [pic]

В силу определения независимости испытаний очевидно, что:

[pic]

[pic]

[pic]

[pic].

Следовательно: [pic].

На практике не строят композиционных пространств, а записывают формально

неправильную формулу: P(A1A2...An)=P(A1)P(A2)...P(An).

Композиционное пространство имеет вид:

[pic] j1=1, ..., m1; j2=1, ..., m2; jn=1, ..., mn;

Общая структура независимых событий в композиционном пространстве имеет

вид:

|1-е |это событие, которое происходит в 1-м вероятностном |

|событие -|пространстве |

|2-е |это событие, которое происходит во 2-м вероятностном |

|событие -|пространстве |

|n - |это событие, которое происходит в n-м вероятностном |

|событие -|пространстве |

Рассмотрим два вероятностных пространства.

|I |II |

|[pic] |[pic] |

Очевидно, что неопределенность испытания до испытания в первом

вероятностном пространстве выше, чем во втором. Действительно, до испытания

в I нельзя ни одному из событий отдать предпочтения, а во II событие E3

происходит чаще.

Энтропия - мера неопределенности исхода испытания (до испытания).

Первым, кто функционально задал выражение для энтропии был Шеннон.

[pic], [pic]

Для вероятностного пространства:

[pic]

Энтропия задается выражением: [pic]. Если P1=0, то Pi(logPi=0.

Самим показать, что:

Если вероятностное пространство не имеет определенности, т.е. какое-то из

Pi=1, а остальные равны 0, то энтропия равна нулю.

Если элементарный исход равновероятен, т.е. [pic], то энтропия принимает

максимальное значение.

0(Pi(1, [pic]

1) [pic]

[pic], [pic]

т.о. вероятности p1, p2, ..., ps обращаются в ноль, например pi,

которая равна 1. Но log1=0. Остальные числа также обращаются в 0,

т.к. [pic].

2) Докажем, что энтропия системы с конечным числом состояний достигае

максимума, когда все состояния равновероятны. Для этого рассмотрим

энтропию системы как функцию вероятностей p1, p2, ..., ps и найдем

условный экстремум этой функции, при условии, что [pic].

Пользуясь методом неопределенных множителей Лагранжа, будем искать

экстремум функции: [pic].

Дифференцируя по p1, p2, ..., ps и приравнивая производные нулю получим

систему:

[pic] i=1, ..., s

Откуда видно, что экстремум достигается при равных между собой p1.

Т.к. [pic], то p1= p2=, ..., = ps= 1/s.

Еденицей измерения энтропии является энтропия вероятностного пространства

вида: [pic]

[pic], которая называется 1 бит.

Неопределенность исхода испытания до испытания автоматически определяет

информативность исхода испытания после испытания. Поэтому в битах также

измеряется информативность исхода.

Рассмотрим два вероятностных пространства:

[pic] [pic]

Проводим композицию двух испытаний. Композиционное пространство имеет вид:

[pic] i=1, ..., s1 j=1, ..., s2

С точки зрения качественного анализа максимальная энтропия композиционного

вероятностного пространства достигается тогда, когда испытания независимы.

Найдем энтропию композиционного пространства для случая независимых

испытаний.

[pic]

[pic]

Биномиальное распределение.

n испытаний называются системой испытаний Бернулли, если испытания

независимы, в каждом из них происходит событие [pic], либо [pic] с

вероятностью наступления P(A) = p; [pic]

Найдем вероятность того, что в результате проведенных n испытаний событие А

произошло m раз:

[pic]

Рассмотрим композицию n независимых испытаний и построим композиционное

пространство элементарных событий.

Общий вид элемента этого пространства следующий:

[pic]

|где|[pic] |

При этом вероятность наступления такого события равна:

[pic](умножение при независимых событиях)[pic]

Найдем вероятность наступления любого элементарного события из

композиционного пространства:

[pic]

Рассмотрим в композиционном вероятностном пространстве событие: в n

испытаниях событие A произошло m раз.

Событие A состоит из [pic] - общее кол-во элементарных событий, в которое

входит событие А. А произошло m раз, [pic] - n-m раз. Вероятность каждого

из этих элементарных событий одинакова и равна:

[pic]

Следовательно, на основании III аксиомы теории вероятности результат

равняется:

[pic] (сложение вероятностей)

[pic]

Случайная величина

Пусть имеется вероятностное пространство вида [pic].

Случайной величиной называется измеримая числовая скалярная функция [pic],

элементами которой являются элементарные события.

Числовая скалярная функция - это функция, удовлетворяющая следующему

условию:

[pic] событие [pic]- алгебре и, следовательно, имеет вероятность

наступления.

Если произведено испытание, в результате которого произошло некоторое

элементарное событие [pic]. В соответствии с функцией [pic] этому

элементарному событию соответствует число, которое называется реализацией

случайной величины x в данном испытании.

В соответствии с определением случайной величины вводится числовая

скалярная функция F(x), [pic], определенная для каждого действительного x и

по определению равная вероятности наступления события:

[pic]

Эта функция называется функцией распределения случайной величины [pic].

Рассмотрим три события:

[pic]

где a0 функция Лапласа определяет вероятность попадания нормальной

случайной величины с параметрами

MX=0

DX=1

в интервале (0, z)

2)

[pic]

3) [pic] - функция нечетная

Иногда в литературе встречаются два вида функций Лапласа

[pic]

Функция Лапласа табулирована. Функция Лапласа используется для выполнения

событий вида

[pic]

для произвольных нормальных величин.

Найдем вероятность того, что в результате испытания над x произойдет

сложное событие: x примет числовое значение, принадлежащее отрезку с

концами (a, b).

[pic]

Пример.

x - случайная величина.

f(x) - плотность вероятности.

Найти плотность вероятности g(n) случайной величины H.

[pic]

Рассмотрим отрезок (h, h+dh). Событию попадание H в отрезок (h, h+dh) в

силу однозначности функции h(x) соответствует попадание x в отрезок (x,

x+dx). При этом вероятности наступления такого события одинаковы:

[pic]

Тогда построим функцию h(x), обратную x(h), x=x(h).

т.к. [pic]

Вероятность первого события равна

[pic]

Вероятность второго события

[pic]

Следовательно

[pic]

Неравенство Чебышева

Рассмотрим случайную величину X с конечным мат. ожиданием и дисперсией

[pic]

Для любого неотрицательного числа t вероятность наступления события

[pic]

Пусть Z - непрерывная случайная величина с плотностью вероятности f(Z).

Пространство событий величины Z (0; ?). Тогда имеет место неравенство

[pic]

Доказать неравенства

[pic]

Рассмотрим два сложных события

[pic]

a - произвольное действительное число.

Показать самим, что x - удовлетворяет и одному и другому неравенству.

Тогда [pic] справедливо

[pic]

В данном случае [pic]

Равномерность неравенств при ?>0

|[pic] |[pic] |

или, в частности, при a=?=MX

[pic]

при ?=?t справедливо неравенство Чебышева.

Многомерные случайные величины.

Инженерная интерпретация.

Проводится испытание. В результате испытания фиксируется m числовых

значений X1, X2, ...,Xm. Исход испытания случайный.

Пример: Испытание - реализация некоторой технологии выпуска продукта. Исход

- численное значение m характеристик, оценив которые мы оценим качество

продукта.

Т.к. в процессе реализации технологии на технологию действуют случайные

факторы, то результат испытания неоднозначен.

Аксиоматика. Формальная вероятностная модель.

Имеется вероятностное пространство: ((, (, P). Зададим m числовых измеримых

скалярных функций (1((), ..., (m((). Каждая из этих функций является

одномерной по определению. Возьмем m произвольных действительных чисел и

рассмотрим событие A.

[pic]

Очевидно, что событие A является пересечением событий Ai вида:

[pic]

Т.к. каждое Ai((-алгебре, то и A((-алгебре. Следовательно, существует

вероятность наступления события A и существует числовая скалярная функция m

действительных аргументов, которая определена для всех значений своих

аргументов и численно равна вероятности наступления события A.

F(x1, x2, ...,xm)=P(A)

Это m-мерная функция распределения m-мерной случайной величены.

Свойства многомерного распределения:

1. Значение функции при значении хотя бы одного ее аргумента равного

-(, равно 0, как вероятность невозможного события.

2. Значение функции, при всех значениях ее аргументов равных +(, равно

1, как вероятность достоверного события.

3. Функция не убывает по любой совокупности ее аргументов.

4. Функция непрерывна почти всюду (для инженерной практики это

означает, что на конечном, либо счетном множестве аргументов она

может иметь скачки 1-го рода).

Рассмотрим арифметическое пространство [pic] и зададим полуинтервалы вида:

[pic]

Доказать самим, что P(B) существует, и образ этого множества принадлежит (-

алгебре по (.

[pic]

Можно доказать, что:

[pic]

Т.о. многомерная функция распределения позволяет в m-мерном арифметическом

пространстве задать счетно-аддитивную меру - функцию на поле, порожденному

всеми m-мерными полуинтервалами объема ((i, ai(bi). Тогда построим

минимальную (-алгебру на этом поле, которая называется борелевским полем

(алгеброй) в m-мерном арифметическом пространстве. Любая скалярная функция

m-аргументов удовлетворяет всем свойствам, приведенным для m-мерной функции

распределения и однозначно задает вероятностное пространство вида:

[pic]

Таким образом, для инженерного исследования задача свелась к следующему:

пространство элементарных событий - это m-мерное арифметическое

пространство. По результатам статистических испытаний нужно оценить m-

мерную функцию распределения F(x1, x2, ...,xm). Рассмотрим числовую

скалярную функцию m действительных аргументов. g(x1, x2, ...,xm). Функция

g(x1, x2, ...,xm) называется борелевской, если для любого B(( в одномерном

арифметическом пространстве соответствующая [pic]. Тогда справедлива

теорема, доказательство которой полностью повторяет доказательство в

одномерном случае. Скалярная функция [pic]- является измеримой скалярной

функцией - случайной величиной.

Двумерные случайные величины.

Рассмотрим испытание, результатом которого является появление двух чисел из

некоторого конечного либо счетного множества пар чисел. Это испытание

физически может быть одним испытанием (мгновенное измерение прибором

величены тока и напряжения в сети), а также может быть композицией двух

испытаний, каждое из которых порождает одномерную дискретную величину.

Условно двумерная дискретная случайная величина обозначается как XY, либо

любые две буквы латинского алфавита, либо для: X:{x1, x2, ...,xs}, Y:{y1,

y2, ...,yn}, проводя испытание над двумерной случайной величиной находят

одно из чисел из X либо из Y. А вероятностное пространство двумерной

случайной величены формально строится так:

[pic]

Двумерной случайной величиной называется система из двух одномерных

случайных величин X, Y, где как X, так и Y являются дискретными случайными

величинами. В пространстве элементарных событий дискретной случайной

величены XY определим сложное событие A: В результате испытания над

двумерной случайной величиной XY, случайная величина X приняла значение xi,

случайная величина Y - любое значение.

[pic]

[pic]

Вводим сложное событие B: В результате испытания над двумерной случайной

величиной XY, случайная величина Y приняла значение yj.

[pic]

[pic]

Найдем условную вероятность:

[pic]

Аналогично:

[pic]

Покажем что сумма условных вероятностей: [pic]; [pic]

[pic]

Условным математическим ожиданием является выражение:

[pic]; [pic]

Условной дисперсией называется выражение:

[pic];

[pic].

Условное мат. ожидание и дисперсия отличаются от безусловной только тем,

что в их определении подставляется условная вероятность вместо безусловной.

Условное мат. ожидание случайной величены, при условии, что другая

случайная величена приняла заданное значение определяет число-точку,

относительно которой группируются результаты конкретных испытаний над одной

случайной величиной, при условии, что в этом испытании (над двумерной

случайной величиной XY) вторая случайная величена приняла заданное

фиксированное значение.

Условная дисперсия определяет степень концентрации результатов конкретных

испытаний над одной случайной величиной относительно условного мат.

ожидания.

При решении практических задач условное мат ожидание и условная дисперсия

обычно используются в следующем случае: проводят испытание над X и Y,

исследователь имеет возможность измерять результаты испытания над одной

случайной величиной, измерение другой недоступно. Если условные дисперсии

малы, то в качестве неизвестного значения не измеряемой случайной величены,

которую она приняла в результате испытания, можно брать мат. ожидание.

Двумерные непрерывные случайные величины.

Двумерная случайная величина называется непрерывной случайной величиной,

если пространством ее элементарных событий является плоскость, либо область

плоскости, либо область конечной ненулевой плоскости. Очевидно что X и Y

являются одномерными непрерывными случайными величинами.

Следствием этого определения является следующее: любое сложное событие

размерности 1 (произвольная кривая, принадлежащая пространству элементарных

событий) имеет нулевую вероятность т.к. в противном случае вероятность

достоверного события никогда бы не равнялась единице. Числовая скалярная

функция двух действительных аргументов называется двумерной плотностью

вероятности, двумерной случайной величины XY, если для фиксированных

значений своих аргументов она выполняет равенство [pic]. Приведенное здесь

определение является аналогичным определению одномерной плотности

вероятности.

[pic]

Ниже будет выведено условие существования плотности вероятности для

фиксированных x, y.

[pic]

Рассмотрим произвольную область G.

Разобьем область G на множество прямоугольников, покрывающих область G.

Тогда на основании 3-й аксиомы теории вероятности имеем: вероятность

искомого события равна:

[pic]. Точное выражение получим перейдя к пределу: [pic] (показать самим).

Числовая скалярная функция двух действительных аргументов называется

двумерной функцией распределения, если она при фиксированном числе своих

аргументов численно равна вероятности наступления Fx,y(x,y)=P(X(x, Y(y),

если X, y - непрерывные случайные величины, то значение функции

распределения не изменится.

Доказать:

[pic]

[pic]

[pic]

По определению второй смешанной производной.

Найдем по двумерной плотности одномерные плотности случайных величин X и Y.

[pic]

Т.к. полученное равенство верно для всех х, то подинтегральные выражение

[pic]

аналогично

[pic]

В математической теории вероятности вводится как базовая формула (1) ибо

предлагается, что плотность вероятности как аналитическая функция может не

существовать. Но т.к. в нашем курсе мы исследуем только 2 конструкции -

дискретные или непрерывные, то для них полученные формулы эквивалентны и не

имеет смысла какую-то из них вводить как первичную.

Условная плотность вероятности.

Найдем плотность вероятности случайной величины Y при условии, что в

результате испытания над случайной величиной XY , X приняло значение х.

Обозначим

[pic]

тут мы использовали второе определение одномерной плотности.

В качестве условной плотности вероятности используется следующее выражение

[pic]

Обоснование выражения для условной плотности вероятности

[pic]

Выведем выражение для ?

[pic]

Обозначим [pic]

[pic]

Условное мат. ожидание и дисперсия линии регрессии - зависимость Y от X,

выраженная в изменении средних значений Y при переходе x от одного значения

к другому. Найдем математическое ожидание MZ, где

[pic]

Двумерные независимые случайные величины (двумерные дискретные случайные

величины)

Двумерная дискретная случайная величина называется случайной величиной с

независимыми компонентами, если[pic]

Показать самим, что справедливо

[pic]

Доказать самим, что если испытание, исходом которого является пара чисел

[pic] является композицией двух независимых испытаний, то случайные

величины X Y независимы.

[pic]

Независимые непрерывные двумерные случайные величины.

Непрерывными случайными величинами с независимыми компонентами называются

если:

Непрерывная двумерная случайная величина имеет независимые случайные

компоненты, если

или [pic]

Покажем, что второе эквивалентно первому.

[pic]

Покажем, что если двумерная непрерывная случайная величина XY порождена

Страницы: 1, 2, 3