Формула доверительной вероятности при оценке генераль ной доли признака. Средняя квадратическая ошибка повторной и бесповторной выборок и построение доверительного интервала для генеральной доли признака.

1. Формула доверительной вероятности при оценке генеральной средней. Средняя квадратическая ошибка повторной и бес­повторной выборок и построение доверительного интервала для генеральной средней.

Построение доверительного интервала для гeнеральной средней и гeнеральной доли по большим выборкам . Для построения доверительных интервалов для параметров генеральных совокупностей м.б. реализованы 2 подхода, основанных на знании точного (при данном объеме выборки n) или асимптотического (при n → ∞) распределения выборочных характеристик (или некоторых функций от них). Первый подход реализован далее при построении интервальных оценок параметров для малых выборок. В данном параграфе рассматривается второй подход, применимый для больших выборок (порядка сотен наблюдений).

Теорема . Вер-ть того, что отклонение выборочной средней (или доли) от генеральной средней (или доли) не превзойдет число Δ > 0 (по абсолютной величине), равна:

Где

, Где .

Ф(t) - функция (интеграл вероятностей) Лапласа.

Формулы получили название формул доверительной вер-ти для средней и доли .

Среднее квадратическое отклонение выборочной средней и выборочной долисобственно-случайной выборки называетсясредней квадратической (стандартной) ошибкой выборки (для бесповторной выборки обозначаем соответственно и).

Следствие 1 . При заданной доверительной вер-ти γ предельная ошибка выборки равна t-кратной величине средней квадратической ошибки, где Ф(t) = γ, т.е.

,

.

Следствие 2 . Интервальные оценки (доверительные интервалы) для генеральной средней и генеральной доли могут быть найдены по формулам:

,

.

1. Определение необходимого объема повторной и бесповтор­ной выборок при оценке генеральной средней и доли.

Для проведения выборочного наблюдения весьма важно правильно установить объем выборки n, к-ый в значительной степени определяет необходимые при этом временные, трудовые и стоимостные затраты для определения n необходимо задать надежность (доверительную вер-ть) оценки γ и точность (предельную ошибку выборки) Δ.

Если найден объем повторной выборки n, то объем соответствующей бесповторной выборки n" можно определить по формуле:

.

Т.к.
, то при одних и тех же точности и надежности оценок объем бесповторной выборки n" всегда меньше объема повторной выборки n.

1. Статистическая гипотеза и статистический критерий. Ошибки 1-го и 2-го рода. Уровень значимости и мощность критерия. Принцип практической уверенности.

Определение . Статистической гипотезой называется любое предположение о виде или параметрах неизвестного закона распределения.

Различают простую и сложную статистические гипотезы . Простая гипотеза , в отличие от сложной, полностью определяет теоретическую функцию распределения СВ.

Проверяемую гипотезу обычно называют нулевой (или основной ) и обозначают Н 0 . Наряду с нулевой гипотезой рассматривают альтернативную , или конкурирующую , гипотезу H 1 , являющуюся логическим отрицанием Н 0 . Нулевая и альтернативная гипотезы представляют собой 2 возможности выбора, осуществляемого в задачах проверки статистических гипотез.

Суть проверки статистической гипотезы заключается в том, что используется специально составленная выборочная характеристика (статистика)
, полученная по выборке
, точное или приближенное распределение которой известно.

Затем по этому выборочному распределению определяется критическое значение - такое, что если гипотеза Н 0 верна, то вер-ть
мала; так что в соответствии с принципом практической уверенности в условиях данного исследования событие
можно (с некоторым риском) считать практически невозможным. Поэтому, если в данном конкретном случае обнаруживается отклонение
, то гипотеза Н 0 отвергается, в то время как появление значения
, считается совместимым с гипотезой Н 0 , которая тогда принимается (точнее, не отвергается). Правило, по которому гипотеза Н 0 отвергается или принимается, называется статистическим критерием или статистическим тестом .

Принцип практической уверенности:

Если вер-ть события А в данном испытании очень мала, то при однократном выполнении испытания можно быть уверенным в том, что событие А не произойдет, и в практической д-ти вести себя так, как будто событие А вообще невозможно.

Т.о., множество возможных значений статистики - критерия (критической статистики) разбивается на 2 непересекающихся подмножества:критическую область (область отклонения гипотезы) W и область допустимых значений (область принятия гипотезы) . Если фактически наблюдаемое значение статистики критерияпопадает в критическую область W, то гипотезу Н 0 отвергают. При этом возможны четыре случая:

Определение . Вероятность α допустить ошибку l-го рода, т.е. отвергнуть гипотезу Н 0 , когда она верна, называется уровнем значимости , или размером критерия .

Вероятность допустить ошибку 2-го рода, т.е. принять гипотезу Н 0 , когда она неверна, обычно обозначают β.

Определение . Вероятность (1-β) не допустить ошибку 2-го рода, т.е. отвергнуть гипотезу Н 0 , когда она неверна, называется мощностью (или функцией мощности ) критерия .

Следует предпочесть ту критическую область, при которой мощность критерия будет наибольшей.

Понятие и расчет ошибки выборки.

Задачей выборочного наблюдения является дача верных представлений о сводных показателях всей совокупности на основе некоторой их части, подвергнутой наблюдению. Возможное отклонение выборочной доли и выборочной средней от доли и средней в генеральной совокупности называется ошибкойвыборки или ошибкойрепрезентативности. Чем больше величина этой ошибки, тем больше показатели выборочного наблюдения отличаются от показателей генеральной совокупности.

Различаются:

Ошибки выборки;

Ошибки регистрации.

Ошибки регистрации возникают при неправильном установлении факта в процессе наблюдения. Они свойственны как сплошному наблюдению, так и выборочному, но в выборочном их меньше.

По природе ошибки бывают:

Тенденциозные – преднамеренные, т.е. были отобраны либо лучшие, либо худшие единицы совокупности. При этом наблюдения теряют смысл;

Случайные – основной организационный принцип выборочного наблюдения состоит в том, чтобы не допустить преднамеренного отбора, т.е. обеспечить строгое соблюдение принципа случайного отбора.

Общим правилом случайного отбора является: у отдельных единиц генеральной совокупности должны быть совершенно одинаковые условия и возможности упасть в число единиц, входящих в выборку. Это характеризует независимость результата выборки от воли наблюдателя. Воля же наблюдателя порождает тенденциозные ошибки. Ошибка выборки при случайном отборе носит случайный характер. Она характеризует размеры отклонений генеральных характеристик от выборочных.

В связи с тем, что признаки в изучаемой совокупности варьируют, то состав единиц, попавших в выборку, может не совпадать с составом единиц всей совокупности. Это означает, что Р и не совпадают с W и . Возможное расхождение между этими характеристиками определяется ошибкой выборки, которая определяется по формуле:

где - генеральная дисперсия.

где - выборочная дисперсия.

Отсюда видно, где генеральная дисперсия отличается от выборочной дисперсии в раз.

Существует повторный и бесповторный отбор. Сущность повторного отбора состоит в том, что каждая, попавшая в выборку единица, после наблюдения возвращается в генеральную совокупность и может быть исследована повторно. При повторном отборе средняя ошибка выборки рассчитывается:

Для показателя доли альтернативного признака дисперсия выборки определяется по формуле:

На практике повторный отбор применяется редко. При бесповторном отборе, численность генеральной совокупности N в ходе выборки сокращается, формула средней ошибки выборки для количественного признака имеет вид:

, тогда

Одно из возможных значений, в которых может находиться доля изучаемого признака равно:

где - ошибка выборки альтернативного признака.

Пример .

При выборочном обследовании 10 % изделий партии готовой продукции по методу без повторного отбора получены следующие данные о содержании влаг в образцах.

Определить средний % влажности, дисперсию, среднее квадратическое отклонение, с вероятностью 0,954 возможные пределы, в которых ожидается ср. % влажности всей готовой продукции, с вероятность 0,987 возможные пределы удельного веса стандартной продукции при условии, что к нестандартной партии относятся изделия с влажностью до 13 и выше 19 %.

Лишь с определенной вероятностью можно утверждать, что генеральная доля от выборочной доли и генеральная средняя от выборочной средней, отклоняются в t раз.

В статистике эти отклонения называются предельнымиошибкамивыборки и обозначаются .

Вероятность суждений можно повысить или понизить в t раз. При вероятности 0,683 , при 0,954 , при 0,987 , тогда показатели генеральной совокупности по показателям выборки определяются.

Расхождение между значениями показателей, полученных по выборке, и соответствующими параметрами генеральной совокупности называют ошибкой репрезентативности. Различают систематические и случайные ошибки выборки.

Случайные ошибки объясняются недостаточно равномерным представлением в выборочной совокупности различных категорий единиц генеральной совокупности.

Систематические ошибки могут быть связаны с нарушением правил отбора или условий реализации выборки.

Так, при обследовании бюджетов домашних хозяйств выборочную совокупность на протяжении более 40 лет строили на основе территориально-отраслевого принципа отбора, что было обусловлено основной целью бюджетного обследования – дать характеристику уровня жизни рабочих, служащих и колхозников. Выборочная совокупность распределялась по регионам и отраслям экономики РСФСР пропорционально общей численности занятых; для создания отраслевой выборки применяли типическую выборку с механическим отбором единиц внутри групп.

Главным критерием отбора была среднемесячная оплата труда. Принцип отбора обеспечивал пропорциональную представительность в выборочной совокупности работающих с различным уровнем заработной платы.

С появлением новых социальных групп (предпринимателей, фермеров, безработных) репрезентативность выборки нарушалась не только в силу различий со структурой генеральной совокупности, но и в связи с систематической ошибкой, которая возникала из-за несовпадения единицы отбора (работник) и единицы наблюдения (домохозяйство). Домохозяйство, имеющее более одного работающего члена семьи, имело и бо́льшую вероятность быть отобранным, чем домохозяйство, в составе которого был один работающий. Семьи, не имеющие занятых в обследуемых отраслях, выпадали из круга отбираемых единиц (домохозяйства пенсионеров, домохозяйства, существующие за счет индивидуальной трудовой деятельности, и т.п.). Оценка точности полученных результатов (границы доверительных интервалов, ошибки выборки) была затруднена, так как при построении выборки не использовались вероятностные модели.

В 1996–1997 гг. был внедрен принципиально новый подход к формированию выборки домашних хозяйств. В качестве основы для ее проведения использовали данные микропереписи населения 1994 г. Генеральную совокупность при отборе составили все типы домашних хозяйств, за исключением коллективных. А выборочную совокупность стали организовывать с учетом представительности состава и типов домашних хозяйств в пределах каждого субъекта РФ.

Измерение ошибок репрезентативности выборочных показателей основано на предположении о случайном характере их распределения при бесконечно большом числе выборок.

Количественную оценку надежности выборочного показателя используют, чтобы составить представление о генеральной характеристике. Это осуществляют либо на основе выборочного показателя с учетом его случайной ошибки, либо на основе выдвижения некоторой гипотезы (о величине средней дисперсии, характере распределения, связи) в отношении свойств генеральной совокупности.

Для проверки гипотезы оценивают согласованность эмпирических данных с гипотетическими.

Величина случайной ошибки репрезентативности зависит:

• 1) от объема выборки;
• 2) степени вариации изучаемого признака в генеральной совокупности;
• 3) принятого способа формирования выборочной совокупности.

Различают среднюю (стандартную) и предельную ошибки выборки.

Средняя ошибка характеризует меру отклонений выборочных показателей от аналогичных показателей генеральной совокупности.

Предельной ошибкой принято считать максимально возможное расхождение выборочной и генеральной характеристик, т.е. максимум ошибки при заданной вероятности ее появления.

По данным выборочной совокупности можно оценить различные показатели (параметры) генеральной совокупности. Наиболее часто используют оценку:

• – генеральной средней величины изучаемого признака (для многозначного количественного признака);
• – генеральной доли (для альтернативного признака).

Основным принципом применения выборочного метода является обеспечение равной возможности для всех единиц генеральной совокупности быть отобранными в выборочную совокупность. При таком подходе соблюдается требование случайного, объективного отбора и, следовательно, ошибка выборки определяется прежде всего ее объемом (п ). С увеличением последнего величина средней ошибки уменьшается, характеристики выборочной совокупности приближаются к характеристикам генеральной совокупности.

При одинаковой численности выборочных совокупностей и прочих равных условиях ошибка выборки будет меньше в гой из них, которая отобрана из генеральной совокупности с меньшей вариацией изучаемого признака. Уменьшение вариации признака означает снижение величины дисперсии (– для количественного признака или – для альтернативного признака).

Зависимость величины ошибки выборки от способов формирования выборочной совокупности определяется по формулам средней ошибки выборки (табл. 5.2).

Дополним показатели табл. 5.2 следующими пояснениями.

Выборочная дисперсия несколько меньше генеральной, в математической статистике доказано, что

Таблица 5.2

Формулы расчета средней ошибки выборки мри различных способах отбора

Вид выборки
	повторный для		бесповторный для
Собственно случайная (простая)
Серийная (с равновеликими
Типическая (пропорционально объему групп)

Если выборочная совокупность имеет большой объем (т.е. п достаточно велико), то соотношение приближается к единице и выборочная дисперсия практически совпадает с генеральной.

Выборку считают безусловно большой при п > 100 и безусловно малой при п < 30. При оценке результатов малой выборки указанное соотношение выборочной и генеральной дисперсии следует принимать во внимание.

Они могут быть рассчитаны по следующим формулам:

где – средняя i -й серии; – общая средняя по всей выборочной совокупности;

где – доля единиц определенной категории в i -й серии; – доля единиц этой категории во всей выборочной совокупности; r – число отобранных серий.

4. Для определения средней ошибки типической выборки в случае отбора единиц пропорционально численности каждой группы в качестве показателя вариации выступает средняя из внутригрупповых дисперсий (– для количественного признака, для альтернативного признака). По правилу сложения дисперсий величина средней из внутригрупповых дисперсий меньше, чем величина общей дисперсии. Значение средней возможной ошибки типической выборки меньше, чем ошибка простой собственно-случайной выборки.

Часто используют комбинированный отбор: индивидуальный отбор единиц сочетают с групповым, типический отбор – с отбором сериями. При любом способе отбора с определенной вероятностью можно утверждать, что отклонение выборочной средней (или доли) от генеральной средней (или доли) не превысит некоторую величину, которую называют предельной ошибкой выборки.

Соотношение между пределом ошибки выборки (∆), гарантируемым с некоторой вероятностью F(t), и средней ошибкой выборки имеет вид: или , где t – коэффициент доверия, определяемый в зависимости от уровня вероятности F(t).

Значения функции F(t) и t определяются на основе специально составленных математических таблиц. Приведем некоторые из них, применяемые наиболее часто:

т

Таким образом, предельная ошибка выборки отвечает на вопрос о точности выборки с определенной вероятностью, величина которой зависит от значения коэффициента доверия t. Так, при t = 1 вероятность F(t ) отклонения выборочных характеристик от генеральных на величину однократной средней ошибки равна 0,683. Следовательно, в среднем из каждой 1000 выборок 683 дадут обобщающие показатели (среднюю, долю), которые будут отличаться от генеральных не более чем на величину однократной средней ошибки. При t = 2 вероятность F(t) равна 0,954, это означает, что из каждой 1000 выборок 954 дадут обобщающие показатели, которые будут отличаться от генеральных не более чем на двукратную среднюю ошибку выборки, и т.д.

Наряду с абсолютной величиной предельной ошибки выборки рассчитывают и относительную ошибку, которая определяется как процентное отношение предельной ошибки выборки к соответствующей характеристике выборочной совокупности:

На практике принято задавать величину ∆, как правило, в пределах 10% предполагаемого среднего уровня признака.

Расчет средней и предельной ошибок выборки позволяет определить пределы, в которых будут находиться характеристики генеральной совокупности:

Пределы, в которых с данной степенью вероятности будет заключена неизвестная величина изучаемого показателя в генеральной совокупности, называют доверительным интервалом, а вероятность F(t) – доверительной вероятностью. Чем выше значение ∆, тем больше величина доверительного интервала и, следовательно, ниже точность оценки.

Рассмотрим следующий пример. Для определения среднего размера вклада в банке методом повторной случайной выборки было отобрано 200 валютных счетов вкладчиков. В результате установили, что средний размер вклада – 60 тыс. руб., дисперсия составила 32. При этом 40 счетов оказались до востребования. Необходимо с вероятностью 0,954 определить пределы, в которых находятся средний размер вклада на валютных счетах в банке и доля счетов до востребования.

Рассчитаем среднюю ошибку выборочной средней по формуле для повторного отбора

Предельная ошибка выборочной средней с вероятностью 0,954 составит

Следовательно, средний размер вклада на валютных счетах в банке находится в пределах тыс. руб.:

С вероятностью 0,954 можно утверждать, что средний размер вклада на валютных счетах в банке составляет от 59 200 до 60 800 руб.

Определим долю вкладов до востребования в выборочной совокупности:

Средняя ошибка выборочной доли

Предельная ошибка доли с вероятностью 0,954 составит

Таким образом, доля счетов до востребования в генеральной совокупности находится в пределах w :

С вероятностью 0,954 можно утверждать, что доля счетов до востребования в общем числе валютных счетов в банке составляет от 14,4 до 25,6%.

При конкретных исследованиях важно установить оптимальное соотношение между мерой надежности полученных результатов и величиной допустимой ошибки выборки. В связи с этим при организации выборочного наблюдения возникает вопрос, связанный с определением объема выборки, необходимого для получения требуемой точности результатов с заданной вероятностью. Расчет необходимого объема выборки проводится на основе формул предельной ошибки выборки в соответствии с видом и способом отбора (табл. 5.3).

Таблица 5.3

Формулы расчета численности выборки при собственно-случайном способе отбора

Продолжим пример, в котором представлены результаты выборочного обследования лицевых счетов вкладчиков банка.

Требуется установить, сколько необходимо обследовать счетов, чтобы с вероятностью 0,977 ошибка при определении среднего размера вклада не превысила 1,5 тыс. руб. Выразим из формулы предельной ошибки выборки для повторного отбора показатель численности выборки:

При определении необходимого объема выборки по приведенным формулам возникает трудность в нахождении значений σ2 и да, так как эти величины можно получить только после проведения выборочного обследования. В связи с этим вместо фактических значений данных показателей подставляют приближенные, которые могли быть определены на основе каких-либо пробных выборочных наблюдений или из аналитических предыдущих обследований.

В тех случаях, когда статистик знает среднее значение изучаемых признаков (например, из инструкций, законодательных актов и т.п.) или пределы, в которых этот признак варьируется, можно применить следующий расчет по приближенным формулам:

а произведение w(1 – w) заменить значением 0,25 (w = 0,5).

Чтобы получить более точный результат, принимают максимально возможное значение этих показателей. Если распределение признака в генеральной совокупности подчиняется нормальному закону, то размах вариации примерно равен 6σ (крайние значения отстоят в ту и другую сторону от средней на расстоянии 3σ). Отсюда , но если распределение заведомо асимметрично, то .

При любом виде выборки ее объем начинают рассчитывать по формуле повторного отбора

Если в результате расчета доля отбора (n ) превысит 5%, то проводят расчет по формуле бесповторного отбора.

Для типической выборки необходимо общий объем выборочной совокупности разделить между выделенными типами единиц. Расчет числа наблюдений из каждой группы зависит от названных ранее организационных форм типической выборки.

При типическом отборе единиц непропорционально численности групп общее число отбираемых единиц делят на число групп, полученная величина дает численность отбора из каждой типической группы:

где k – число выделенных типических групп.

При отборе единиц пропорционально численности типических групп число наблюдений по каждой группе определяют по формуле

где – объем выборки из i -й группы; – объем i -й группы.

При отборе с учетом вариации признака процент выборки из каждой группы должен быть пропорционален среднему квадратическому отклонению в этой группе (). Расчет численности () производят по формулам

При серийном отборе необходимую численность отбираемых серий определяют так же, как и при собственно-случайном отборе:

Повторный отбор

Бесповторный отбор

При этом дисперсии и ошибки выборки могут быть рассчитаны для средней величины или доли признака.

При использовании выборочного наблюдения характеристика его результатов возможна на основе сопоставления полученных пределов ошибок выборочных показателей с величиной допустимой погрешности.

В связи с этим возникает задача определения вероятности того, что ошибка выборки не превысит допустимой погрешности. Решение этой задачи сводится к расчету на основе формулы предельной ошибки выборки величины t.

Продолжая рассмотрение примера выборочного обследования лицевых счетов клиентов банка, найдем вероятность, с которой можно утверждать, что ошибка при определении среднего размера вклада не превысит 785 руб.:

соответствующая доверительная вероятность составит 0,95.

В настоящее время практика выборочного наблюдения включает статистические наблюдения, осуществляемые:

• – органами Росстата;
• – другими министерствами и ведомствами (например, мониторинг предприятий в системе Банка России).

Известное обобщение опыта по организации выборочных обследований малых предприятий, населения и домашних хозяйств представлено в Методологических положениях по статистике. В них дано более широкое понятие выборочного наблюдения, чем это рассмотрено выше (табл. 5.4).

В статистической практике используют все четыре типа выборок, представленных в табл. 5.4. Однако обычно отдают предпочтение описанным выше вероятностным (случайным) выборкам, являющимся наиболее объективными, так как по ним можно оценить точность получаемых результатов по данным самой выборки.

Таблица 5.4

Типы выборок

В выборках квазислучайного типа предполагается наличие вероятностного отбора на том основании, что специалист, рассматривающий выборку, считает его допустимым. Примером использования квазислучайной выборки в статистической практике является "Выборочное обследование малых предприятий по изучению социальных процессов в малом предпринимательстве", проведенное в 1996 г. в некоторых регионах России. Единицы наблюдения (малые предприятия) отбирались экспертно с учетом представительства отраслей экономики из уже сформированной выборки обследования финансово-хозяйственной деятельности малых предприятий (форма "Сведения об основных показателях финансово-хозяйственной деятельности малого предприятия"). При обобщении выборочных данных предполагалось, что выборочная совокупность сформирована методом простого случайного отбора.

Прямое использование суждения эксперта является наиболее общим методом намеренного включения единиц в выборку. Примером такого способа отбора является монографический метод, предполагающий получение информации только от одной единицы наблюдения, являющейся типичной, по мнению организатора обследования – эксперта.

Выборки, сформированные на основе направленного отбора, реализуются с помощью объективной процедуры, но без использования вероятностного механизма. Широко известен метод основного массива, при котором в выборку включают наиболее крупные (существенные) единицы наблюдения, обеспечивающие основной вклад в показатель, например суммарное значение признака, представляющего основную цель обследования.

В статистической практике часто применяют комбинированный метод статистического наблюдения. Сочетание сплошного и выборочного методов наблюдения имеет два аспекта:

• чередование во времени;
• одновременное их использование (часть совокупности наблюдают на сплошной основе, а часть – выборочно).

Чередование периодических выборочных со сравнительно редкими сплошными обследованиями или переписями необходимо для уточнения состава исследуемой совокупности. В дальнейшем эту информацию используют как статистическую основу выборочного наблюдения. Примерами могут служить переписи населения и выборочные обследования домашних хозяйств в промежутках времени между их проведениями.

В данном случае требуется решать следующие задачи:

• – определение состава признаков сплошного наблюдения, обеспечивающих организацию выборки;
• – обоснование периодов чередования, т.е. когда сплошные данные теряют актуальность и нужны затраты на их обновление.

Одновременное использование в рамках одного обследования сплошного и выборочного наблюдений обусловлено неоднородностью встречающихся в статистической практике совокупностей. В особенности это справедливо для обследований экономической деятельности совокупности предприятий, для которой характерны скошенные распределения изучаемых признаков, когда некоторое число единиц имеет характеристики, сильно отличающиеся от основной массы значений. В этом случае такие единицы наблюдают на сплошной основе, а другую часть совокупности – выборочно.

При данной организации наблюдений основными задачами выступают:

• – установление их оптимальной пропорции;
• – разработка способов оценки точности результатов.

Типичным примером, иллюстрирующим данный аспект применения комбинированного метода, является общий принцип проведения обследований совокупности предприятий, в соответствии с которым обследования совокупности крупных и средних предприятий проводят преимущественно сплошным методом, а малых – выборочным.

Дальнейшее развитие методологии выборочного наблюдения осуществляют как в сочетании с организацией сплошного наблюдения, так и через организацию специальных обследований, проведение которых диктуется необходимостью получения дополнительной информации для решения конкретных задач. Так, организация обследований в области условий и уровня жизни населения предусмотрена в двух аспектах:

• – обязательные компоненты;
• – дополнительные модули в рамках комплексной системы показателей.

Обязательными компонентами могут стать ежегодные исследования доходов, расходов и потребления (аналог обследования бюджетов домашних хозяйств), включающие также базовые показатели условий жизни населения. Ежегодно по специальному плану обязательные компоненты должны дополняться единовременными обследованиями (модулями) условий жизни населения, направленными на углубленное изучение какой-либо выбранной социальной темы из их общего числа (например, активы домашних хозяйств, здоровье, питание, образование, условия труда, жилищные условия, досуг, социальная мобильность, безопасность и др.) с различной периодичностью, определяемой потребностью в показателях и ресурсными возможностями.

Ошибки систематические и случайные

Модульная единица 2 Ошибки выборки

Поскольку выборка охватывает, как правило, весьма незначительную часть генеральной совокупности, то следует предполагать, что будут иметь место различия между оценкой и характеристикой генеральной совокупности, которую эта оценка отображает. Эти различия получили название ошибок отображения или ошибок репрезентативности. Ошибки репрезентативности подразделяются на два типа: систематические и случайные.

Систематические ошибки - это постоянное завышение или занижение значения оценки по сравнению с характеристикой генеральной совокупности. Причиной появления систематической ошибки является несоблюдение принципа равновероятности попадания каждой единицы генеральной совокупности в выборку, то есть выборка формируется из преимущественно «худших» (или « лучших») представителей генеральной совокупности. Соблюдение принципа равновозможности попадания каждой единицы в выборку позволяет полностью исключить этот тип ошибок.

Случайные ошибки – это меняющиеся от выборки к выборке по знаку и величине различия между оценкой и оцениваемой характеристикой генеральной совокупности. Причина возникновения случайных ошибок- игра случая при формировании выборки, составляющей лишь часть генеральной совокупности. Этот тип ошибок органически присущ выборочному методу. Исключить их полностью нельзя, задача состоит в том, чтобы предсказать их возможную величину и свести их к минимуму. Порядок связанных в связи с этим действий вытекает из рассмотрения трех видов случайных ошибок: конкретной, средней и предельной.

2.2.1 Конкретная ошибка – это ошибка одной проведенной выборки. Если средняя по этой выборке () является оценкой для генеральной средней (0) и, если предположить, что эта генеральная средняя нам известна, то разница = -0 и будет конкретной ошибкой этой выборки. Если из этой генеральной совокупности выборку повторим многократно, то каждый раз получим новую величину конкретной ошибки: …, и так далее. Относительно этих конкретных ошибок можно сказать следующее: некоторые из них будут совпадать между собой по величине и знаку, то есть имеет место распределение ошибок, часть из них будет равна 0, наблюдается совпадение оценки и параметра генеральной совокупности;

2.2.2 Средняя ошибка – это средняя квадратическая из всех возможных по воле случая конкретных ошибок оценки: , где - величина меняющихся конкретных ошибок; частота (вероятность) встречаемости той или иной конкретной ошибки. Средняя ошибка выборки показывает насколько в среднем можно ошибиться, если на основе оценки делается суждение о параметре генеральной совокупности. Приведенная формула раскрывает содержание средней ошибки, но она не может быть использована для практических расчетов, хотя бы потому, что предполагает знание параметра генеральной совокупности, что само по себе исключает необходимость выборки.

Практические расчеты средней ошибки оценки основываются на той предпосылке, что она (средняя ошибка) по сути является средним квадратическим отклонением всех возможных значений оценки. Эта предпосылка позволяет получить алгоритмы расчета средней ошибки, опирающиеся на данные одной единственной выборки. В частности средняя ошибка выборочной средней может быть установлена на основе следующих рассуждений. Имеется выборка (,… ) состоящая из единиц. По выборке в качестве оценки генеральной средней определена выборочная средняя . Каждое значение(,… ) , стоящее под знаком суммы, следует рассматривать как независимую случайную величину, поскольку при бесконечном повторении выборки первая, вторая и т.д. единицы могут принимать любые значения из присутствующих в генеральной совокупности. Следовательно Поскольку, как известно, дисперсия суммы независимых случайных величин равна сумме дисперсий, то . Отсюда следует, что средняя ошибка для выборочной средней будет равная и находится она в обратной зависимости от численности выборки (через корень квадратный из нее) и в прямой от среднего квадратического отклонения признака в генеральной совокупности. Это логично, поскольку выборочная средняя является состоятельной оценкой для генеральной средней и по мере увеличения численности выборки приближается по своему значению к оцениваемому параметру генеральной совокупности. Прямая зависимость средней ошибки от колеблемости признака обусловлена тем, что чем больше изменчивость признака в генеральной совокупности, тем сложнее на основе выборки построить адекватную модель генеральной совокупности. На практике среднее квадратическое отклонение признака по генеральной совокупности заменяется его оценкой по выборке, и тогда формула для расчета средней ошибки выборочной средней приобретает вид:, при этом учитывая смещенность выборочной дисперсии , выборочное среднее квадратическое отклонение рассчитывается по формуле = . Так как символом n обозначена численность выборки. ,то в знаменателе при расчете среднего квадратического отклонения должна использоваться не численность выборки (n), а так называемое число степеней свободы (n-1). Под числом степеней свободы понимается число единиц в совокупности, которые могут свободно варьировать (изменяться), если по совокупности определена какая-либо характеристика. В нашем случае, поскольку по выборке определена ее средняя, свободно варьировать могут единицы.

В таблице 2.2 приведены формулы для расчета средних ошибок различных выборочных оценок. Как видно из этой таблицы, величина средней ошибки по всем оценкам находится в обратной связи с численностью выборки и в прямой с колеблемостью. Это можно сказать и относительно средней ошибки выборочной доли (частости). Под корнем стоит дисперсия альтернативного признака, установленная по выборке ()

Приведенные в таблице 2.2 формулы относятся к так называемому случайному, повторному отбору единиц в выборку. При других способах отбора, о которых речь пойдет ниже, формулы будут несколько видоизменяться.

Таблица 2.2

Формулы для расчета средних ошибок выборочных оценок

2.2.3 Предельная ошибка выборки Знание оценки и ее средней ошибки в ряде случаев совершенно недостаточно. Например, при использовании гормонов при кормлении животных знать только средний размер неразложившихся их вредных остатков и среднюю ошибку, значит подвергать потребителей продукции серьезной опасности. Здесь настоятельно напрашивается необходимость определения максимальной (предельной ошибки ). При использовании выборочного метода предельная ошибка устанавливается не в виде конкретной величины, а виде равных границ

(интервалов) в ту и другую сторону от значения оценки.

Определение границ предельной ошибки основывается на особенностях распределения конкретных ошибок. Для так называемых больших выборок, численность которых более 30 единиц () , конкретные ошибки распределяются в соответствии с нормальным законом распределения; при малых выборках () конкретные ошибки распределяются в соответствии с законом распределения Госсета

(Стьюдента). Применительно к конкретным ошибкам выборочной средней функция нормального распределения имеет вид: , где - плотность вероятности появления тех или иных значений , при условии, что , где выборочные средние; - генеральная средняя, - средняя ошибка для выборочной средней. Поскольку средняя ошибка () является величиной постоянной, то в соответствии с нормальным законом распределяются конкретные ошибки , выраженные в долях средней ошибки, или так называемых нормированных отклонениях.

Взяв интеграл функции нормального распределения, можно установить вероятность того, что ошибка будет заключена в некотором интервале изменения t и вероятность того, что ошибка выйдет за пределы этого интервала (обратное событие). Например, вероятность того, что ошибка не превысит половину средней ошибки (в ту и другую сторону от генеральной средней) составляет 0,3829, что ошибка будет заключена в пределах одной средней ошибки - 0,6827, 2-х средних ошибок -0,9545 и так далее.

Взаимосвязь между уровнем вероятности и интервалом изменения t (а в конечном счете интервалом изменения ошибки) позволяет подойти к определению интервала (или границ) предельной ошибки, увязав его величину с вероятностью осуществления.. Вероятность осуществления -это вероятность того, что ошибка будет находится в некотором интервале. Вероятность осуществления будет «доверительной» в том случае, если противоположное событие (ошибка будет находится вне интервала) имеет такую вероятность появления, которой можно пренебречь. Поэтому доверительный уровень вероятности устанавливают, как правило, не ниже 0,90 (вероятность противоположного события равна 0,10). Чем больше негативных последствий имеет появление ошибок вне установленного интервала, тем выше должен быть доверительный уровень вероятности (0,95; 0,99 ; 0,999 и так далее).

Выбрав доверительный уровень вероятности по таблице интеграла вероятности нормального распределения, следует найти соответствующее значение t, а затем используя выражение =определить интервал предельной ошибки . Смысл полученной величины в следующем – с принятым доверительным уровнем вероятности предельная ошибка выборочной средней не превысит величину .

Для установления границ предельной ошибки на основе больших выборок для других оценок (дисперсии, среднего квадратического отклонения, доли и так далее) используется выше рассмотренный подход, с учетом того, что для определения средней ошибки для каждой оценки используется свой алгоритм.

Что касается малых выборок () то, как уже говорилось, распределение ошибок оценок соответствует в этом случае распределению t - Стьюдента. Особенность этого распределения состоит в том, что в качестве параметра в нем, наряду с ошибкой, присутствует численность выборки,вернее не численность выборки, а число степеней свободы При увеличении численности выборки распределение t-Стьюдента приближается к нормальному, а при эти распределения практически совпадают. Сопоставляя значения величины t-Стьюдента и t - нормального распределения при одной и той же доверительной вероятности можно сказать, что величина t-Стьюдента всегда больше t - нормального распределения, причем, различия возрастают с уменьшением численности выборки и с повышением доверительного уровня вероятности. Следовательно, при использовании малых выборок имеют место по сравнению с выборками большими, более широкие границы предельной ошибки, причем, эти границы расширяются с уменьшением численности выборки и повышением доверительного уровня вероятности.

Расхождения между величиной какого-либо показателя, найденного посредством статистического наблюдения, и действительными его размерами называются ошибками наблюдения . В зависимости от причин возникновения различают ошибки регистрации и ошибки репрезентативности.

Ошибки регистрации возникают в результате неправильного установления фактов или ошибочной записи в процессе наблюдения или опроса. Они бывают случайными или систематическими. Случайные ошибки регистрации могут быть допущены как опрашиваемыми в их ответах, так и регистраторами. Систематические ошибки могут быть и преднамеренными, и непреднамеренными. Преднамеренные – сознательные, тенденциозные искажения действительного положения дела. Непреднамеренные вызываются различными случайными причинами (небрежность, невнимательность).

Ошибки репрезентативности (представительности) возникают в результате неполного обследования и в случае, если обследуемая совокупность недостаточно полно воспроизводит генеральную совокупность. Они могут быть случайными и систематическими. Случайные ошибки репрезентативности – это отклонения, возникающие при несплошном наблюдении из-за того, что совокупность отобранных единиц наблюдения (выборка) неполно воспроизводит всю совокупность в целом. Систематические ошибки репрезентативности – это отклонения, возникающие вследствие нарушения принципов случайного отбора единиц. Ошибки репрезентативности органически присущи выборочному наблюдению и возникают в силу того, что выборочная совокупность не полностью воспроизводит генеральную. Избежать ошибок репрезентативности нельзя, однако, пользуясь методами теории вероятностей, основанными на использовании предельных теорем закона больших чисел, эти ошибки можно свести к минимальным значениям, границы которых устанавливаются с достаточно большой точностью.

Ошибки выборки – разность между характеристиками выборочной и генеральной совокупности. Для среднего значения ошибка будет определяться по формуле

где

Величина
называетсяпредельной ошибкой выборки.

Предельная ошибка выборки – величина случайная. Исследованию закономерностей случайных ошибок выборки посвящены предельные теоремы закона больших чисел. Наиболее полно эти закономерности раскрыты в теоремах П. Л. Чебышева и А. М. Ляпунова.

Теорему П. Л. Чебышева применительно к рассматриваемому методу можно сформулировать следующим образом: при достаточно большом числе независимых наблюдений можно с вероятностью, близкой к единице (т. е. почти с достоверностью), утверждать, что отклонение выборочной средней от генеральной будет сколько угодно малым. В теореме П. Л. Чебышева доказано, что величина ошибки не должна превышать. В свою очередь величина, выражающая среднее квадратическое отклонение выборочной средней от генеральной средней, зависит от колеблемости признака в генеральной совокупностии числа отобранных единицn . Эта зависимость выражается формулой

, (7.2)

где зависит также от способа производства выборки.

Величину =называютсредней ошибкой выборки. В этом выражении– генеральная дисперсия,n – объем выборочной совокупности.

Рассмотрим, как влияет на величину средней ошибки число отбираемых единиц n . Логически нетрудно убедиться, что при отборе большого числа единиц расхождения между средними будут меньше, т. е. существует обратная связь между средней ошибкой выборки и числом отобранных единиц. При этом здесь образуется не просто обратная математическая зависимость, а такая зависимость, которая показывает, что квадрат расхождения между средними обратно пропорционален числу отобранных единиц.

Увеличение колеблемости признака влечет за собой увеличение среднего квадратического отклонения, а следовательно, и ошибки. Если предположить, что все единицы будут иметь одинаковую величину признака, то среднее квадратическое отклонение станет равно нулю и ошибка выборки также исчезнет. Тогда нет необходимости применять выборку. Однако следует иметь в виду, что величина колеблемости признака в генеральной совокупности неизвестна, поскольку неизвестны размеры единиц в ней. Можно рассчитать лишь колеблемость признака в выборочной совокупности. Соотношение между дисперсиями генеральной и выборочной совокупности выражается формулой

Поскольку величина при достаточно большихn близка к единице, можно приближенно считать, что выборочная дисперсия равна генеральной дисперсии, т. е.

Следовательно, средняя ошибка выборки показывает, какие возможны отклонения характеристик выборочной совокупности от соответствующих характеристик генеральной совокупности. Однако о величине этой ошибки можно судить с определенной вероятностью. На величину вероятности указывает множитель

Теорема А. М. Ляпунова . А. М. Ляпунов доказал, что распределение выборочных средних (следовательно, и их отклонений от генеральной средней) при достаточно большом числе независимых наблюдений приближенно нормально при условии, что генеральная совокупность обладает конечной средней и ограниченной дисперсией.

Математически теорему Ляпунова можно записать так:

(7.3)

где
, (7.4)

где
– математическая постоянная;

–предельная ошибка выборки , которая дает возможность выяснить, в каких пределах находится величина генеральной средней.

Значения этого интеграла для различных значений коэффициента доверия t вычислены и приводятся в специальных математических таблицах. В частности, при:

Поскольку t указывает на вероятность расхождения
, т. е. на вероятность того, на какую величину генеральная средняя будет отличаться от выборочной средней, то это может быть прочитано так: с вероятностью 0,683 можно утверждать, что разность между выборочной и генеральной средними не превышает одной величины средней ошибки выборки. Другими словами, в 68,3 % случаев ошибка репрезентативности не выйдет за пределы
С вероятностью 0,954 можно утверждать, что ошибка репрезентативности не превышает
(т. е. в 95 % случаев). С вероятностью 0,997, т. е. довольно близкой к единице, можно ожидать, что разность между выборочной и генеральной средней не превзойдет трехкратной средней ошибки выборки и т. д.

Логически связь здесь выглядит довольно ясно: чем больше пределы, в которых допускается возможная ошибка, тем с большей вероятностью судят о ее величине.

Зная выборочную среднюю величину признака
и предельную ошибку выборки
, можно определить границы (пределы), в которых заключена генеральная средняя

1 . Собственно-случайная выборка – этот способ ориентирован на выборку единиц из генеральной совокупности без всякого расчленения на части или группы. При этом для соблюдения основного принципа выборки – равной возможности всем единицам генеральной совокупности быть отобранным – используются схема случайного извлечения единиц путем жеребьевки (лотереи) или таблицы случайных чисел. Возможен повторный и бесповторный отбор единиц

Средняя ошибка собственно-случайной выборкипредставляет собойсреднеквадратическое отклонение возможных значений выборочной средней от генеральной средней. Средние ошибки выборки при собственно-случайном методе отбора представлены в табл. 7.2.

Таблица 7.2

Средняя ошибка выборки μ	При отборе
	повторном	бесповторном
Для средней

В таблице использованы следующие обозначения:

– дисперсия выборочной совокупности;

– численность выборки;

– численность генеральной совокупности;

– выборочная доля единиц, обладающих изучаемым признаком;

– число единиц, обладающих изучаемым признаком;

– численность выборки.

Для увеличения точности вместо множителя следует брать множитель
, но при большой численностиN различие между этими выражениями практического значения не имеет.

Предельная ошибка собственно-случайной выборки
рассчитывается по формуле

, (7.6)

где t – коэффициент доверия зависит от значения вероятности.

Пример. При обследовании ста образцов изделий, отобранных из партии в случайном порядке, 20 оказалось нестандартными. С вероятностью 0,954 определите пределы, в которых находится доля нестандартной продукции в партии.

Решение . Вычислим генеральную долю (Р ):
.

Доля нестандартной продукции:
.

Предельная ошибка выборочной доли с вероятностью 0,954 рассчитывается по формуле (7.6) с применением формулы табл. 7.2 для доли:

С вероятностью 0,954 можно утверждать, что доля нестандартной продукции в партии товара находится в пределах 12 % ≤ P ≤ 28 %.

В практике проектирования выборочного наблюдения возникает потребность определения численности выборки, которая необходима для обеспечения определенной точности расчета генеральных средних. Предельная ошибка выборки и ее вероятность при этом являются заданными. Из формулы
и формул средних ошибок выборки устанавливается необходимая численность выборки. Формулы для определения численности выборки (n ) зависят от способа отбора. Расчет численности выборки для собственно-случайной выборки приведен в табл. 7.3.

Таблица 7.3

Предполагаемый отбор
	для средней
Повторный
Бесповторный

2 . Механическая выборка – при этом методе исходят из учета некоторых особенностей расположения объектов в генеральной совокупности, их упорядоченности (по списку, номеру, алфавиту). Механическая выборка осуществляется путем отбора отдельных объектов генеральной совокупности через определенный интервал (каждый 10-й или 20-й). Интервал рассчитывается по отношению, гдеn – численность выборки,N – численность генеральной совокупности. Так, если из совокупности в 500 000 единиц предполагается получить 2 %-ную выборку, т. е. отобрать 10 000 единиц, то пропорция отбора составит
Отбор единиц осуществляется в соответствии с установленной пропорцией через равные интервалы. Если расположение объектов в генеральной совокупности носит случайный характер, то механическая выборка по содержанию аналогична случайному отбору. При механическом отборе применяется только бесповторная выборка .

Средняя ошибка и численность выборки при механическом отборе подсчитывается по формулам собственно-случайной выборки (см. табл. 7.2 и 7.3).

3 . Типическая выборка , при котрой генеральная совокупность делится по некоторым существенным признакам на типические группы; отбор единиц производится из типических групп. При этом способе отбора генеральная совокупность расчленяется на однородные в некотором отношении группы, которые имеют свои характеристики, и вопрос сводится к определению объема выборок из каждой группы. Может бытьравномерная выборка – при этом способе из каждой типической группы отбирается одинаковое число единиц
Такой подход оправдан лишь при равенстве численностей исходных типических групп. При типическом отборе, непропорциональном объему групп, общее число отбираемых единиц делится на число типических групп, полученная величина дает численность отбора из каждой типической группы.

Более совершенной формой отбора является пропорциональная выборка . Пропорциональной называется такая схема формирования выборочной совокупности, когда численность выборок, взятых из каждой типической группы в генеральной совокупности, пропорциональна численностям, дисперсиям (или комбинированно и численностям, и дисперсиям). Условно определяем численность выборки в 100 единиц и отбираем единицы из групп:

– пропорционально численности их генеральной совокупности (табл. 7.4). В таблице обозначено:

N i – численность типической группы;

d j – доля (N i /N );

N – численность генеральной совокупности;

n i – численность выборки из типической группы вычисляется:

, (7.7)

n – численность выборки из генеральной совокупности.

Таблица 7.4

	N i	d j	n i

– пропорционально среднему квадратическому отклонению (табл. 7.5).

здесь  i – среднее квадратическое отклонение типических групп;

n i – численность выборки из типической группы вычисляется по формуле

(7.8)

Таблица 7.5

N i			n i

– комбинированно (табл. 7.6).

Численность выборки вычисляется по формуле

. (7.9)

Таблица 7.6

		 i N i

При проведении типической выборки непосредственный отбор из каждой группы проводится методом случайного отбора.

Средние ошибки выборки рассчитываются по формулам табл. 7.7 в зависимости от способа отбора из типических групп.

Таблица 7.7

Способ отбора	Повторный		Бесповторный
	для средней	для доли	для средней	для доли
Непропорциональный объему групп
Пропорциональный объему групп
Пропорциональный колеблемости в группах (является наивыгоднейшим)

здесь
– средняя из внутригрупповых дисперсий типических групп;

– доля единиц, обладающих изучаемым признаком;

– средняя из внутригрупповых дисперсий для доли;

– среднее квадратическое отклонение в выборке изi -й типической группы;

– объем выборки из типической группы;

– общий объем выборки;

– объем типической группы;

– объем генеральной совокупности.

Численность выборки из каждой типической группы должна быть пропорциональна среднему квадратическому отклонению в этой группе
.Расчет численности
производится по формулам, приведенным в табл. 7.8.

Таблица 7.8

4 . Серийная выборка – удобена в тех случаях, когда единицы совокупности объединены в небольшие группы или серии. При серийной выборке генеральную совокупность делят на одинаковые по объему группы – серии. В выборочную совокупность отбираются серии. Сущность серийной выборки заключается в случайном или механическом отборе серий, внутри которых производится сплошное обследование единиц. Средняя ошибка серийной выборки с равновеликими сериями зависит от величины только межгрупповой дисперсии. Средние ошибки сведены в табл. 7.9.

Таблица 7.9

Способ отбора серии
	для средней	для доли
Повторный
Бесповторный

Здесь R – число серий в генеральной совокупности;

r – число отобранных серий;

– межсерийная (межгрупповая) дисперсия средних;

– межсерийная (межгрупповая) дисперсия доли.

При серийном отборе необходимую численность отбираемых серий определяют так же, как и при собственно-случайном методе отбора.

Расчет численности серийной выборки производится по формулам, приведенным в табл. 7.10.

Таблица 7.10

Пример. В механическом цехе завода в десяти бригадах работает 100 рабочих. В целях изучения квалификации рабочих была произведена 20 %-ная серийная бесповторная выборка, в которую вошли две бригады. Получено следующее распределение обследованных рабочих по разрядам:

	Разряды рабочих в бригаде 1	Разряды рабочих в бригаде 2		Разряды рабочих в бригаде 1	Разряды рабочих в бригаде 2

Необходимо определить с вероятностью 0,997 пределы, в которых находится средний разряд рабочих механического цеха.

Решение. Определим выборочные средние по бригадам и общую среднюю как среднюю взвешенную из групповых средних:

Определим межсерийную дисперсию по формулам (5.25):

Рассчитаем среднюю ошибку выборки по формуле табл. 7.9:

Вычислим предельную ошибку выборки с вероятностью 0,997:

С вероятностью 0,997 можно утверждать, что средний разряд рабочих механического цеха находится в пределах