Четверг, 09.12.2021, 10:59
Приветствую Вас, Гость!

Вход | Регистрация

Бизнес-эксперт
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 1 из 2
  • 1
  • 2
  • »
Форум » ОБСУДИМ? » Обсуждение документов » Проект запроса (если результат оказывается ниже диапазона)
Проект запроса (если результат оказывается ниже диапазона)
ДиректорДата: Четверг, 16.09.2021, 14:04 | Сообщение # 1
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Коллеги, открыла тему в связи с появлением ответа Росстандарта на запрос коллеги. Поделитесь соображениями, что нужно написать в запросе, чтобы либо ответ нас удовлетворил, либо были официально объявлены "правила игры".
Прикрепления: Скачивание файлов доступно только зарегистрированным пользователям | Вход/Регистрация


Говорю, что думаю, и думаю, что говорю...
 
ХимияводаДата: Четверг, 16.09.2021, 14:26 | Сообщение # 2
Группа: Пользователи
Сообщений: 10
Статус: Offline
Результаты из Англии)) А ведь они в в Илак! Значок менее!
Прикрепления: Скачивание файлов доступно только зарегистрированным пользователям | Вход/Регистрация


Сообщение отредактировал Химиявода - Четверг, 16.09.2021, 14:27
 
МаришкаДата: Четверг, 16.09.2021, 14:29 | Сообщение # 3
Группа: Пользователи
Сообщений: 206
Статус: Offline
crazy я уже совсем ни чего не понимаю...
Если результат получился вне области, как я могу его писать в протокол!? Это же несоответствие!!!
А если напишу более или менее и предел диапазона... ОПЯТЬ НЕСООТВЕТСТВИЕ......
У меня желание взять базуку....
Мой воспаленный мозг отказывается понимать такие документы.....

У меня одно на ум приходит, писать в протоколе: полученное значение вне диапазона измерений в ОА (ну или ещё может что добавить)


Сообщение отредактировал Маришка - Четверг, 16.09.2021, 14:35
 
AlexeyVolkovДата: Четверг, 16.09.2021, 14:33 | Сообщение # 4
Группа: Пользователи
Сообщений: 78
Статус: Online
Цитата Директор ()
Коллеги, открыла тему в связи с появлением ответа Росстандарта на запрос коллеги. Поделитесь соображениями, что нужно написать в запросе, чтобы либо ответ нас удовлетворил, либо были официально объявлены "правила игры".

...
А мы имеем право ссылаться на подобные разъяснения? Или, получается, нужно начинать со ссылки на п. 5.17 ГОСТ Р 58973-2020, и расписывать варианты?
Позволяется ли в протоколах испытаний указывать результат испытаний "более" или "менее", ">" или "<", если подобное указание регламентировано документом, устанавливающим правила и методы испытаний и измерений (исследований)?
То же самое, если не регламентировано документом, но регламентировано СМК лаборатории?
То же самое, если подобное указание согласовано или не согласовано с заказчиком?
То же самое, если результат испытаний выходит за диапазон, указанный в утвержденной ОА?
То же самое в зависимости от целей проведения испытаний (сравнение с НД, изыскания, сертификация, СОУТ и ПК, оформление паспортов отходов и т.п.)?
Каким образом следует поступать лаборатории, работающей в области испытаний продукции, если результат за границами?
Каким образом следует поступать лаборатории, не работающей в области испытаний продукции, но к которой Критериями 707 регламентирована обязанность выполнять требования ГОСТ Р 58973?
Требуется ли в таком случае, например, писать в протоколе "за пределами утвержденной ОА" вместо результата и указывать дополнительно реально полученный результат с пометкой, что такой результат за пределами ОА лаборатории?
Каким образом лаборатория может выдать результат испытаний со ссылкой на аттестат аккредитации?
Следует ли руководствоваться разъяснениями профильных ведомств по направлениям деятельности?
...
Можем ли мы также написать запрос в ИЛАК?


Сообщение отредактировал AlexeyVolkov - Четверг, 16.09.2021, 14:34
 
ИрэнаДата: Четверг, 16.09.2021, 14:52 | Сообщение # 5
Группа: Пользователи
Сообщений: 94
Статус: Offline
Скоро дойдет до того, что мы вообще не сможем выдавать протоколы измерений, т.к. точно и четко, с учетом неопределенности, мы не можем сказать точную цифру измеренного показателя.
 
elleniumДата: Четверг, 16.09.2021, 15:02 | Сообщение # 6
Группа: Пользователи
Сообщений: 326
Статус: Offline
Цитата Маришка ()
полученное значение вне диапазона измерений в ОА (ну или ещё может что добавить)


по идее такую фразу в протокол с указанием аттестации аккредитации вставлять нельзя, такие значения могт быть только без ссылки на аттестат.. непонятно, почему росстандарт не устраивает фраза "менее" или значок "<" или ">"?? ведь даже в медицинский анализах есть такие обозначения и они никого не настораживают и не являются двусмысленными?? мы прописали у себя в смк в каких случаях мы можем ставить эти значки. у нас прямые измерения и, соответственно, область аккредитации (диапазоны) зависят от диапазонов измерений средств измерений. например, в описание типа на прибор диапазон измеряемых значений: 3-100. мы на экране прибора можем увидеть любое значение меньше 3 (0,5; 1,25 и т.д.).. но вписать это значение в протокол не имеем права, т.к. все значения меньше 3 идут уже не с той погрешностью, которую заявляет производитель. при значениях ниже 3 она выше заявляемой. поэтому и в ОА нам согласовывают только тот предел, который указан в описании типа.. а все, что меньше 3, меньше 3. какое тут нарушение гост? например ,если ПДУ 10, а мы записываем в протокол <3,0, то можно чутко оценить и интерпретировать такой результат.
 
LilamiДата: Четверг, 16.09.2021, 15:24 | Сообщение # 7
Группа: Пользователи
Сообщений: 141
Статус: Offline
Цитата Директор ()
Поделитесь соображениями, что нужно написать в запросе, чтобы либо ответ нас удовлетворил, либо были официально объявлены "правила игры".


Цитата Маришка ()
У меня одно на ум приходит, писать в протоколе: полученное значение вне диапазона измерений в ОА (ну или ещё может что добавить)

А где написано, что если измерение выполнялось по НД на МИ, включенной в ОА, и если полученное значение оказалось меньше нижней границы диапазона, то результат измерения признается вне ОА? Если появится однозначный ответ на этот вопрос со ссылкой на соответствующие НД, тогда уже можно решать следующий вопрос: как записать. Росстандарт на этот вопрос не ответил.

Запись результата вне ОА в протоколе без ссылки на аккредитацию может быть какая угодно, правила для таких случаев необязательны.

Добавлено (16.09.2021, 15:29)
---------------------------------------------
В аналитике мы используем реактивы с паспортами на них. Так вот в этих паспортах можно найти такие записи, как "Примеси чего-нибудь менее 0,001 %". А ведь каждый реактив тоже должен соответствовать какому-то ТУ или ГОСТу. Значит, можно применять результат менее 0,001 % не только для интерпретации, но и для принятия решения о его соответствии ТУ или ГОСТу. Т.е., подобный ответ Росстандарта вводит в заблуждение всех и вся.

 
marina_ktk@inboxruДата: Четверг, 16.09.2021, 17:18 | Сообщение # 8
Группа: Пользователи
Сообщений: 41
Статус: Offline
было такое разьяснение п.8 ответ экспертов
Прикрепления: Скачивание файлов доступно только зарегистрированным пользователям | Вход/Регистрация


Сообщение отредактировал marina_ktk@inboxru - Четверг, 16.09.2021, 17:21
 
AlexeyVolkovДата: Четверг, 16.09.2021, 17:42 | Сообщение # 9
Группа: Пользователи
Сообщений: 78
Статус: Online
Цитата Директор ()
Прикрепляю июльский ответ ФСА на вопрос 8.

...
С одной стороны, они пишут, что нарушение. С другой стороны просят прописать правила документирования в СМК (а что с ними потом делать то, как оформлять протокол)
И еще два вопроса возникли:
Какие критерии точности, четкости и недвусмысленности представленных результатов? У нас есть документ, ГОСТ или РМГ, с этими определениями?
Как быть с методиками, в которых результат по умолчанию может быть всего в двух возможных вариантах "более X" или "менее X" (не знаю, есть ли такие, но уверен, что есть)
 
АфанасьевДата: Четверг, 16.09.2021, 17:58 | Сообщение # 10
Группа: Друзья
Сообщений: 438
Статус: Offline
Вообще-то, чтобы понять: насколько критично и "опасно" это письмо Росстандарта - нужно знать, каков (в точных формулировках) был запрос. Ибо то, что написано в этом ответе Росстандарта совешенно справедливо по сути. Обратите внимание: как сформулирована фраза в письме Росстандарта. Ведь там не написано, что нельзя писать менее (более) границы диапазона. Там написано, что нельзя писать менее (более) границы диапзона, определяемого применяемой методикой. И это совершенно справедливо. Ведь, если лаборатория напишет, что результат менее (более) границы диапразона используемой методики, значит она (лаборатория) при измерениях работала уже не по методике. Другими словами: ссылка в протоколе на какую-либо методику с имеющимися границами и запись, что результат выходит за границы этого диапазона - это нонсенс. Такого быть не может в принципе. Либо то, либо другое. Так что, написанное Росстандартом в той формулировке, в какой это написано - это верно. И в протоколах лаборатории это должно соблюдаться, иначе протокол будет иметь внутренние противоречия.

P.S. Я думаю, в таких ситуациях будет более правильным писать в протоколе не "менее (более"), а писать фразу типа:
-"Значений фактора (параметра) в пределах уровней, определяемых используемой методикой не обнаружено"
И, кстати, такая запись ничуть не будет противоречить требованиям пункта 5.17 ГОСТа (ИМХО)


Сообщение отредактировал Афанасьев - Четверг, 16.09.2021, 18:18
 
ЕленарукДата: Четверг, 16.09.2021, 18:29 | Сообщение # 11
Группа: Пользователи
Сообщений: 696
Статус: Offline
Не забудьте, что данная непонятная ситуация с представлением результатов относится и к случаю, когда один из двух результатов единичных определений в диапазоне методики, а второй - вне диапазона. Причем среднее результата испытания попадает в диапазон. Можно ли рассматривать такой результат как достоверный?.

Поскольку все ответы касательно результата вне диапазона методики (ниже или выше предела определения) являются явными отписками, то можно попробовать написать запрос о представлении результатов при работе в области нижнего и верхнего пределов определения. Можно сделать упор на то, что:

"здесь есть очень высокий риск выдачи недостоверного результата как ложно завышенного, так и ложно заниженного, что критично для работы в области госрегулирования (экология, безопасность и прочее).
Отсутствие четких правил представления результатов испытаний, которые должны однозначно определить, какая форма их представления в вышеуказанных особых предельных случаях является однозначно понимаемой всеми сторонами-участниками национальной системы аккредитации: лабораториями, их заказчиками, а также экспертами и регулирующими органами, может привести к непоправимым последствиям, если такие результаты будут использованы в чувствительных для безопасности населения отраслях."


Сообщение отредактировал Еленарук - Четверг, 16.09.2021, 18:34
 
начхалДата: Четверг, 16.09.2021, 19:24 | Сообщение # 12
Группа: Пользователи
Сообщений: 5
Статус: Offline
Вот фраза из ГОСТ 22387.2—2014 на методы определения сероводорода и меркаптановой серы в природном газе:
«9.6.6 Если результат измерений массовой концентрации сероводорода менее нижней (более верхней) границы диапазона измерений, то делают следующую запись: "массовая концентрация сероводорода - менее 0,0010 г/м (более 0,050 г/м)". Вместо слов "менее" и "более" при записи результата допускается использовать знаки "<" и ">".
А ведь ГОСТы, как известно, утверждаются и вводятся в действие приказами того же Росстандарта.
Получается, что разъяснения Росстандарта противоречат требованиям ГОСТ, устанавливающим форму представления результатов измерений за границами диапазона измерений.
Возможно, в запросе нужно конкретно спросить: какова должна быть форма представления результатов измерений в протоколе аккредитованной лаборатории, если полученный результат менее нижней (либо более верхней) границы диапазона измерений методики, средства измерений или области аккредитации?
 
ДиректорДата: Четверг, 16.09.2021, 21:05 | Сообщение # 13
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Цитата Еленарук ()
сделать упор на то, что:
"здесь есть очень высокий риск выдачи недостоверного результата как ложно завышенного, так и ложно заниженного, что критично для работы в области госрегулирования (экология, безопасность и прочее).
Отсутствие четких правил представления результатов испытаний, которые должны однозначно определить, какая форма их представления в вышеуказанных особых предельных случаях является однозначно понимаемой всеми сторонами-участниками национальной системы аккредитации: лабораториями, их заказчиками, а также экспертами и регулирующими органами, может привести к непоправимым последствиям, если такие результаты будут использованы в чувствительных для безопасности населения отраслях."
Вот если мы так сформулируем свои мысли, РА нам ответит, что консультациями не занимается...

Сегодня коллега попытался уточнить в ФСА кто такой пунктик (5.17) в ГОСТе Р 58973-2020 придумал. Разработчиком ГОСТ Р 58973-2020 назвали "не совсем" ФГУП "СТАНДАРТИНФОРМ" совместно с ООО "Агентство независимых экспертиз в сфере технического регулирования" как написано в самом ГОСТе...
Итог. Разработчик не против того, чтобы были представлены предложения "как надо".


Говорю, что думаю, и думаю, что говорю...
 
ДиректорДата: Четверг, 16.09.2021, 21:09 | Сообщение # 14
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Цитата начхал ()
Вот фраза из ГОСТ 22387.2—2014 на методы определения сероводорода и меркаптановой серы в природном газе:
«9.6.6 Если результат измерений массовой концентрации сероводорода менее нижней (более верхней) границы диапазона измерений, то делают следующую запись: "массовая концентрация сероводорода - менее 0,0010 г/м (более 0,050 г/м)". Вместо слов "менее" и "более" при записи результата допускается использовать знаки "<" и ">".
А ведь ГОСТы, как известно, утверждаются и вводятся в действие приказами того же Росстандарта.
Получается, что разъяснения Росстандарта противоречат требованиям ГОСТ, устанавливающим форму представления результатов измерений за границами диапазона измерений.
Еще примеры таких фраз в ГОСТах, ПНД Фках, аттестованных методиках есть, коллеги? Подкиньте примеров, как сделал наш товарищ в сообщении № 12, - с указанием шифра, названия документа, пункта в нем, с цитатой нужного места.


Говорю, что думаю, и думаю, что говорю...
 
LilamiДата: Пятница, 17.09.2021, 01:04 | Сообщение # 15
Группа: Пользователи
Сообщений: 141
Статус: Offline
Цитата Директор ()
ще примеры таких фраз в ГОСТах, ПНД Фках, аттестованных методиках есть, коллеги?


Сколько угодно!

РД 52.10.740-2010
П р и м е ч а н и е - В случае, если результат измерений массовой концентрации
азота нитритного ниже границы диапазона измерений, в результате измерений
указывают «менее 0,5 мкг/дм3».

РД 52.10.745-2010
П р и м е ч а н и е - В случае, если результат измерений массовой
концентрации азота нитратного ниже границы 1 диапазона измерений, в
результате измерений указывают «менее 5,0 мкг/дм3».

РД 52.10.807-2013
П р и м е ч а н и е - В случае, если результат измерений массовой концентрации
АСПАВ ниже границы диапазона измерений, в результате измерений указывают
«менее 0,10 мг/дм3».

РД 52.10.805-2013
П р и м е ч а н и е - В случае, если результат измерений массовой концентрации
общего азота ниже границы диапазона измерений, в результате измерений указывают
«менее 40,0 мкг/дм3».

РД 52.04.822-2015
Если содержание диоксида серы ниже нижней границы диапазона
измерений, то производят следующую запись в протоколе измерений:
«Массовая концентрация диоксида серы менее 0,01 мг/м3 при объёме
пробы 10 дм3»;
«Массовая концентрация диоксида серы менее 0,0025 мг/м3 при
объёме пробы 40 дм3».
13.3 Выдача протоколов с результатами из диапазона ниже нижней
границы в качестве результатов единичных измерений недопустима.

РД 52.04.823-2015
13.3 В случае, если массовая концентрация формальдегида ниже
нижней границы диапазона измерений, производят следующую запись в
протоколе измерений: «Массовая концентрация формальдегида менее
0,01 мг/м3».
 
МаришкаДата: Пятница, 17.09.2021, 08:15 | Сообщение # 16
Группа: Пользователи
Сообщений: 206
Статус: Offline
Доброе утро, коллеги!
Сейчас просмотрела наши РДшки на воду, и там написано так:
"Результаты измерения оформляют протоколом или записью в журнале по формам, приведенным в Руководстве по качеству лаборатории."
В РК я написала так:
"В случае если при проведении испытания получено значение показателя, выходящее за границы диапазона измерений, определенного областью аккредитации ИЛ, в протоколе испытаний проставляется значение «менее Z1», если значение показателя ниже границы диапазона определений или «более Z2», если значение показателя выше границы диапазона определений, где Z1 – нижняя граница диапазона измерений, определенная областью аккредитации, Z2 - верхняя граница диапазона измерений, определенная областью аккредитации. Погрешность (неопределенность) в данном случае не указывается."
Ну и соответственно форма протокола приведена в альбоме типовых форм записей.

Добавлено (17.09.2021, 08:32)
---------------------------------------------
РД воздушников:
рд 52.04.792
13.3 Если массовая концентрация оксида азота или диоксида азота ниже нижней границы диапазона измерений, то производят следующую запись в рабочем журнале: "Массовая концентрация оксида азота менее 0,028 мг/м" или "Массовая концентрация диоксида азота менее 0,021 мг/м".

рд 52.04.791
13.3 Если массовая концентрация аммиака ниже нижней границы используемого диапазона измерений, то производят следующую запись в журнале: "Массовая концентрация аммиака менее 0,02 мг/м".

рд 52.04.795
13.3 Если массовая концентрация сероводорода ниже нижней границы диапазона измерений, производят следующую запись в журнале: "Массовая концентрация сероводорода менее 0,006 мг/м".

рд 52.04.797
13.3 Если массовая концентрация фторида водорода ниже нижней границы диапазона измерений, то производят следующую запись в рабочем журнале: "Массовая концентрация фторида водорода менее 0,002 мг/м".

рд 52.04.799
13.3 Если массовая концентрация фенола ниже нижней границы используемого диапазона измерений, производят следующую запись в журнале: "Массовая концентрация фенола менее 0,003 мг/м".

рд 52.04.822
Если содержание диоксида серы ниже нижней границы диапазона измерений, то производят следующую запись в протоколе измерений:
"Массовая концентрация диоксида серы менее 0,01 мг/мпри объёме пробы 10 дм";
"Массовая концентрация диоксида серы менее 0,0025 мг/м при объёме пробы 40 дм".
13.3 Выдача протоколов с результатами из диапазона ниже нижней границы в качестве результатов единичных измерений недопустима.

рд 52.04.824
13.3 Если массовая концентрация формальдегида ниже нижней границы измерений, то производят следующую запись в протоколе измерений: "Массовая концентрация формальдегида менее 0,01 мг/м".

смущает, что часть РД пишут про рабочий журнал, а часть про протокол....

Сообщение отредактировал Маришка - Пятница, 17.09.2021, 08:19
 
LilamiДата: Пятница, 17.09.2021, 09:35 | Сообщение # 17
Группа: Пользователи
Сообщений: 141
Статус: Offline
Цитата Маришка ()
смущает, что часть РД пишут про рабочий журнал, а часть про протокол....


Такая запись (или/или) в методиках Росгидромета лишь потому, что результаты измерений, полученные в рамках государственного мониторинга объектов окружающей среды, не требуют оформления протоколов, только запись в журналах и др. внутренних ведомственных отчетных документах.
Если измерения для Заказчика, то оформление протоколом (или иным отчетным документом в соответствии с требованиями собственного РК).
 
KomarovaAgro64Дата: Пятница, 17.09.2021, 10:07 | Сообщение # 18
Группа: Пользователи
Сообщений: 235
Статус: Offline
Цитата Афанасьев ()
Другими словами: ссылка в протоколе на какую-либо методику с имеющимися границами и запись, что результат выходит за границы этого диапазона - это нонсенс. Такого быть не может в принципе.

Конкретный пример:

ГОСТ 26424-85 Метод определения ионов карбоната и бикарбоната в водной вытяжке
Диапазон измерения методикой не определен. При аккредитации пытались заявить (0,0-10,0) моль/100 г почвы. Но эксперты не разрешили – по их мнению, нижняя граница диапазона не может быть равна 0.
Суммарная погрешность метода, выраженная средним квадратическим отклонением, составляет 0,07 ммоль в 100 г почвы. Заявили диапазон (0,1-10,0) ммоль в 100 г почвы.
В соответствии с этим ГОСТом при использовании индикаторов сначала к пробе прибавляют 1 каплю раствора фенолфталеина и, если раствор приобретает малиновую окраску, титруют до ее исчезновения (рН 8,3), так определяют карбонаты. Но для нашего типа почв водная вытяжка малиновую окраску не приобретает. То есть фактически – карбонаты равны 0. В протоколах вынуждены писать менее 0,1 ммоль/100г. А все из-за мнения экспертов. Проверяла ОА других почвенных ИЛ - та же ситуация.
 
elena197185879Дата: Пятница, 17.09.2021, 10:46 | Сообщение # 19
Группа: Пользователи
Сообщений: 15
Статус: Offline
Цитата Директор ()
Еще примеры таких фраз в ГОСТах, ПНД Фках, аттестованных методиках есть, коллеги? Подкиньте примеров, как сделал наш товарищ в сообщении № 12, - с указанием шифра, названия документа, пункта в нем, с цитатой нужного места


ГОСТ Р 51232-98 ВОДА ПИТЬЕВАЯ Общие требования к организации и методам контроля качества
п.4.14 При получении результатов определения менее нижней границы диапазона измерений по применяемой методике и при представлении этих результатов не допускается использовать обозначение "0"; записывают значение нижней границы диапазона измерений со знаком "менее".
 
MetodistДата: Пятница, 17.09.2021, 10:48 | Сообщение # 20
Группа: Пользователи
Сообщений: 32
Статус: Offline
Цитата Еленарук ()
Не забудьте, что данная непонятная ситуация с представлением результатов относится и к случаю, когда один из двух результатов единичных определений в диапазоне методики, а второй - вне диапазона. Причем среднее результата испытания попадает в диапазон. Можно ли рассматривать такой результат как достоверный?.


Мы такие результаты в работе не используем ввиду их недостоверности. Промежуточные данные тоже должны входить в аттестованный диапазон.

Такая же ситуация возникает в случае определения расчетного показателя (например, когда из общего хрома надо исключить Хром 6 для получения значения Хрома 3, а хром 6 мы обнаружили менее нижнего предела - мы не имеем оснований официальных, чтобы сделать вывод о количестве Хрома3)
 
ЕленарукДата: Пятница, 17.09.2021, 10:59 | Сообщение # 21
Группа: Пользователи
Сообщений: 696
Статус: Offline
Цитата KomarovaAgro64 ()
Но для нашего типа почв водная вытяжка малиновую окраску не приобретает. То есть фактически – карбонаты равны 0. В протоколах вынуждены писать менее 0,1 ммоль/100г

А это несколько другой случай.
По сути данная методика предлагает двухэтапную процедуру:
1 этап - качественное определение. Для него есть только два возможных результата - да/нет, отсутсвие/присутствие.
2 этап -в случае, если качественное определение дает указание на наличие определяемого параметра, то проводится второе, уже качественное определение. Здесь можно опереться на цифры. Не более того-то/не менее того-то.
А если испытание закончилось на первом этапе, то как поступить?

Данный случай относится и к методике ГОСТ 28001-88 ЗЕРНО ФУРАЖНОЕ, ПРОДУКТЫ ЕГО ПЕРЕРАБОТКИ, КОМБИКОРМА. Методы определения микотоксинов:Т-2 токсина, зеараленона (Ф-2) и охратоксина .
По сути, надо выдавать двойной результат.
Т.е. вопросов на самом деле к оформлению гораздо больше, чем тот, который стал темой запроса.

А разработчикам следует посоветовать еще и более четко прописать два варианта расположения блоков данных, реквизитов и пр. на бланке протокола. Потому что в исходном ГОСТ Р 7.0.97-2016 есть четко два варианта – продольный и симметричный по середине, а в ГОСТ Р 58973-2020 они их по сути смешали в один вариант, из-за чего и не понятно, когда правый угол для «Утверждаю» самый верхний, а когда нет. В ГОСТ Р 7.0.97-2016 приведены схемы расположения текса и данных для двух вариантов, где все хорошо видно.
 
MetodistДата: Пятница, 17.09.2021, 11:45 | Сообщение # 22
Группа: Пользователи
Сообщений: 32
Статус: Offline
Выдержка из решения суда:
АО представило протокол измерений качества сточных вод по выпуску. При изучении представленного протокола измерений установлено, что результаты анализа ртути (менее 0,00001 мг/дмЗ) представлены меньше предела обнаружения области аккредитации испытательной лаборатории (центра) № POCC.RU.0001.515509 от 15.02.2016, в то время как норматив допустимого сброса по ртути составляет 0,000001 мг/дмЗ.
Таким образом, АО «БСК» не обеспечивает установление достоверных концентраций по содержанию ртути в сточных водах, сбрасываемых в реку Белая, следовательно, невозможно установить наличие превышения или отсутствие превышения предельно -допустимой концентрации по ртути.

Главная проблема в РФ- утверждение критериев ( требований) на уровне концентраций, которые нельзя измерить при работе "вне оценки соответствия". В экологии нет критериев четких для сточных вод, промывыбросов , это не товар содержание в котором того или иного компонента действительно совершенно справедливо может быть важным именно содержание не более того или иного значения. Или как , например, для реактивов водоподготовки:
ГОСТ Р 58580-2019 ПОЛИОКСИХЛОРИД АЛЮМИНИЯ Технические условия
Приложение А (обязательное)
Показатели качества полиоксихлорида алюминия
Примеси, токсические вещества*, % масс, не более (идёт перечисление металлов)

Я не могу найти в документах, кто именно из ФОИВ должен осуществлять проверку наличия методик измерений при разработке критерия. Может кто-то в курсе? Почему можно придумать тот или иной норматив, утвердить его на уровне ПП, СанПиН, Распоряжения Правительства, Приказа ФОИВ, а потом писать в официальных письмах, что разработка методики на плечах тех кому нужно измерять этот показатель?


Сообщение отредактировал Metodist - Пятница, 17.09.2021, 12:09
 
ДиректорДата: Пятница, 17.09.2021, 13:55 | Сообщение # 23
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Цитата Metodist ()
Выдержка из решения суда:
АО представило протокол измерений качества сточных вод по выпуску. При изучении представленного протокола измерений установлено, что результаты анализа ртути (менее 0,00001 мг/дмЗ) представлены меньше предела обнаружения области аккредитации испытательной лаборатории (центра) № POCC.RU.0001.515509 от 15.02.2016, в то время как норматив допустимого сброса по ртути составляет 0,000001 мг/дмЗ.

Ну, а какое еще могло быть решение, если норматив в десять раз меньше, указанного в протоколе "менее 0,00001 мг/дмЗ"? По хорошему заказчик, получив протокол с такой записью, должен был осознать, что по использованной методике не контролирует допустим ли сброс вредного (опрасного) вещества, и предпринять какие-то дополнительные шаги.
Другое дело, что и лаборатория должна была проинформировать заказчика о своих возможностях, а согласно пункту 7.2.1.4 выбрать подходящий метод самостоятельно и проинформировать об этом заказчика... Если, как обычно водится, заказчик не сам выбрал методику измерений, даже если лаборатории выбирать было не из чего - проинформировать нужно было.
Коллега, если Вы не напутали в нолями в значениях, это другой случай, скорее относящийся к некорректному поведению лаборатории.. Может быть вынужденному, из-за отсутствия подходящей под допустимый норматив методики измерений, но все же...
Проблема нормирования и разработка методик - громадная проблема, но мы здесь и сейчас не об этом.
Мы про то, как правильно написать в протоколе что измерения проведены, но результат оказался за рамками диапазона методики. Понятно - конкретную цифру вне диапазона используемой методики писать не можем, тут споров нет. Но какая-то запись а протоколе должна же быть? Хотя бы для того, чтобы заказчик узнал, что нужно провести дополнительные измерения.


Говорю, что думаю, и думаю, что говорю...
 
KomarovaAgro64Дата: Понедельник, 20.09.2021, 08:58 | Сообщение # 24
Группа: Пользователи
Сообщений: 235
Статус: Offline
Цитата Директор ()
Но какая-то запись а протоколе должна же быть?

Для себя написали так:
На основании сводного журнала оформить вторую и последующие страницы протокола с заполнением граф таблицы «Результаты испытаний»:
Наименование пробы (образца);
Наименование НД, устанавливающих правила и методы исследований (испытаний) и измерений указанные в ОА;
Наименование определяемого показателя в соответствии с ОА;
Фактическое значение определяемого показателя в форме, значениях и единицах, указанных в графе «Диапазон определения» ОА. В случае если после проведения измерений, фактическое значение показателя оказалось вне диапазона, определенного ОА, числовой результат в протокол не вносится, форма записи таких результатов – текстовое выражение математических знаков «больше» («меньше») с указанием верхней (нижней) границы диапазона, определенного ОА.
 
АфанасьевДата: Понедельник, 20.09.2021, 10:17 | Сообщение # 25
Группа: Друзья
Сообщений: 438
Статус: Offline
Цитата Директор ()
Мы про то, как правильно написать в протоколе что измерения проведены, но результат оказался за рамками диапазона методики. Понятно - конкретную цифру вне диапазона используемой методики писать не можем, тут споров нет. Но какая-то запись а протоколе должна же быть? Хотя бы для того, чтобы заказчик узнал, что нужно провести дополнительные измерения.

Цитата KomarovaAgro64 ()
В случае если после проведения измерений, фактическое значение показателя оказалось вне диапазона, определенного ОА, числовой результат в протокол не вносится, форма записи таких результатов – текстовое выражение математических знаков «больше» («меньше») с указанием верхней (нижней) границы диапазона, определенного ОА.

Если не ошибаюсь, я где-то уже писал об этом, но повторюсь.
Будет написана в протоколе конкретная цифра ниже (выше) диапазона методики, или будут указаны знаки "больше" ("меньше") - все равно это означает, что лаборатория документально (в протоколе) признала, что она проводила измерения вне диапазона методики. А иначе на основании чего в протокле написано, что результат "неньше" ("больше")?.
Поэтому, мне кажется, что более оптимальной в протоколе в таких случаях будет фраза типа:
- "Значений (уровней) измеряемого параметра (фактора) в пределах диапазонов, установленных используемой методикой измерений не обнаружено".


Сообщение отредактировал Афанасьев - Понедельник, 20.09.2021, 10:20
 
ДиректорДата: Понедельник, 20.09.2021, 10:30 | Сообщение # 26
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Цитата KomarovaAgro64 ()
написали так:
Коллега, случаи, когда про это есть указание в тексте методики измерений, не выделяете в отдельный пункт?
Я бы еще ввернула слова из положения ГОСТа (тк, что толкуют по-своему и пытаются нам "инкриминировать", - для обеспечения удовлетворенности заказчика в целях соблюдения недвусмысленности представленных результатов, в случае если в результате измерений (испытаний), фактическое значение показателя оказалось вне диапазона, определенного ОА, числовой результат в протокол не вносится, форма записи таких результатов – текстовое выражение математических знаков «больше» («меньше») с указанием верхней (нижней) границы диапазона, определенного ОА.
Выбиваем "козырь" из рук оппонентов...


Говорю, что думаю, и думаю, что говорю...
 
ElenaLKRBДата: Понедельник, 20.09.2021, 12:02 | Сообщение # 27
Группа: Пользователи
Сообщений: 25
Статус: Offline
Коллеги,
Ответ Росстандарта я поняла так, что не допускается писать фразы типа указанной в ответе или других фраз без численных значений, как не содержащих "конкретных значений для интерпретации результатов измерений". Результаты в виде "менее Х", "более Y", "< Z" как раз и являются четкими и недвусмысленными. ИМХО.
 
KomarovaAgro64Дата: Понедельник, 20.09.2021, 12:38 | Сообщение # 28
Группа: Пользователи
Сообщений: 235
Статус: Offline
Цитата Афанасьев ()
в пределах диапазонов, установленных используемой методикой

Хороший вариант. Может все-таки "в пределах диапазонов, установленных ОА". В методике диапазоны не всегда установлены.

" это означает, что лаборатория документально (в протоколе) признала, что она проводила измерения вне диапазона методики (ОА)" - для нас это самое главное, из за чего нужен запрос. Как быть если, действуем строго по методике, а результат вне диапазона ОА?
 
АфанасьевДата: Понедельник, 20.09.2021, 14:09 | Сообщение # 29
Группа: Друзья
Сообщений: 438
Статус: Offline
Цитата KomarovaAgro64 ()
Может все-таки "в пределах диапазонов, установленных ОА". В методике диапазоны не всегда установлены.
Нужно смотреть в каждом конкретном случае индивидуально. В одних случаях это будет "вне пределов методики", в других "вне пределов ОА"

Цитата KomarovaAgro64 ()
для нас это самое главное, из за чего нужен запрос. Как быть если, действуем строго по методике, а результат вне диапазона ОА?
Так здесь и без запроса все понятно (ИМХО): если результат вне диапазона ОА, то лаборатория попросту не имеет права проводить такие измерения (точнее - не имеет права выдавать протоколы под шапкой аккредитации).
 
labДата: Понедельник, 20.09.2021, 14:30 | Сообщение # 30
Группа: Пользователи
Сообщений: 802
Статус: Offline
Цитата Афанасьев ()
Если не ошибаюсь, я где-то уже писал об этом, но повторюсь.
Будет написана в протоколе конкретная цифра ниже (выше) диапазона методики, или будут указаны знаки "больше" ("меньше") - все равно это означает, что лаборатория документально (в протоколе) признала, что она проводила измерения вне диапазона методики. А иначе на основании чего в протокле написано, что результат "неньше" ("больше")?.
Поэтому, мне кажется, что более оптимальной в протоколе в таких случаях будет фраза типа:
- "Значений (уровней) измеряемого параметра (фактора) в пределах диапазонов, установленных используемой методикой измерений не обнаружено".

Это будет правильная, но не понятная запись. Что делать заказчику, ведь его цель не достигнута, ему не понятно, какую лабораторию искать дальше, с каким диапазоном? Мы не работаем вне диапазона, и полученный результат записываем "менее Х" не просто так, это и ГОСТ Р 51232 п.4.14 уже больше 20 лет позволяет и чувствительность приборов показывает нам, что концентрация "вылезла" за диапазон.
Например, сегодня анализ питьевой воды по показателю мутность, результат 0,02 ЕМФ, в протокол внесу менее 1 ЕМФ, написать нижнюю границу диапазона в ОА религия не позволяет, т.к. такая мутность 1 ЕМФ у нас в природной обычно.
Предложенная Вами запись может ввести в заблуждение и не даст возможности сравнить в нормативами, ведь непонятно больше или меньше диапазона все же результат, "чистая" или "грязная " вода в итоге. Пока пишу по-старому, надеюсь истина выплывет, обсуждение в самом начале.


Сообщение отредактировал lab - Понедельник, 20.09.2021, 14:39
 
ДиректорДата: Понедельник, 20.09.2021, 19:35 | Сообщение # 31
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Есть методика, есть конкретный диапазон концентраций по методике, например от 0.1 до 4 мг/дм3. Результат в пробе ниже нижнего диапазона, например 0.05. Если лаборатории выдают результат менее 0.1, это правильно. Т.к. методика разработана, и экспериментально доказано, что она работает (может быть, она даже аттестована) только в диапазоне 0.1-4 мг/дм3, все, что ниже 0.1 или выше 4, не может быть определено по этой методике (по крайней мере без её валидации для измерений в более широком диапазоне). Лаборатория определила, что концентрация меньше, но конкретное число дать не может (ни в рамках ОА, ни в рамках методики), о чем и сообщает в протоколе, записав результат в виде "менее Х", "более Y", "< Z", "> Z" . Где здесь работа за пределами используемой методики? Четко и недвусмысленно утверждается, что результат конкретной пробы за рамками диапазона 0.1-4 мг/дм3 причем "за" по нижней границе.
По сути эта запись говорит о том, что по выбранной методике не возможно получить числовое значение, и дает сигнал заказчику (если ему важен числовой результат) в поиске метода с более низкой нижней границей диапазона измерений. А если заказчику важно убедиться, что результат в пробе в рамках диапазона или не в рамках 0.1-4 мг/дм3 (цели исследований разные бывают), то он получает то, что ему было нужно.
А вот если бы лаборатория написала числовое значение = 0,05, это бы и значило работу за рамками диапазона используемой методики.


Говорю, что думаю, и думаю, что говорю...
 
vfrcДата: Вторник, 21.09.2021, 15:52 | Сообщение # 32
Группа: Пользователи
Сообщений: 29
Статус: Offline
в наших протоколах у всех результатов , полученных менее Х или более Y ставится * (звездочка)и ниже всех результатов дается ссылка, что ,например* <0,02 – ниже предела обнаружения, пока всех устраивало

Сообщение отредактировал vfrc - Вторник, 21.09.2021, 15:55
 
labДата: Вторник, 21.09.2021, 16:59 | Сообщение # 33
Группа: Пользователи
Сообщений: 802
Статус: Offline
Цитата vfrc ()
в наших протоколах у всех результатов , полученных менее Х или более Y ставится * (звездочка)и ниже всех результатов дается ссылка, что ,например* <0,02 – ниже предела обнаружения, пока всех устраивало


Да, я пожалуй тоже в примечание включу эту информацию. Можно перефразировать, предложенную Афанасьев, :
"Значение (уровень) измеряемого параметра (фактора) в пределах диапазона, установленного используемой методикой измерений не обнаружено, т.к. находится за пределами нижней границы диапазона".
 
KomarovaAgro64Дата: Среда, 22.09.2021, 09:48 | Сообщение # 34
Группа: Пользователи
Сообщений: 235
Статус: Offline
Цитата lab ()
пожалуй тоже в примечание включу эту информацию. Можно перефразировать, предложенную Афанасьев, :
"Значение (уровень) измеряемого параметра (фактора) в пределах диапазона, установленного используемой методикой измерений не обнаружено, т.к. находится за пределами нижней границы диапазона".

Я тоже и тоже с уточнением: "Значение (уровень) измеряемого параметра (фактора) в пределах диапазона, установленного используемой методикой измерений не обнаружено, т.к. находится за пределами нижней границы диапазона (0,1-99,9)%".
 
ДиректорДата: Среда, 22.09.2021, 12:41 | Сообщение # 35
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Так какой вариант мы предложим, коллеги? Чтобы и заказчика "удовлетворить", и не попасть под "карательные"...

Говорю, что думаю, и думаю, что говорю...
 
labДата: Среда, 22.09.2021, 12:53 | Сообщение # 36
Группа: Пользователи
Сообщений: 802
Статус: Offline
Цитата Директор ()
Так какой вариант мы предложим, коллеги? Чтобы и заказчика "удовлетворить", и не попасть под "карательные"...

Я думаю, что последний вариант KomarovaAgro64, только вот не нравится мне словосочетание "Значение... не обнаружено", может Значение не определено? Тогда так:
В графе с результатом вписываем менее 0,1 (или ‹ 0,1), ставим звездочку (или номер сноски) и в примечании под звездочкой (или под номером сноски) пишем:
Значение измеряемого показателя (параметра) в пределах диапазона, установленного методикой измерений не определено, т.к. находится за пределами нижней границы диапазона (0,1-99,9)%".
или так :
Результат измеряемого показателя (параметра) в пределах диапазона, установленного методикой измерений не определен, т.к. находится за пределами нижней границы диапазона (0,1-99,9)%".

Только вот, если таких показателей в протоколе не один, а несколько, то либо придется писать по каждому отдельно, либо оставить общую для всех показателей "менее х" фразу без указания диапазона.
Тогда так:
Результат измеряемого показателя (параметра) в пределах диапазона, установленного методикой измерений не определен, т.к. находится за пределами нижней границы диапазона


Сообщение отредактировал lab - Среда, 22.09.2021, 12:57
 
vfrcДата: Среда, 22.09.2021, 13:03 | Сообщение # 37
Группа: Пользователи
Сообщений: 29
Статус: Offline
так то оно так, но ведь в письме РОССТАНДАРТА и указывают что "указание результата в виде фразы менее численного значения нижней ( верхней) границы диапазона определения применяемой лабораторией методики выполнения измерений является нарушением требований пункта ГОСТа".
Можем ли мы так писать теперь. Раньше то вопросов и не возникало и всех устраивало.


Сообщение отредактировал vfrc - Среда, 22.09.2021, 13:21
 
labДата: Среда, 22.09.2021, 13:14 | Сообщение # 38
Группа: Пользователи
Сообщений: 802
Статус: Offline
Цитата vfrc ()
нарушением требований пункта5.17 ГОСТа".
Можем ли мы так писать теперь. Раньше то вопросов и не возникало и всех устраивало.

Нам хотят вменить нарушение п. 7.8.1.2 ГОСТ 17025, мы снижая свои риски включаем дополнительную информацию в примечание, ее мы заранее согласовываем с Заказчиком и четко, недвусмысленно и объективно пишем, что результат "менее Х" не определен... ну и далее, как выше писала...
Видимо не помешает обо всем это и по п. 5.3 ГОСТ в РК прописать и своим документом - РК узаконить эти записи в протоколах. Наши руководители любят на Европу и Азию смотреть - пусть и в их протоколы заглянут, посоветуются, прежде, чем такие письма вбрасывать.
Подбешивает сложившаяся ситуация. Информация о чистом продукте, практически не содержащем никаких примесей (менее Х) вдруг, по чье-то воле становится "нарушением". И что дальше, при нормативе, например, 45, заказчик узнает, что в его воде содержится нитратов менее 0,1, все ок, Зачем ему знание о 0,05 или 0,001 нитратов ... не понимаю.


Сообщение отредактировал lab - Среда, 22.09.2021, 13:29
 
vfrcДата: Среда, 22.09.2021, 13:36 | Сообщение # 39
Группа: Пользователи
Сообщений: 29
Статус: Offline
Цитата lab ()
Подбешивает сложившаяся ситуация. Информация о чистом продукте, практически не содержащем никаких примесей (менее Х) вдруг, по чье-то воле становится "нарушением". И что дальше, при нормативе, например, 45, заказчик узнает, что в его воде содержится нитратов менее 0,1, все ок, Зачем ему знание о 0,05 или 0,001 нитратов ... не понимаю


полностью с Вами соглашусь
 
AlexeyVolkovДата: Среда, 22.09.2021, 14:23 | Сообщение # 40
Группа: Пользователи
Сообщений: 78
Статус: Online
Цитата Директор ()
Так какой вариант мы предложим, коллеги? Чтобы и заказчика "удовлетворить", и не попасть под "карательные"...

...
Требовать дальнейших разъяснений?
Потому что пока это выглядит как изыскивание из написанного каких-то особых смыслов, о которых никто и не думал изначально, когда требования формировались. Видимо, таким же путем пошли те пару человек, которые давали ответы в Росстандарте и ФСА.
Думается, теперь еще нужно добиваться конкретных определений слов "четко", "недвусмысленно" и т.п...
 
MassДата: Среда, 22.09.2021, 15:11 | Сообщение # 41
Группа: Пользователи
Сообщений: 44
Статус: Offline
с данным вопросом обратился к одному из действующих экспертов РА, сказал что это чушь полная и он постарается помочь в этом вопросе через какие-то свои запросы в РА...
 
labДата: Среда, 22.09.2021, 16:30 | Сообщение # 42
Группа: Пользователи
Сообщений: 802
Статус: Offline
Цитата Mass ()
с данным вопросом обратился к одному из действующих экспертов РА, сказал что это чушь полная и он постарается помочь в этом вопросе через какие-то свои запросы в РА...

Насколько мне известно, в экспертном сообществе тоже эта темы вызвала, мягко говоря, недоумение. Надеюсь вместе мы всё улучшим, усилим, углубим:)
 
MassДата: Четверг, 23.09.2021, 09:31 | Сообщение # 43
Группа: Пользователи
Сообщений: 44
Статус: Offline
Коллеги, а есть здесь кто-нибудь кому уже при ПК предъявили данные нарушения по 17025???
 
ДиректорДата: Пятница, 24.09.2021, 09:35 | Сообщение # 44
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Цитата Mass ()
с данным вопросом обратился к одному из действующих экспертов РА, сказал что это чушь полная и он постарается помочь в этом вопросе через какие-то свои запросы в РА...
Думаете обращению от эксперта с большим вниманием отнесутся? Не думаю... Есть оф. ответ РА и есть ответ РСТ на частные запросы. Позиции про записи в протоколе для случаев, когда он оказался за рамками диапазона методики, в этих ответах совпадают. Думаете случайно? У Вас нет ощущения, что кто-то один трактует пункт 7.8.1.2 основополагающего ГОСТа в силу своего разумения?
Написано: Результаты должны быть представлены точно, четко, недвусмысленно и объективно, как правило, в форме отчета (например, отчет об испытаниях, свидетельство (сертификат) о калибровке или акт отбора образцов) и должны включать в себя всю информацию, согласованную с заказчиком и необходимую для интерпретации результатов, а также всю информацию, требуемую в соответствии с применяемым методом. Все оформленные отчеты должны быть сохранены в качестве технических записей
И этому "кому-то" подумалось, что общепринятая практика записи неверна... Беда в том, что к этому неизвестному нам кому-то прислушались и разрешили выразить свое мнение письменно, да еще на официальных бланках ФИОВ.
Эксперты, может быть, солидированно недоумевают, но... надеяться на то, что кто-то (пусть даже несколько экспертов) разрулят ситуацию, обратившись в ФСА с запросом, не стоит. Это должны сделать мы сами, не надеясь на помощь со стороны.


Говорю, что думаю, и думаю, что говорю...
 
ДиректорДата: Среда, 29.09.2021, 00:31 | Сообщение # 45
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Коллеги, появился еще один ответ РСТ. Там иное мнение... Смотреть здесь https://t.me/sigilet

Говорю, что думаю, и думаю, что говорю...
 
marishka777Дата: Среда, 29.09.2021, 03:01 | Сообщение # 46
Группа: Пользователи
Сообщений: 54
Статус: Offline
Здравствуйте! Хотим тоже отправить запрос в РА, чтобы ответ был и в нашей папочке. Подскажите на кого лучше писать?
 
ДиректорДата: Среда, 29.09.2021, 08:34 | Сообщение # 47
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Я всегда пишу на имя руководителя...

Говорю, что думаю, и думаю, что говорю...
 
LilamiДата: Среда, 29.09.2021, 09:29 | Сообщение # 48
Группа: Пользователи
Сообщений: 141
Статус: Offline
Цитата Директор ()
Коллеги, появился еще один ответ РСТ. Там иное мнение... Смотреть здесь https://t.me/sigilet


Да, мнение Росстандарта в этом ответе иное.
Учитывая тот факт, что рассмотрение результата измерений в протоколе испытаний на его соответствие области аккредитации, является компетенцией Росаккредитации, может быть написать запрос в РА с таким содержанием:
"Просим подтвердить, что: Результат измерения, полученный ниже диапазона методики, использованной для измерения и включённой в УОА АЛ, не противоречит ОА и не рассматривается как результат измерения, полученный вне ОА". И далее про запись такого результата в протоколе, которую предлагает Росстандарт в ответах на частные запросы.
Просто я к тому, что ответ заложить в самом запросе РА.
Иначе, ситуация развивается по сценарию - сколько людей, столько и мнений.
 
ИрэнаДата: Среда, 29.09.2021, 09:31 | Сообщение # 49
Группа: Пользователи
Сообщений: 94
Статус: Offline
Цитата Директор ()
Смотреть здесь https://t.me/sigilet


Татьяна Ивановна, доброе утро. Можете выложить это письмо здесь? Не мог скачать с телеграмм.
 
ДиректорДата: Среда, 29.09.2021, 10:34 | Сообщение # 50
Группа: Администраторы
Сообщений: 5779
Статус: Offline
Товарищи, прикрепляю письмо Ростанлдарта об оформлении результата, если он за рамками диапазона измерений (иное мнение). Вчера им поделилась наша читательница.
Прикрепления: Скачивание файлов доступно только зарегистрированным пользователям | Вход/Регистрация


Говорю, что думаю, и думаю, что говорю...
 
Форум » ОБСУДИМ? » Обсуждение документов » Проект запроса (если результат оказывается ниже диапазона)
  • Страница 1 из 2
  • 1
  • 2
  • »
Поиск:

Все права защищены © 2009 - 2021