Съдържание:

Бета тестването на Tesla FSD на обществени пътища е начинът, по който подобрявате безопасността
Бета тестването на Tesla FSD на обществени пътища е начинът, по който подобрявате безопасността

Видео: Бета тестването на Tesla FSD на обществени пътища е начинът, по който подобрявате безопасността

Отличия серверных жестких дисков от десктопных
Видео: FSD Beta 9.2 Первый драйв и впечатления 2023, Февруари
Anonim

Нов продукт рядко е без недостатъци. Има стара поговорка за нови къщи. Когато купувате нова къща, току-що завършена от строителя, оставете врага си да живее в нея първата година. Нека приятел живее в него през втората година, преместете се в него, за да живеете там сами на третата година. Тази мъдрост е от много преди да сме чували за бета тестери и алфа тестери.

От 1954 г. е възможно да се изтеглят превозни средства в САЩ въз основа на техния VIN. Дори най-доброто тестване не можеше да открие всички недостатъци на даден продукт и когато недостатък беше свързан с безопасността, NHTSA можеше да нареди изземване. Отново това не е бета тестване на автомобилите преди обща наличност. Признанието е, че дори най-добре тестваните продукти могат да съдържат недостатъци, които се откриват само след дълго време и широко използване.

Баща ми беше истински автомобил. Той и приятелите му не познаваха по-голямо удоволствие от това да разглобят кола и да я възстановят по начин, който според тях беше по-добър. Това беше през 30-те години в Париж. Историята за една испано суиза, която разрязаха наполовина, за да я направят половин метър по-дълга, се преразказваше всеки път, когато се срещнаха.

Друга история, която беше популярна сред тях, беше за прототип. Когато разработката го сметна за перфектен, той беше произведен в малка серия и предаден на механиците, за да направи кола, която да се тества в реалния живот. След няколко месеца без оплаквания започна реално производство. Беше катастрофа. Оказа се, че механиците се гордеят с работата си и поддържат и ремонтират автомобилите, както само механиците, които са произвели колата, могат.

Следващият път, когато прототипът трябваше да бъде тестван, компанията избра фермери, които познаваха само коне за транспорт. Преместиха предавките, без да включат съединителя. Поставят големите си дървени обувки едновременно на спирачката и газта. Счупиха всичко, което можеше да се счупи. Те го направиха по много различни начини. Резултатът беше кола, която остана в производство близо половин век. Беше известен с това, че беше прост, здрав и мечта на механик. Всички болтове бяха с еднакъв размер, трябваше ви само един гаечен ключ. Тази кола беше Citroen 2CV. Може би беше любимата кола на баща ми.

Това тестване е известно още като: „Този ​​продукт надежден ли е?“Не, нищо никога не е така. Но най-добрият начин да се приближите възможно най-близо е да го използвате по възможно най-лошия начин.

Работил съм в разработването на софтуер през по-голямата част от работния си живот. Това беше предимно финансов софтуер. Една от работата ми беше тестването на система, която плащаше около сто хиляди учители всеки месец. Друг беше международните парични преводи със системата SWIFT по време на въвеждането на еврото. Ако има грешка в такава система, това е скъпо. Трудно е да си върнете парите, когато са платени на грешния човек или е платена грешна сума. Тестването беше много строго. Поправки на грешки имаше всеки месец. Нито една система не съдържа грешки. Банковите системи с милиони потребители и стотици подсистеми не са изключение. Нито са много добре дефинирани и тествани системи за заплати - те също съдържат грешки. Както банката, така и компанията за заплати имаха специален екип, който можеше да поправи системата в производството.

Делото за софтуер за бета тестване

Когато системата стане по-сложна, тя ще има повече грешки. Когато системите се използват от повече хора, ще бъдат открити повече грешки. Когато системите се разгърнат в повече среди, ще възникнат по-непредвидени ситуации.

Първият кръг на тестване е от разработчиците. Направиха ли това, което мислят, че са направили? Но наистина не можете да тествате собствения си продукт, защото знаете, че е добър.

Вторият кръг е от отдела за осигуряване на качеството. Въз основа на спецификациите QA може да напише много големи тестови набори, които тестват всяко условие в спецификациите. Но QA не може да тества характеристиките. Доколкото въображението им позволява, те могат да създават други тестове, но това не е много.

Третият кръг е потребителите да тестват в контролирана среда, да правят това, което биха правили нормално, и да докладват за всичко, което не им харесва. Това разкрива пропуските и грешките в спецификациите.

Констатациите във всеки кръг се връщат към разработчиците и целият цирк започва отново. Следващият кръг започва само, тъй като предишният кръг е без грешки.

Четвъртият кръг е интеграцията в оперативния свят. Може ли да функционира и да работи, без да нарушава друга система? Имунизиран ли е срещу смущения от която и да е друга система? Това звучи просто, но реалният свят е много сложен. Работих предимно върху един мейнфрейм с ограничен брой интерфейси. Microsoft Office работи на над сто милиона компютри с почти безкраен брой интерфейси и конфигурации - поразително.

Този четвърти кръг започва в тестова лаборатория с няколко хиляди различни конфигурирани компютри, работещи с тестови скриптове. Използват се записи от случаи на употреба, при които предишните версии са спирали. Може би са тествани сто хиляди известни проблемни ситуации. Софтуерът е толкова стабилен, колкото те могат да го направят.

Но това е краят на това, което е възможно да се тества за отдела за разработка и QA гурутата. И все още има твърде много грешки в системата, за да я пуснат за широката публика. Опитът и статистиката са научили мнозина на тази грозна истина.

В ранните дни софтуерната индустрия пусна версия ##. 1 и всички опитни потребители знаеха, че ще бъде бъги. Някои иноватори и ранни предприемачи биха го използвали от любопитство и за приключения. След няколко месеца версия ##. 2 ще бъде пусната с премахнати повечето грешки. По-късно версия ##. 23 или ##. 31 ще бъде версията за общо ползване.

Тези първи потребители на системите се превърнаха в общност, която надникна в софтуера, преди да бъде пуснат. Роди се настоящата практика на бета тестване.

И с тази малка история става ясно какво е бета-софтуер. Това е софтуерът, който е най-добрият екип за разработка, който може да произведе, но не достатъчно добър за широко използване. Той е чудесен за потребители, които могат да толерират несъвършенства и случайни грешки, но за тези, които смятат, че трябва просто да работи, все още не е достатъчно добър.

Предимството на използването на бета версия само за избрани потребители, вместо да я наричате версия ##. 1 е, че тя се пази от непознатите. Няма недоразумение, че версия 23.1 трябва да е много добра, защото те са на 23-та версия.

Бета тестването с реални потребители е единственият начин да се преодолее разликата между това, което развитието може да доведе, и това, което широката общественост очаква. Добрата програма за бета тестване започва с малка група тестери, хора, избрани заради уменията им за използване на продукта и тяхната готовност и надявам се доказана способност, да бъдат критични и да опишат какви подобрения трябва да бъдат направени.

С нарастването на софтуера, групата бета тестери може да се разшири. Някои бета тестове включват милиони потребители. Колкото по-дълга е фазата на бета теста, толкова по-добър е продуктът. Някои компании (например Google) поддържат софтуера си в бета версия в продължение на много години.

Тестване на AI

Със системата за изкуствен интелект, базирана на невронна мрежа (AI), имаме друг проблем. Няма спецификации. Не можем да изградим набор от тестове въз основа на всяко условие, посочено в проекта. На невронната мрежа (NN) бяха дадени няколко милиона ситуации и решения. Той написа кода, за да ги разпознае и реши сам. Как можете да тествате това?

По същество е по същия начин, по който се прави тестването на друг софтуер. Само има по-голямо търсене на творчество от тестерите. AI може да се захранва с милиони ситуации във виртуална среда, за която е известно правилното решение. Писах за това, когато обсъждах Доджо.

В случая на софтуера на Tesla за цялото самоуправление (FSD), този метод може да доведе ИИ до компетентно ниво. Случаите се основават на милиони случаи, качени от драйвери на Tesla. Но тези виртуални случаи никога не могат да заменят реалното тестване.

Написах статия за изпитващите шофьори като най-добрите бета тестери, които Тесла може да намери. Това може би може да се нарече алфа тестване. Това е последната проверка, извършвана систематично под егидата на разработчиците. Тези хора са перфектни, за да решат дали наистина е пълна с функции и може ли да се справи с всички нормални, предвидими ситуации на трафика. (Това, което те не могат да направят, е да помогнат да направят софтуера надежден.)

В крайна сметка обаче само нормалните потребители, с всичките им странности и недоразумения, могат да намерят всички ситуации, в които софтуерът не е достатъчно добър.

Наскоро ръководители на конкурираща се компания за автономно шофиране разкритикуваха Tesla, че използва публиката за бета тестване. Те използват собствените си служители, за да направят това, казаха ръководителите. Освен факта, че служителите често са по-малко мотивирани и по-лесно разсеяни, стига да можете да подобрите продукта си, като го тествате сами, вие не сте готови за бета тестване. Това е смисълът. Но те ще се научат.

Популярни по теми