ExploreExplorarBH-0040
Run a human classifier lab with a held-out testHaga un laboratorio de clasificador humano con una prueba reservada
Train a family member to sort objects from a balanced set, test them only on objects they never saw, read a confusion table, and earn an improvement with better data.Entrene a un familiar para clasificar objetos a partir de un conjunto equilibrado, pruébelo solo con objetos que nunca vio, lea una tabla de confusión y consiga una mejora con mejores datos.
- Ways in:Formas de empezar:
- Read, 3 minutesLeer, 3 minutos
- Do, 30 minutesHacer, 30 minutos
- Simulate, 10 minutesSimular, 10 minutos
- AgesEdades
- Every age. Best for ages 10 and up.Todas las edades. Ideal desde los 10 años.
- CostCosto
- Things already at homeCosas que ya hay en casa
- From the curriculumDel currículo
- AI-JH-07
The MESH'D components this item uses:Los componentes MESH'D que usa:SoftwareSoftware
Do, about 30 minutesHacer, unos 30 minutos
Build it at homeConstrúyalo en casa
StepsPasos
- Choose two kinds and plan balance: the same number of each kind. Set the privacy rule: objects and drawings only.Elija dos tipos y planee el equilibrio: el mismo número de cada tipo. Fije la regla de privacidad: solo objetos y dibujos.
- Split: put about a third of the objects in the covered box as the held-out test. Nobody peeks.Divida: ponga más o menos un tercio de los objetos en la caja tapada como prueba reservada. Nadie se asoma.
- Train: show the classifier each training object and say its kind. They may ask questions; they build their own rule.Entrene: muestre al clasificador cada objeto de entrenamiento y diga su tipo. Puede hacer preguntas; construye su propia regla.
- Test: bring out the held-out objects one at a time; the classifier names the kind, and you write only right or wrong.Pruebe: saque los objetos reservados uno a la vez; el clasificador dice el tipo, y usted escribe solo bien o mal.
- Compute the accuracy: right answers divided by the number of test objects.Calcule la exactitud: los aciertos divididos entre el número de objetos de prueba.
- Fill the confusion table: for each true kind, how many were called each kind. What gets mistaken for what, and why?Llene la tabla de confusión: para cada tipo verdadero, cuántos fueron llamados de cada tipo. ¿Qué se confunde con qué, y por qué?
- Improve with data: add training objects near the confusions, train again, test again on the same held-out set, and log the change.Mejore con datos: agregue objetos de entrenamiento cercanos a las confusiones, entrene otra vez, pruebe otra vez con el mismo conjunto reservado y anote el cambio.
- Run the demo for the family and walk them through the accuracy report.Haga la demostración para la familia y explíqueles paso a paso el informe de exactitud.
What you needLo que necesita
- Twenty or more everyday objects or drawings in two kinds, such as things for the kitchen and things for the garage, or fruit and not fruitVeinte o más objetos o dibujos de todos los días de dos tipos, como cosas de la cocina y cosas del garaje, o frutas y no frutas
- Two bowls or sheets marked with the two kindsDos tazones u hojas marcadas con los dos tipos
- A covered box for the held-out objectsUna caja tapada para los objetos reservados
- Paper for the tally and a confusion table of two rows and two columnsPapel para el conteo y una tabla de confusión de dos filas y dos columnas
Things already at home.Cosas que ya hay en casa.
This is a game with objects, drawings and tallies, and no device. Train on objects, drawings and sounds, never on a person's face or voice without that person's permission, and a parent's permission for a child. If your family tries a real classifier tool, a grown-up supervises every use, follows the tool's own age terms, and it is never used for personal or feelings questions. Small objects stay away from children under three and anyone who still mouths things.Esto es un juego con objetos, dibujos y conteos, sin aparatos. Entrene con objetos, dibujos y sonidos, nunca con el rostro o la voz de una persona sin su permiso, y con el permiso de su padre, madre o tutor si es menor de edad. Si su familia prueba una herramienta real de clasificación, una persona adulta supervisa cada uso, sigue los términos de edad de la herramienta, y nunca se usa para preguntas personales ni de sentimientos. Los objetos pequeños se mantienen lejos de los niños menores de tres años y de cualquiera que todavía se meta cosas en la boca.
Read, 3 minutesLeer, 3 minutos
The big ideaLa gran idea
The cardinal mistake in machine learning is testing on what you trained on. A classifier that has seen the test looks perfect and knows nothing, so you split the data: a training set it learns from and a held-out test set it never sees until the test. Accuracy, the share of test cases it got right, does not settle it either. A confusion table shows which mistakes happen, what gets mistaken for what, and who pays for each error. Balance matters from the start, and when the model fails, the fix is better data, measured again and logged. The classifier matched patterns; it did not see the way a person does.El error capital del aprendizaje automático es probar con lo mismo que se usó para entrenar. Un clasificador que ya vio la prueba parece perfecto y no sabe nada, así que los datos se dividen: un conjunto de entrenamiento del que aprende y un conjunto de prueba reservado que no ve hasta la prueba. La exactitud, la parte de los casos de prueba que acertó, tampoco lo resuelve todo. Una tabla de confusión muestra qué errores ocurren, qué se confunde con qué y quién paga cada error. El equilibrio importa desde el principio, y cuando el modelo falla, la solución son mejores datos, medidos otra vez y anotados. El clasificador encontró patrones; no vio como ve una persona.
Explore, 10 minutesExplorar, 10 minutos
How a machine learns to sortCómo aprende a ordenar una máquina
Train a simple machine to sort made-up cats and dogs from examples, watch its line move with each mistake, and test it fairly on animals it has never seen.Entrene una máquina sencilla para ordenar gatos y perros inventados a partir de ejemplos, vea moverse su línea con cada error y pruébela de forma justa con animales que nunca ha visto.
The drawing shows where it starts. It runs here once its script has loaded.El dibujo muestra dónde empieza. Funciona aquí una vez que carga su código.
Your challengeSu reto
- With the fair deck, train the machine until a whole round has no mistakes.Con el mazo parejo, entrene la máquina hasta que una ronda completa no tenga errores. Not done yet.Todavía no.
- Train it on the lopsided deck and catch it calling a test dog a cat.Entrénela con el mazo disparejo y descúbrala llamando gato a un perro de prueba. Not done yet.Todavía no.
- Fix the lopsided deck with cards of your own, and train until it gets eleven of the twelve test animals right.Arregle el mazo disparejo con tarjetas suyas y entrene hasta que acierte once de los doce animales de prueba. Not done yet.Todavía no.
Every challenge done. Now try it for real at home.Todos los retos logrados. Ahora pruébelo de verdad en casa.
Test cats it calls cats, animals it never trained onGatos de prueba que llama gatos, animales con los que nunca practicó
Test dogs it calls dogsPerros de prueba que llama perros
Percent wrong on each kind:Porcentaje de errores con cada clase:
Its own practice cards it sorts rightSus propias tarjetas de práctica que ordena bien
Training so far:Entrenamiento hasta ahora:
Its weights, the numbers it learned:Sus pesos, los números que aprendió: earsorejas nosenariz pushempuje
The new card:La tarjeta nueva:
Every animal here is made up. A head with pointed ears is a cat, one with hanging ears a dog. Filled heads are the practice cards it learns from; hollow heads are the twelve test animals it never trains on. The shaded sides show what the machine would say there, and a dashed ring marks each animal it gets wrong right now. Tap the plane to move the new card there.Cada animal aquí es inventado. Una cabeza con orejas puntiagudas es un gato, una con orejas caídas un perro. Las cabezas rellenas son las tarjetas de práctica de las que aprende; las huecas son los doce animales de prueba con los que nunca practica. Los lados sombreados muestran lo que diría la máquina ahí, y un anillo punteado marca cada animal con el que se equivoca ahora. Toque el plano para mover ahí la tarjeta nueva.
What is happeningQué está pasando
A person made this tool. A person chose what it looks at, how pointy an animal’s ears are and how long its nose is, and the rule it uses to learn. Nobody ever tells it the rule for cats and dogs.Una persona hizo esta herramienta. Una persona eligió lo que mira, qué tan puntiagudas son las orejas de un animal y qué tan larga es su nariz, y la regla que usa para aprender. Nadie le dice nunca la regla para gatos y perros.
It learns from examples. For each card it adds up a vote: each feature times its weight, plus a push. Above zero it says cat, below zero it says dog. When a guess is wrong, it nudges its weights toward the right answer, and the dividing line moves. When a whole round of cards brings no mistakes, the line stops moving.Aprende de ejemplos. Para cada tarjeta suma un voto: cada rasgo por su peso, más un empuje. Arriba de cero dice gato, abajo de cero dice perro. Cuando se equivoca, ajusta sus pesos hacia la respuesta correcta, y la línea divisoria se mueve. Cuando una ronda completa de tarjetas no trae errores, la línea deja de moverse.
It can be wrong. The fair test uses animals it never trained on, and even then it misses one, a dog with pointy ears and a short nose. Trained on a lopsided deck whose dogs all have floppy ears, it calls half the test dogs cats. That is bias, and it comes from the examples, so the fix is better examples, not scolding the machine.Puede equivocarse. La prueba justa usa animales con los que nunca practicó, y aun así falla con uno, un perro de orejas puntiagudas y nariz corta. Entrenada con un mazo disparejo cuyos perros tienen todos las orejas caídas, llama gatos a la mitad de los perros de prueba. Eso es sesgo, y viene de los ejemplos, así que la solución son mejores ejemplos, no regañar a la máquina.
Things to tryCosas para probar
- Press Check one card a few times and watch which mistakes move the line.Oprima Revisar una tarjeta varias veces y vea qué errores mueven la línea.
- Train the lopsided deck and read the percent wrong for cats and for dogs. Which kind does it treat unfairly?Entrene el mazo disparejo y lea el porcentaje de errores con gatos y con perros. ¿A qué clase trata injustamente?
- Choose the empty deck and teach the machine with as few cards as you can.Elija el mazo vacío y enséñele a la máquina con la menor cantidad de tarjetas que pueda.
- Compare its score on its own practice cards with its score on the test animals. Why is the test the honest one?Compare su resultado con sus propias tarjetas de práctica y con los animales de prueba. ¿Por qué la prueba es la honesta?
This is a model. Every animal here is made up, and real animals cannot be sorted by two features alone. Real classifiers look at many more features and learn from many more examples, and many draw curved lines, but they learn the same way: from examples, by changing numbers when they are wrong.Esto es un modelo. Cada animal aquí es inventado, y los animales reales no se pueden ordenar solo con dos rasgos. Los clasificadores reales miran muchos más rasgos y aprenden de muchos más ejemplos, y muchos trazan líneas curvas, pero aprenden de la misma manera: de ejemplos, cambiando números cuando se equivocan.
Open the simulation on its own pageAbrir la simulación en su propia página
Your engineering challengeSu reto de ingeniería
Reach an accuracy of at least eight right out of ten on the held-out test, then make one improvement driven by the confusion table and show the accuracy move.Alcance una exactitud de por lo menos ocho aciertos de diez en la prueba reservada, luego haga una mejora guiada por la tabla de confusión y muestre cómo se mueve la exactitud.
Make it an experimentConviértalo en un experimento
Science is about changing one thing and watching what happens. Write down your guess, your hypothesis, before you start.La ciencia se trata de cambiar una cosa y observar qué pasa. Escriba su suposición, su hipótesis, antes de empezar.
- A balanced training set against a lopsided one, with the same test set. Compare the two confusion tables.Un conjunto de entrenamiento equilibrado contra uno disparejo, con el mismo conjunto de prueba. Compare las dos tablas de confusión.
- Change the test size: five held-out objects against ten. Which accuracy number do you trust more?Cambie el tamaño de la prueba: cinco objetos reservados contra diez. ¿En qué número de exactitud confía más?
- Keep the data and change the classifier: a different family member trained on the same objects. Do the same mistakes repeat?Conserve los datos y cambie el clasificador: otro familiar entrenado con los mismos objetos. ¿Se repiten los mismos errores?
Use it, share it, adapt itÚsela, compártala, adáptela
The credit to copyEl crédito para copiar
Free BYRD, CC BY. “Run a human classifier lab with a held-out test” from the Byrd Academy STEM Curriculum by Byrd EDU, byrdathome.org.Free BYRD, CC BY. “Haga un laboratorio de clasificador humano con una prueba reservada”, del Currículo STEM de Byrd Academy, de Byrd EDU, byrdathome.org.
This is free to use, share and adapt, even commercially, under the Creative Commons Attribution 4.0 International license (CC BY 4.0), with this credit. What Free BYRD means.Esto es libre de usar, compartir y adaptar, incluso con fines comerciales, bajo la licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0), con este crédito. Qué significa Free BYRD.