Istället för Turingtestet…

By Wednesday, June 11, 2014 0 No tags Permalink 0

De senaste dagarnas diskussioner om Turingtestet har varit ganska uppfriskande. Inte minst eftersom jag tror att det är viktigt för alla vetenskaper att ha olika sorters fokusproblem. AI har under ganska lång tid kämpat med vad John McCarthy kallade “Ma, look what I can do”-problem som egentligen bara handlar om att återskapa eller imitera olika mänskliga förmågor. Kan datorer spela schack? Kan de spela go? Kan de måla tavlor? Komponera musik? Imitera mänsklig dialog? En efter en har så dessa olika frågor besvarats jakande på olika sätt, och de har alltid utmanats. När Kasparov slogs av datorer var det många som mumlade att det inte var rättvist, och att det minsann inte kunde gått rätt till och att människor trots allt nog är bättre än datorer på schack. I stället för att bara rycka på axlarna och säga att, jaha, intressant – hur kan vi utveckla nya typer av intelligens i stället för att hålla upp det mänskliga intellektet som en sorts idealtyp mot vilken vi alla borde sträva i vår forskning? Och den lika naturlig följdfrågan blir då om det skulle vara möjligt att utforma andra sorters test för utommänsklig intelligens – test som inte handlar om att bara försöka imitera oss? Och hur skulle då dessa se ut? Det är lätt att tänka siog alternativa imitationsspel – som ett där vi bedömer olika deltagares frågor i stället för deras svar, eller där vi bedömer ett nätverk av olika aktörer för att se om det består till huvudsak av människor eller till huvudsak av mjukvara. Vi skulle också kunna säga att en dator måste kunna laga mat, ha tråkigt eller vara bekymrad över en viss given existentiell fråga för att vara intelligent i någon mänsklig mening. Men hur skulle vi kunna testa för alternativa intelligenser? Där är det inte lika lätt att se hur ett fokusproblem skulle kunna arbetas fram, men det vore värdefullt för diskussionen att fundera kring detta, tror jag.

Kanske finns det här ett gränsproblem, det som antyddes av Wittgenstein i den kryptiska kommentaren om lejonens språk. Om ett lejon kunde tala, skrev Wittgenstein, skulle vi inte förstå det. Kanske kan vi inte känna igen eller identifiera en intelligens som inte är mänsklig – annat än ana att det finns något där? Och kanske är universum fyllt av intelligens som vi helt enkelt inte förmår identifiera på grund av våra egna biologiska begränsningar? Skulle detta då ens vara intelligens? Här fingret på en öm punkt – vi har ingen riktigt bra definition på det vi söker här. Det rör sig om något vagt som kretsar mellan begreppen själ-medvetande-intelligens-tanke-upplevelse och som inte riktigt låter sig testas för.

Eller så är det som den gamla berättelsen om domaren och obscentiteten – “I know it when I see it” – en sorts attitydkriterium av det slag som Wittgenstein föreslog. Det är en annan möjlighet. Det finns en mängd intressanta problem här, som det gamla automatproblemet. Hur vet jag att mina medmänniskor inte är maskiner utan medvetande? Turing konstaterar att i den riktningen ligger solipsismens ödemarker. Och i dem kan vi inte testa något alls (men jag har hört att sällskapet är enastående).

 

Go-spel, biologiskt avgränsad spelkomplexitet och evolutionär mönsterigenkänning

By Wednesday, May 28, 2014 3 No tags Permalink 0

Varför är det så svårt att lära datorer spela det kinesiska spelet Go? I “The Mystery of Go” i Wired  (14:e maj 2014) skriver Alan Levinovitz om hur arbetet med att försöka skriva bra goprogram har utvecklats de senaste årtiondena. Det är en tankeväckande artikel av flera skäl. För det första snuddar den vid det intressanta begreppet spelkomplexitet, och konstaterar att Go är närmast obegripligt mycket mer komplext än schack, med ett antal olika mått. För det andra väcker artikeln den intressanta frågan – även om den aldrig går på djupet med den – om vad det är som människor gör som vi har svårt att fånga i mjukvara. Levinovitz skriver:

The trouble is that identifying Go moves that deserve attention is often a mysterious process. “You’ll be looking at the board and just know,” Redmond told me, as we stood in front of the projector screen watching Crazy Stone take back Nomitan’s initial lead. “It’s something subconscious, that you train through years and years of playing. I’ll see a move and be sure it’s the right one, but won’t be able to tell you exactly how I know. I just see it.”

Och senare i en studie av Go-mästare noterar han att man funnit något märkligt:

“A lot of people peak out at a certain level of amateur and never get any stronger,” David Fotland explains. Fotland, an early computer Go innovator, also worked as chief engineer of Hewlett Packard’s PA-RISC processor in the 70s, and tested the system with his Go program. “There’s some kind of mental leap that has to happen to get you past that block, and the programs ran into the same issue. The issue is being able to look at the whole board, not the just the local fights.”

Och:

According to University of Sydney cognitive scientist and complex systems theorist Michael Harré, professional Go players behave in ways that are incredibly hard to predict. In a recent study, Harré analyzed Go players of various strengths, focusing on the predictability of their moves given a specific local configuration of stones. “The result was totally unexpected,” he says. “Moves became steadily more predictable until players reached near-professional level. But at that point, moves started getting less predictable, and we don’t know why. Our best guess is that information from the rest of the board started influencing decision-making in a unique way.”

Samma återkommande tema: man bara ser, det är unikt, någon sorts mental hopp…det korta svaret är helt enkelt att vi inte vet. Och detta är spännande. Det finns alldeles tydligt något som en liten delmängd människor kan göra (det finns inte många Go-experter) som vi ännu inte lyckats fånga i mjukvara. Vad kan det vara?

Låt oss fundera på de möjliga hypoteserna.

I: Om vi ser på hur Go-program blivit bättre och utvecklats de senaste åren så har det handlat om avancerad statistisk analys av olika slag (Monte Carlo Tree Search) och en gissning skulle kunna vara att duktiga Go-spelare helt enkelt är bättre än datorer på att intuitivt göra sådana analyser. Det är en intressant möjlighet, och skulle betyda att hjärnan på någon nivå kan köra väldigt avancerade algoritmer snabbare och bättre än dagens bästa datorer. Motargumentet skulle kunna vara att om man frågade de flesta gomästare så skulle de inte kunna genomföra beräkningarna som krävs eller ens förklara vad Monte Carlo-analys är. Men det är förstås möjligt att det sker på en sorts undermedveten nivå, och att vi alla är mycket bättre på matematik undermedvetet än vi inser.

II: Människor gör något annat, har tillgång till en särskild förmåga som förmår, med träning, identifiera möjligheter i mycket stora spelrum snabbare än någon känd algoritm. Låt oss kalla denna förmåga (detta mentala hopp) för ett särskilt spelsinne som vi utvecklat över tid, som evolverat eftersom de som haft detta sinne haft bättre överlevnadschanser än de som inte kunnat snabbt hitta bra drag i det komplexa överlevnadsspelet. Här känns det som om vi gör oss skyldiga till en sorts deus ex machina förklaring, vi hittar på ett nytt sinne, eller pekar på teorin om intuitionen, och säger att det är en svart låda som vi inte kan reducera eller förklara ytterligare. Som förklaring är det egentligen inte mycket att hurra över.

III: En tredje möjlighet är att det finns något i spelets utformning som gör det möjligt för oss att reducera det enorma spelrummet till ett annat mycket mindre spelrum. Låt oss se hur det skulle kunna vara möjligt. Vi vet att om vi bara analyserar spelrummet på basis av antalet möjliga drag så är Go extremt komplext – och när vi ser komplexitetsmåtten är det faktiskt rimligt att fråga hur människor alls kan spela Go – men ändå tycks människor kunna spela spelet mycket bra. Tänk om det är så att människor de facto spelar ett annat spel? För att kunna utveckla denna tanke måste vi skissa förutsättningarna för den. Antag att vi som biologiska varelser har ett visst mönsterigenkänningsrum – vi har utvecklats så att vi kan se vissa typer av mönster och tillskriva dem mening. Antag nu att detta mönsterigenkänningsrum M appliceras på universumet av möjliga Go-spel och att det inom ramen för dessa mönster finns ett mycket mindre spelrum av biologiskt meningsfulla/möjliga gopartier. När vi studerar Go studerar vi abstraktionen, men spelet är egentligen baserat på en uppsättning biologiska analogier – stenar är levande eller döda, de kan andas eller inte andas. Tänk om det är så att människor spelar Go(biologiskt avgränsat spelrum) och datorer tvingas spela Go(universellt spelrum)? En hypotes som denna tar inte sin utgångspunkt i spelets matematiska egenskaper, utan i de biologiska egenskaperna hos spelets upphovsman och hur dessa grundläggande egenskaper präglar spelets utformning. Go är ytterst ett spel skapat av människor, och därmed har det ett dolt biologiskt designarv. Det “unika som människor gör” ligger i att i Go är det fördelaktigt att söka drag i mönster som vi av evolutionen lärt oss att fästa särskild vikt vid – vårt spelrum är begränsat av vår biologiska natur, men mjukvarans möjliga spelrum är inte begränsat alls.

Jag är mest intresserad av hypotes III, eftersom jag tror att det finns anleding att fundera kring vilken roll den som skapar ett spel har. Det är en wittgensteinsk kommentar, förstås, och den har att göra med den ofta citerade kommentaren som Wittgenstein fäller om lejon. Om lejon kunde tala, säger han, så skulle vi inte förstå dem. Lejonens unika natur – deras biologiska grund eller deras unika vara om vi inte vill riskerar att bli anklagade för biologism – skulle skapa ett unikt språk. Tanken som underbygger III är att spel är en sorts språk, och att upphovsmannens natur speglas i dem på ett sätt som gör dem enklare för upphovsmannen att spela. Vi skulle kunna parafrasera och säga “Om lejon spelade lejonspel, skulle de slå oss” – eller om människor utformar ett spel så kan datorer inte slå dem.

Uppenbarligen gäller detta bara en mindre klass spel – det finns många spel där datorer kan slå oss med lätthet – men det ger oss en aning om hur det kommer sig att vi som människor kan något som datorer finner det svårt att göra: vi har utvecklat en serie mönsterigenkänningsalgoritmer över lång tid som när de reflekteras i ett spel ger oss ett distinkt övertag över ett system som inte på förhand vet hur det skall söka genom det totala spelrummet, snarare än det biologiskt meningsfulla spelrummet.

Invändningar saknas inte: en kritiker skulle med rätta kunna säga att vad jag gjort här är bara att jag klätt upp intuitionen i litet wittgensteinska citat och evolutionär biologi, och att jag fortfarande inte gett några ledtrådar om hur vi skulle kunna skapa bättre go-program. Det kan stämma. Det kan också vara så att vi skulle kunna vinna på att träna datorer på mönsterigenkänning i naturen och använda dessa domänspecifika mönsterigenkänningsverktyg för att analysera problem, snarare än att starta i det matematiskt möjliga.

 

Turing tests III: The notion of NO intelligence

By Wednesday, May 9, 2012 1 No tags Permalink 0

One commenter on the previous post raised an interesting point in identifying our financial markets as post-human, and those algorithms and agents as essentially opaque black box systems. And predicting that they would be the origin of artificial intelligence.

First, I think that the origin of AI is an interesting question. If we believe that intelligence will emerge from a set of algorithms it seems important what algorithms they are, since all algorithms are under different selective pressures. We could imagine that algorithms selected for in financial markets are different than those selected for in turing tests, driving cars or playing jeopardy. Intelligence stemming from DRM would be an interesting premise for a sci-fi short story.

Second, I think the black box nature of some algorithms also makes it interesting to think about what we ascribe zero intelligence to. If we can predict exactly what results an interaction with a system will lead to. If we can predict the system completely, we ascribe no intelligence to it. A clock is not intelligent, and we can reproduce and predict its behavior easily. But as soon as we leave the wholly predictable we end up with a system where the question of intelligence can be raised.

This says something about why we as human beings detect intelligence. We do it in order to find ways an methods to predict systems, and intelligence simply provides us with a new set of tools to do that. If we think a system is intelligent we shift to the conceptual structures, of wants, needs, rationality, feelings, logic et cetera, and we have developed a pretty good predictive apparatus for that.

And that may be the evolutionary explanation for why we are so well-equipped to detect intelligence. Because once we do, we are able to better predict the systems, and interact with them to our, sometimes, mutual benefit.

Now, I find this interesting, because you could imagine a weird world in which people failed the Turing test all the time, i.e. failed and identified systems as intelligent that did not meet any more in-depth examination of intelligence. Why should we have the ability to identify intelligent systems, one may ask, and the answer is probably that it has a strong selective advantage in predicting what the system will do.

That which you can predict and explain fully, however, has no intelligence whatsoever. This needs more thought.

Cleverbot and being somewhat human…or a unicorn

Cleverbot is an interesting project that just recently crossed my radarscreen. I like the online interface, and it has also brought an interesting instance of the Turing test to my attention. In this case it is rapid fire Turing tests, where the participants rate “how human” something is on a scale from 0-100 percent. Cleverbot, in one of its incarnations, got to 42.1% human.

This highlights a weakness of the Turing test, I think. The notion that something can be somewhat human is clearly wrong, a misuse of the concept humanity. Or is it? Worrying examples from human history indicate that we think this way about enemies, other tribes and other races to an extent that is awful. We dehumanize that which we think we need to destroy, or that which threatens us, for scares us. But would any racist say that another race is just 42.1% percent human? No, probably not. It doesn’t work that way. We would probably agree with them being human or we would define them as something else. Being human might actually be far more binary than we think.

In one way, however, cleverbot is a great example of the limitations of the Turing test. But it has also produced some great humor. Witness this fantastic video on cleverbot talking to another instance of itself, to see how language sounds when it, truly, runs on empty.

My favorite comment. “I am not a robot. I am a unicorn”.

An interesting aside. Their discussion sounds very much like an old married couple arguing in parts. Myabe that is also language running on empty…

But I may be a “meanie”.

 

Turing tests II: Wittgenstein and Voigt-Kampff

By Tuesday, April 10, 2012 4 No tags Permalink 0

Could a machine think? — Could it be in pain? — Well is the human body to be called such a machine? It surely comes as close as possible to being such a machine.

But a machine surely cannot think! — Is that an empirical statement? No. We only say of a human being and what is like one that it thinks. We also say it of dolls and no doubt of spirits too. Look at the word “to think” as a tool.

Ludwig Wittgenstein Philosophical Investigations 359-360

Wittgenstein’s note comes to mind as I continue thinking about Turing tests. I think this quote has been read as saying that there can be no test for intelligence or thinking, but it is really not at all saying that. It merely says that we use the concept of things that are like us. And the interesting part about that is that there are so many qualities that could be used to assess that. At what point will we simply give up and call something human?

Enter the Voigt-Kampff machine, the monster Turing test in the movie Bladerunner. In that test Decker, the bounty hunter, has to use extreme equipment to detect the tell-tale lack of empathic response that reveals someone as a replicant. There is a legitimate ethical question here about how much we are allowed to test an entity to determine that it is not human. And how arbitrary those tests can be. The Turing test easily degenerates to a Shibboleth. Here Decker uses the Voigt-Kampff to determine if Rachael is a artificial or real mind:

Oh, and on the note on alternative Turing tests, I now add civilization-scale tests (is this an intelligent civilization) and the meta-Turing test: is this person able to detect that they are in a Turing test situation. More to come. Bear with me…