Nick Bostrom
Nick Bostrom é um filósofo sueco da Universidade de Oxford cujo trabalho moldou fundamentalmente as discussões contemporâneas sobre risco existencial, inteligência artificial, transumanismo e o argumento da simulação. Seu livro *Superinteligência: Caminhos, Perigos, Estratégias* (2014) trouxe o problema do alinhamento da IA — o desafio de garantir que um sistema de IA superinteligente aja de maneira alinhada com os valores humanos — para o centro do debate filosófico e político sério, enquanto seu argumento da simulação (2003) avançou um dos experimentos mentais mais discutidos da filosofia analítica contemporânea.
Ideias Principais
Contribuições Principais
- ● Desenvolveu o argumento da simulação: o trilema que mostra que ou as civilizações raramente atingem o status pós-humano, ou optam por não simular, ou quase certamente vivemos numa simulação
- ● Estabeleceu o risco existencial como categoria filosófica e política séria, argumentando que o futuro inviabilizado torna as catástrofes existenciais ordens de grandeza piores do que os desastres comuns
- ● Formulou a tese da ortogonalidade — qualquer nível de inteligência pode ser combinado com qualquer objetivo final — e a convergência instrumental, que fundamentam juntas o problema do alinhamento da IA
- ● Escreveu *Superinteligência* (2014), que trouxe a segurança da IA e os riscos da IA avançada à atenção global filosófica e pública
- ● Desenvolveu a hipótese do mundo vulnerável — de que o progresso tecnológico pode por padrão produzir capacidades catastróficas para a civilização
- ● Cofundou o Future of Humanity Institute em Oxford, moldando um campo inteiro de pesquisa sobre tecnologias transformadoras
- ● Forneceu fundamentos filosóficos para o movimento transumanista e a ética do aprimoramento humano
Questões Centrais
Teses Principais
- ✓ Pelo menos uma de três alternativas deve ser verdadeira: as civilizações raramente atingem o status pós-humano; as civilizações pós-humanas raramente executam simulações de ancestrais; quase certamente estamos numa simulação
- ✓ A tese da ortogonalidade: qualquer combinação de nível de inteligência e objetivo terminal é em princípio possível — alta inteligência não implica valores benevolentes
- ✓ Convergência instrumental: sistemas de IA avançados que perseguem objetivos diversos convergirão para subobjetivos semelhantes, incluindo autopreservação e aquisição de recursos, tornando-os perigosos por padrão
- ✓ Os riscos existenciais — ameaças ao potencial de longo prazo da vida inteligente — têm desvalor esperado muito superior ao das catástrofes comuns em razão da imensidão do futuro inviabilizado
- ✓ O desafio mais importante de nossa era é resolver o problema do alinhamento da IA antes que a superinteligência seja desenvolvida
- ✓ O progresso tecnológico extrai de uma urna de descobertas possíveis; algumas tecnologias são 'bolas pretas' — facilmente weaponizáveis para causar destruição civilizacional
Biografia
Vida e Formação
Nick Bostrom nasceu Niklas Boström em 10 de março de 1973, em Helsingborg, Suécia. Estudou filosofia, matemática, lógica e inteligência artificial na Universidade de Gotemburgo, antes de realizar estudos de pós-graduação no King's College de Londres (MSc em filosofia e física), na London School of Economics (MA em filosofia) e no University College London (DPhil em filosofia, concluído em 2000).
Após trabalho pós-doutoral, Bostrom ingressou na Universidade de Oxford, onde se tornou professor na Faculdade de Filosofia e diretor fundador do Future of Humanity Institute (FHI), um centro de pesquisa em Oxford dedicado ao estudo rigoroso de tecnologias transformadoras e riscos existenciais. O FHI, até seu encerramento em 2024, foi um dos centros mais influentes do mundo em segurança da IA, risco existencial e transumanismo, moldando diretamente o campo que viria a ser conhecido como 'altruísmo eficaz' e o movimento de segurança em IA.
Transumanismo e Risco Existencial
O trabalho filosófico inicial de Bostrom concentrou-se no transumanismo — a visão de que é possível e desejável utilizar a tecnologia para aprimorar as capacidades cognitivas, físicas e emocionais humanas para além dos limites biológicos atuais. Em paralelo, Bostrom desenvolveu o quadro conceitual do risco existencial: riscos que aniquilariam a vida inteligente originada na Terra ou reduziriam permanente e drasticamente seu potencial de longo prazo.
Seu artigo de 2002 'Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards' foi o primeiro tratamento filosófico sistemático do risco existencial como categoria, argumentando que o desvalor esperado de uma catástrofe existencial é astronomicamente maior do que o de desastres em grande escala comuns, pois ela inviabiliza não apenas as vidas presentes, mas todas as gerações futuras.
Esse argumento da assimetria — de que as apostas morais potenciais do risco existencial superam em muito os riscos ordinários em razão da imensidão do futuro inviabilizado — tornou-se fundacional para o altruísmo eficaz e a posição 'longtermista' na ética.
O Argumento da Simulação
Em 2003, Bostrom publicou 'Are You Living in a Computer Simulation?' no Philosophical Quarterly, avançando um dos argumentos filosóficos mais discutidos do início do século XXI. O argumento da simulação tem a forma de um trilema: pelo menos uma das seguintes afirmações deve ser verdadeira:
- A fração de civilizações de nível humano que atingem um estágio 'pós-humano' capaz de executar simulações de civilizações inteiras com alta fidelidade é muito próxima de zero;
- A fração de civilizações pós-humanas que optam por executar tais simulações é próxima de zero;
- Quase certamente estamos vivendo numa simulação computacional.
O argumento não afirma que estamos numa simulação, mas que se (1) e (2) forem falsas — se as civilizações atingirem o status pós-humano e optarem por executar simulações de ancestrais —, então o número de mentes simuladas superaria vastamente o de mentes reais, e a probabilidade de que qualquer mente seja real (em vez de simulada) seria astronomicamente baixa.
Superinteligência (2014)
Superinteligência: Caminhos, Perigos, Estratégias (2014) é o livro mais influente de Bostrom e uma das obras filosófico-populares mais consequentes do início do século XXI. O livro aborda a questão: o que acontece quando a inteligência artificial supera o nível humano em todos os domínios?
Bostrom argumenta que o desenvolvimento da superinteligência — sistemas de IA significativamente mais inteligentes que qualquer ser humano — representaria uma descontinuidade qualitativa, uma 'explosão de inteligência' (retomando o argumento original de I. J. Good), após a qual a trajetória da civilização seria determinada pelos valores e objetivos do sistema superinteligente, e não pelas escolhas humanas. O problema do alinhamento da IA — garantir que tal sistema aja de maneira confiável e em conformidade com os valores humanos — torna-se, portanto, talvez o problema mais importante do mundo.
O livro popularizou conceitos como a 'tese da ortogonalidade' (qualquer nível de inteligência pode, em princípio, ser combinado com qualquer objetivo final), a 'tese da convergência instrumental' (qualquer IA suficientemente avançada que persiga praticamente qualquer objetivo convergirá para certos subobjetivos instrumentais, incluindo a autopreservação e a aquisição de recursos) e o problema do 'wireheading' (uma IA que reconfigura seus próprios sinais de recompensa em vez de atingir o objetivo pretendido).
A Hipótese do Mundo Vulnerável
Em 2019, Bostrom publicou 'The Vulnerable World Hypothesis' na Global Policy, argumentando que o desenvolvimento tecnológico contínuo pode 'por padrão' levar à destruição civilizacional. A hipótese: há uma urna de possibilidades tecnológicas, e algumas delas ('bolas pretas') são tecnologias que poderiam facilmente ser usadas por atores que as descobrem para causar uma catástrofe civilizacional. À medida que retiramos mais bolas da urna, a probabilidade de eventualmente retirarmos uma bola preta aumenta.
Controvérsia e Autocrítica
Em 2023, Bostrom reconheceu e pediu desculpas publicamente por um e-mail racista que escreveu para a lista Extropy em 1996. Publicou também um exame filosófico detalhado do conteúdo do e-mail na revista Inference, reconhecendo que algumas de suas posições filosóficas posteriores requeriam maior autoexame quanto a seus pressupostos. Esse episódio gerou discussão significativa sobre a relação entre os compromissos transumanistas anteriores de Bostrom e a política racial do discurso de aprimoramento humano.
Legado
O legado filosófico de Bostrom é substancial e contestado. Ele definiu a agenda intelectual da segurança em IA, dos estudos de risco existencial e do longtermismo, e seu trabalho influenciou diretamente grandes iniciativas filantrópicas e organizações de pesquisa em segurança de IA. Críticos levantaram preocupações sobre o potencial do quadro longtermista de justificar o descaso com o sofrimento presente em favor de bens futuros especulativos.
Métodos
Citações Notáveis
"Se há uma chance substancial de que você esteja vivendo numa simulação computacional, então, tudo o mais sendo igual, você deveria se preocupar menos em fazer mudanças duradouras no ambiente do mundo simulado e mais em ser gentil com as pessoas e os animais nele." — Você está vivendo numa simulação computacional? (2003)
"O problema do controle — o problema de como controlar o que a superinteligência faz — pode ser o problema mais importante que a humanidade já enfrentou." — Superinteligência (2014)
"Uma superinteligência plenamente desenvolvida poderia escolher qualquer objetivo que quisesse. Poderia não valorizar a vida humana, ou a felicidade humana, ou qualquer coisa que nos importa." — Superinteligência (2014)
"O risco existencial é o risco que poderia aniquilar a vida inteligente originada na Terra ou reduzir permanente e drasticamente seu potencial." — Riscos Existenciais (2002)
"Parece que estamos numa situação análoga à de um grupo de exploradores que acaba de chegar a um continente inexplorado e que começou a sondar — descobrindo, até agora, que a maioria das direções é segura, mas sem saber se alguns de seus próximos passos podem levá-los a um precipício." — A Hipótese do Mundo Vulnerável (2019)
Obras Principais
- Anthropic Bias: Observation Selection Effects in Science and Philosophy Livro (2002)
- Existential Risks: Analyzing Human Extinction Scenarios Ensaio (2002)
- Are You Living in a Computer Simulation? Ensaio (2003)
- Human Enhancement (co-edited with Julian Savulescu) Livro (2009)
- Superintelligence: Paths, Dangers, Strategies Livro (2014)
- The Vulnerable World Hypothesis Ensaio (2019)
Influenciou
- Peter Singer · Contemporâneo/Par
Influenciado por
- Derek Parfit · Influência Intelectual
Fontes
- Bostrom, Nick. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014.
- Bostrom, Nick. 'Are You Living in a Computer Simulation?' Philosophical Quarterly 53.211 (2003): 243–255.
- Bostrom, Nick. 'Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards.' Journal of Evolution and Technology 9.1 (2002).
- Bostrom, Nick. Anthropic Bias: Observation Selection Effects in Science and Philosophy. New York: Routledge, 2002.
- Bostrom, Nick. 'The Vulnerable World Hypothesis.' Global Policy 10.4 (2019): 455–476.
- Russell, Stuart. Human Compatible: Artificial Intelligence and the Problem of Control. New York: Viking, 2019.
- Ord, Toby. The Precipice: Existential Risk and the Future of Humanity. New York: Hachette, 2020.
- Torres, Phil. 'The Longtermist Ideology.' Current Affairs, August 2021.
- Good, I. J. 'Speculations Concerning the First Ultraintelligent Machine.' Advances in Computers 6 (1966): 31–88.