Para efetuar medidas é necessário fazer uma padronização, escolhendo unidades para cada grandeza. Antes da instituição do Sistema Métrico Decimal, as unidades de medida eram definidas de maneira arbitrária, variando de um país para outro, dificultando as transações comerciais e o intercâmbio científico entre eles. As unidades de comprimento, por exemplo, eram quase sempre derivadas das partes do corpo do rei de cada país: a jarda, o pé, a polegada e outras. Até hoje, estas unidades são usadas nos Estados Unidos, embora definidas de uma maneira menos individual, mas através de padrões restritos às dimensões do meio em que vivem e não mais as variáveis desses indivíduos.
Em 1585, o matemático flamengo Simon Stevin publicou um pequeno panfleto chamado La Thiende, no qual ele apresentou uma conta elementar e completa de frações decimais e sua utilização diária. Embora ele não tenha inventado as frações decimais e sua notação, ele estabeleceu seu uso na matemática do dia-a-dia. Ele declarou que a introdução universal da cunhagem decimal, medidas e pesos seria apenas uma questão de tempo. No mesmo ano, ele escreveu La Disme sobre o mesmo assunto.
Há registros de que a primeira ideia de um sistema métrico seja de John Wilkins, primeiro secretário da Royal Society de Londres em 1668, porém a ideia não vingou e a Inglaterra continuou com os diferentes sistemas de pesos e medidas.
Foi na França onde a ideia de um sistema unificado saiu do papel. A proliferação dos diferentes sistemas de medidas foi uma das causas mais frequentes de litígios entre comerciantes, cidadãos e cobradores de impostos. Com o país unificado com uma moeda única e um mercado nacional havia um forte incentivo econômico para romper com essa situação e padronizar um sistema de medidas. O problema inconsistente não era as diferentes unidades, mas os diferentes tamanhos das unidades. Ao invés de simplesmente padronizar o tamanho das unidades existentes, os líderes da Assembleia Nacional Constituinte Francesa decidiram que um sistema completamente novo deveria ser adotado.
O Governo Francês fez um pedido à Academia Francesa de Ciências para que criasse um sistema de medidas baseadas em uma constante não arbitrária. Após esse pedido, um grupo de investigadores franceses, composto de físicos, astrônomos e agrimensores, deu início a esta tarefa, definindo assim que a unidade de comprimento metro deveria corresponder a uma determinada fração da circunferência da Terra e correspondente também a um intervalo de graus do meridiano terrestre. Em 22 de junho de 1799 foi depositado, nos Arquivos da República em Paris, dois protótipos de platina iridiada, que representam o metro e o quilograma, ainda hoje conservados no Escritório Internacional de Pesos e Medidas (Bureau international des poids et mesures) na França.
Em 20 de maio de 1875 um tratado internacional conhecido como Convention du Mètre (Convenção do Metro), foi assinado por 17 Estados. Este tratado estabeleceu as seguintes organizações para conduzir as atividades internacionais em matéria de um sistema uniforme de medidas:
Conférence Générale des Poids et mesures (CGPM), uma conferência intergovernamental de delegados oficiais dos países membros e da autoridade suprema para todas as ações;
Comité international des poids et mesures (CIPM), composta por cientistas e metrologistas, que prepara e executa as decisões da CGPM e é responsável pela supervisão do Bureau Internacional de Pesos e Medidas;
Bureau International des Poids et mesures (BIPM), um laboratório permanente e centro mundial da metrologia científica, as atividades que incluem o estabelecimento de normas de base e as escalas das quantidades de capital físico e manutenção dos padrões protótipo internacional.
Em 1889, a 1ª CGPM definiu os protótipos internacionais de metro e quilograma e as próximas conferências definiram as demais unidades que hoje são as bases do SI. A partir da criação destas organizações todo e qualquer assunto relacionado a medição são de sua responsabilidade. Mais tarde, a CGPM estabeleceu que o sistema métrico internacional seria disignado Sistema Internacional, com abreviatura SI em todos os idiomas. O SI foi adotado globalmente por praticamente todos os países. As três exceções são Myanmar, Libéria e os Estados Unidos. O Reino Unido adotou oficialmente o SI, mas sem a intenção de substituir inteiramente seu próprio sistema usual de medidas.
Com o passar do tempo outras unidades foram adicionadas ao SI nas posteriores CGPMs: ampère (corrente elétrica) em 1946, kelvin (temperatura absoluta) e candela (luminosidade) em 1954 e mol (quantidade de matéria) em 1971.
