Nyheten följdes av att även e-handelsföretaget Paypal uppgavs vara nära att dra sig ur Facebooks libraprojekt, något som också senare skedde.
Och nu bekräftar flera av företagen att de faktiskt väljer att lämna, rapporterar Coindesk.
Politiskt tryck
Det är Mastercard, Visa, nätauktionssajten Ebay, betaltjänstföretaget Stripe och betalplattformen Mercado Pago som nu drar sig ur Libra Association.
En anledning till avhoppen uppges vara tryck från politiskt håll.
– Visa har beslutat att inte gå med i Libra Association vid den här tidpunkten. Vi kommer att fortsätta utvärdera och vårt slutliga beslut kommer att bestämmas av ett antal faktorer, inklusive organisationens förmåga att till fullo uppfylla alla nödvändiga regulatoriska förväntningar, säger en talesperson för Visa till Coindesk.
Även Mastercard uppger att de kommer att fortsätta bevaka utvecklingen med libra.
– Mastercard har beslutat att inte bli medlem i Libra Association vid den här tidpunkten. Vi förblir fokuserade på vår strategi och våra egna betydande försök att få till finansiell integration över hela världen. Vi tror att det finns potentiella fördelar med sådana initiativ och kommer att fortsätta att ha koll på libra, säger en talesperson för Mastercard till Coindesk.