folly/io/async/SSLContext.h

   1 /*
   2  * Copyright 2016 Facebook, Inc.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *   http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #pragma once
  18
  19 #include <mutex>
  20 #include <list>
  21 #include <map>
  22 #include <vector>
  23 #include <memory>
  24 #include <string>
  25 #include <random>
  26
  27 // This has to come before SSL.
  28 #include <folly/portability/Sockets.h>
  29
  30 #include <openssl/ssl.h>
  31 #include <openssl/tls1.h>
  32
  33 #include <glog/logging.h>
  34
  35 #ifndef FOLLY_NO_CONFIG
  36 #include <folly/folly-config.h>
  37 #endif
  38
  39 #include <folly/Range.h>
  40 #include <folly/io/async/ssl/OpenSSLPtrTypes.h>
  41 #include <folly/io/async/ssl/OpenSSLUtils.h>
  42
  43 namespace folly {
  44
  45 /**
  46  * Override the default password collector.
  47  */
  48 class PasswordCollector {
  49  public:
  50   virtual ~PasswordCollector() = default;
  51   /**
  52    * Interface for customizing how to collect private key password.
  53    *
  54    * By default, OpenSSL prints a prompt on screen and request for password
  55    * while loading private key. To implement a custom password collector,
  56    * implement this interface and register it with TSSLSocketFactory.
  57    *
  58    * @param password Pass collected password back to OpenSSL
  59    * @param size     Maximum length of password including nullptr character
  60    */
  61   virtual void getPassword(std::string& password, int size) = 0;
  62
  63   /**
  64    * Return a description of this collector for logging purposes
  65    */
  66   virtual std::string describe() const = 0;
  67 };
  68
  69 /**
  70  * Wrap OpenSSL SSL_CTX into a class.
  71  */
  72 class SSLContext {
  73  public:
  74
  75   enum SSLVersion {
  76      SSLv2,
  77      SSLv3,
  78      TLSv1
  79   };
  80
  81   /**
  82    * Defines the way that peers are verified.
  83    **/
  84   enum SSLVerifyPeerEnum {
  85     // Used by AsyncSSLSocket to delegate to the SSLContext's setting
  86     USE_CTX,
  87     // For server side - request a client certificate and verify the
  88     // certificate if it is sent.  Does not fail if the client does not present
  89     // a certificate.
  90     // For client side - validates the server certificate or fails.
  91     VERIFY,
  92     // For server side - same as VERIFY but will fail if no certificate
  93     // is sent.
  94     // For client side - same as VERIFY.
  95     VERIFY_REQ_CLIENT_CERT,
  96     // No verification is done for both server and client side.
  97     NO_VERIFY
  98   };
  99
 100   struct NextProtocolsItem {
 101     NextProtocolsItem(int wt, const std::list<std::string>& ptcls):
 102       weight(wt), protocols(ptcls) {}
 103     int weight;
 104     std::list<std::string> protocols;
 105   };
 106
 107   // Function that selects a client protocol given the server's list
 108   using ClientProtocolFilterCallback = bool (*)(unsigned char**, unsigned int*,
 109                                         const unsigned char*, unsigned int);
 110
 111   /**
 112    * Convenience function to call getErrors() with the current errno value.
 113    *
 114    * Make sure that you only call this when there was no intervening operation
 115    * since the last OpenSSL error that may have changed the current errno value.
 116    */
 117   static std::string getErrors() {
 118     return getErrors(errno);
 119   }
 120
 121   /**
 122    * Constructor.
 123    *
 124    * @param version The lowest or oldest SSL version to support.
 125    */
 126   explicit SSLContext(SSLVersion version = TLSv1);
 127   virtual ~SSLContext();
 128
 129   /**
 130    * Set default ciphers to be used in SSL handshake process.
 131    *
 132    * @param ciphers A list of ciphers to use for TLSv1.0
 133    */
 134   virtual void ciphers(const std::string& ciphers);
 135
 136   /**
 137    * Set default ciphers to be used in SSL handshake process.
 138    *
 139    * @param ciphers A list of ciphers to use for TLS.
 140    */
 141   virtual void setCipherList(const std::vector<std::string>& ciphers);
 142
 143   /**
 144    * Low-level method that attempts to set the provided ciphers on the
 145    * SSL_CTX object, and throws if something goes wrong.
 146    */
 147   virtual void setCiphersOrThrow(const std::string& ciphers);
 148
 149   /**
 150    * Sets the signature algorithms to be used during SSL negotiation
 151    * for TLS1.2+
 152    *
 153    * @param sigalgs A list of signature algorithms, eg. RSA+SHA512
 154    */
 155   void setSignatureAlgorithms(const std::vector<std::string>& sigalgs);
 156
 157   /**
 158    * Sets the list of EC curves supported by the client.
 159    *
 160    * @param ecCurves A list of ec curves, eg: P-256
 161    */
 162   void setClientECCurvesList(const std::vector<std::string>& ecCurves);
 163
 164   /**
 165    * Method to add support for a specific elliptic curve encryption algorithm.
 166    *
 167    * @param curveName: The name of the ec curve to support, eg: prime256v1.
 168    */
 169   void setServerECCurve(const std::string& curveName);
 170
 171   /**
 172    * Sets an x509 verification param on the context.
 173    */
 174   void setX509VerifyParam(const ssl::X509VerifyParam& x509VerifyParam);
 175
 176   /**
 177    * Method to set verification option in the context object.
 178    *
 179    * @param verifyPeer SSLVerifyPeerEnum indicating the verification
 180    *                       method to use.
 181    */
 182   virtual void setVerificationOption(const SSLVerifyPeerEnum& verifyPeer);
 183
 184   /**
 185    * Method to check if peer verfication is set.
 186    *
 187    * @return true if peer verification is required.
 188    *
 189    */
 190   virtual bool needsPeerVerification() {
 191     return (verifyPeer_ == SSLVerifyPeerEnum::VERIFY ||
 192               verifyPeer_ == SSLVerifyPeerEnum::VERIFY_REQ_CLIENT_CERT);
 193   }
 194
 195   /**
 196    * Method to fetch Verification mode for a SSLVerifyPeerEnum.
 197    * verifyPeer cannot be SSLVerifyPeerEnum::USE_CTX since there is no
 198    * context.
 199    *
 200    * @param verifyPeer SSLVerifyPeerEnum for which the flags need to
 201    *                  to be returned
 202    *
 203    * @return mode flags that can be used with SSL_set_verify
 204    */
 205   static int getVerificationMode(const SSLVerifyPeerEnum& verifyPeer);
 206
 207   /**
 208    * Method to fetch Verification mode determined by the options
 209    * set using setVerificationOption.
 210    *
 211    * @return mode flags that can be used with SSL_set_verify
 212    */
 213   virtual int getVerificationMode();
 214
 215   /**
 216    * Enable/Disable authentication. Peer name validation can only be done
 217    * if checkPeerCert is true.
 218    *
 219    * @param checkPeerCert If true, require peer to present valid certificate
 220    * @param checkPeerName If true, validate that the certificate common name
 221    *                      or alternate name(s) of peer matches the hostname
 222    *                      used to connect.
 223    * @param peerName      If non-empty, validate that the certificate common
 224    *                      name of peer matches the given string (altername
 225    *                      name(s) are not used in this case).
 226    */
 227   virtual void authenticate(bool checkPeerCert, bool checkPeerName,
 228                             const std::string& peerName = std::string());
 229   /**
 230    * Load server certificate.
 231    *
 232    * @param path   Path to the certificate file
 233    * @param format Certificate file format
 234    */
 235   virtual void loadCertificate(const char* path, const char* format = "PEM");
 236   /**
 237    * Load server certificate from memory.
 238    *
 239    * @param cert  A PEM formatted certificate
 240    */
 241   virtual void loadCertificateFromBufferPEM(folly::StringPiece cert);
 242   /**
 243    * Load private key.
 244    *
 245    * @param path   Path to the private key file
 246    * @param format Private key file format
 247    */
 248   virtual void loadPrivateKey(const char* path, const char* format = "PEM");
 249   /**
 250    * Load private key from memory.
 251    *
 252    * @param pkey  A PEM formatted key
 253    */
 254   virtual void loadPrivateKeyFromBufferPEM(folly::StringPiece pkey);
 255   /**
 256    * Load trusted certificates from specified file.
 257    *
 258    * @param path Path to trusted certificate file
 259    */
 260   virtual void loadTrustedCertificates(const char* path);
 261   /**
 262    * Load trusted certificates from specified X509 certificate store.
 263    *
 264    * @param store X509 certificate store.
 265    */
 266   virtual void loadTrustedCertificates(X509_STORE* store);
 267   /**
 268    * Load a client CA list for validating clients
 269    */
 270   virtual void loadClientCAList(const char* path);
 271   /**
 272    * Override default OpenSSL password collector.
 273    *
 274    * @param collector Instance of user defined password collector
 275    */
 276   virtual void passwordCollector(std::shared_ptr<PasswordCollector> collector);
 277   /**
 278    * Obtain password collector.
 279    *
 280    * @return User defined password collector
 281    */
 282   virtual std::shared_ptr<PasswordCollector> passwordCollector() {
 283     return collector_;
 284   }
 285 #if OPENSSL_VERSION_NUMBER >= 0x1000105fL && !defined(OPENSSL_NO_TLSEXT)
 286   /**
 287    * Provide SNI support
 288    */
 289   enum ServerNameCallbackResult {
 290     SERVER_NAME_FOUND,
 291     SERVER_NAME_NOT_FOUND,
 292     SERVER_NAME_NOT_FOUND_ALERT_FATAL,
 293   };
 294   /**
 295    * Callback function from openssl to give the application a
 296    * chance to check the tlsext_hostname just right after parsing
 297    * the Client Hello or Server Hello message.
 298    *
 299    * It is for the server to switch the SSL to another SSL_CTX
 300    * to continue the handshake. (i.e. Server Name Indication, SNI, in RFC6066).
 301    *
 302    * If the ServerNameCallback returns:
 303    * SERVER_NAME_FOUND:
 304    *    server: Send a tlsext_hostname in the Server Hello
 305    *    client: No-effect
 306    * SERVER_NAME_NOT_FOUND:
 307    *    server: Does not send a tlsext_hostname in Server Hello
 308    *            and continue the handshake.
 309    *    client: No-effect
 310    * SERVER_NAME_NOT_FOUND_ALERT_FATAL:
 311    *    server and client: Send fatal TLS1_AD_UNRECOGNIZED_NAME alert to
 312    *                       the peer.
 313    *
 314    * Quote from RFC 6066:
 315    * "...
 316    * If the server understood the ClientHello extension but
 317    * does not recognize the server name, the server SHOULD take one of two
 318    * actions: either abort the handshake by sending a fatal-level
 319    * unrecognized_name(112) alert or continue the handshake.  It is NOT
 320    * RECOMMENDED to send a warning-level unrecognized_name(112) alert,
 321    * because the client's behavior in response to warning-level alerts is
 322    * unpredictable.
 323    * ..."
 324    */
 325
 326   /**
 327    * Set the ServerNameCallback
 328    */
 329   typedef std::function<ServerNameCallbackResult(SSL* ssl)> ServerNameCallback;
 330   virtual void setServerNameCallback(const ServerNameCallback& cb);
 331
 332   /**
 333    * Generic callbacks that are run after we get the Client Hello (right
 334    * before we run the ServerNameCallback)
 335    */
 336   typedef std::function<void(SSL* ssl)> ClientHelloCallback;
 337   virtual void addClientHelloCallback(const ClientHelloCallback& cb);
 338 #endif
 339
 340   /**
 341    * Create an SSL object from this context.
 342    */
 343   SSL* createSSL() const;
 344
 345   /**
 346    * Sets the namespace to use for sessions created from this context.
 347    */
 348   void setSessionCacheContext(const std::string& context);
 349
 350   /**
 351    * Set the options on the SSL_CTX object.
 352    */
 353   void setOptions(long options);
 354
 355   enum class NextProtocolType : uint8_t {
 356     NPN = 0x1,
 357     ALPN = 0x2,
 358     ANY = NPN | ALPN
 359   };
 360
 361 #ifdef OPENSSL_NPN_NEGOTIATED
 362   /**
 363    * Set the list of protocols that this SSL context supports. In server
 364    * mode, this is the list of protocols that will be advertised for Next
 365    * Protocol Negotiation (NPN) or Application Layer Protocol Negotiation
 366    * (ALPN). In client mode, the first protocol advertised by the server
 367    * that is also on this list is chosen. Invoking this function with a list
 368    * of length zero causes NPN to be disabled.
 369    *
 370    * @param protocols   List of protocol names. This method makes a copy,
 371    *                    so the caller needn't keep the list in scope after
 372    *                    the call completes. The list must have at least
 373    *                    one element to enable NPN. Each element must have
 374    *                    a string length < 256.
 375    * @param protocolType  What type of protocol negotiation to support.
 376    * @return true if NPN/ALPN has been activated. False if NPN/ALPN is disabled.
 377    */
 378   bool setAdvertisedNextProtocols(
 379       const std::list<std::string>& protocols,
 380       NextProtocolType protocolType = NextProtocolType::ANY);
 381   /**
 382    * Set weighted list of lists of protocols that this SSL context supports.
 383    * In server mode, each element of the list contains a list of protocols that
 384    * could be advertised for Next Protocol Negotiation (NPN) or Application
 385    * Layer Protocol Negotiation (ALPN). The list of protocols that will be
 386    * advertised to a client is selected randomly, based on weights of elements.
 387    * Client mode doesn't support randomized NPN/ALPN, so this list should
 388    * contain only 1 element. The first protocol advertised by the server that
 389    * is also on the list of protocols of this element is chosen. Invoking this
 390    * function with a list of length zero causes NPN/ALPN to be disabled.
 391    *
 392    * @param items  List of NextProtocolsItems, Each item contains a list of
 393    *               protocol names and weight. After the call of this fucntion
 394    *               each non-empty list of protocols will be advertised with
 395    *               probability weight/sum_of_weights. This method makes a copy,
 396    *               so the caller needn't keep the list in scope after the call
 397    *               completes. The list must have at least one element with
 398    *               non-zero weight and non-empty protocols list to enable NPN.
 399    *               Each name of the protocol must have a string length < 256.
 400    * @param protocolType  What type of protocol negotiation to support.
 401    * @return true if NPN/ALPN has been activated. False if NPN/ALPN is disabled.
 402    */
 403   bool setRandomizedAdvertisedNextProtocols(
 404       const std::list<NextProtocolsItem>& items,
 405       NextProtocolType protocolType = NextProtocolType::ANY);
 406
 407   void setClientProtocolFilterCallback(ClientProtocolFilterCallback cb) {
 408     clientProtoFilter_ = cb;
 409   }
 410
 411   ClientProtocolFilterCallback getClientProtocolFilterCallback() {
 412     return clientProtoFilter_;
 413   }
 414
 415   /**
 416    * Disables NPN on this SSL context.
 417    */
 418   void unsetNextProtocols();
 419   void deleteNextProtocolsStrings();
 420 #endif // OPENSSL_NPN_NEGOTIATED
 421
 422   /**
 423    * Gets the underlying SSL_CTX for advanced usage
 424    */
 425   SSL_CTX *getSSLCtx() const {
 426     return ctx_;
 427   }
 428
 429   enum SSLLockType {
 430     LOCK_MUTEX,
 431     LOCK_SPINLOCK,
 432     LOCK_NONE
 433   };
 434
 435   /**
 436    * Set preferences for how to treat locks in OpenSSL.  This must be
 437    * called before the instantiation of any SSLContext objects, otherwise
 438    * the defaults will be used.
 439    *
 440    * OpenSSL has a lock for each module rather than for each object or
 441    * data that needs locking.  Some locks protect only refcounts, and
 442    * might be better as spinlocks rather than mutexes.  Other locks
 443    * may be totally unnecessary if the objects being protected are not
 444    * shared between threads in the application.
 445    *
 446    * By default, all locks are initialized as mutexes.  OpenSSL's lock usage
 447    * may change from version to version and you should know what you are doing
 448    * before disabling any locks entirely.
 449    *
 450    * Example: if you don't share SSL sessions between threads in your
 451    * application, you may be able to do this
 452    *
 453    * setSSLLockTypes({{CRYPTO_LOCK_SSL_SESSION, SSLContext::LOCK_NONE}})
 454    */
 455   static void setSSLLockTypes(std::map<int, SSLLockType> lockTypes);
 456
 457   /**
 458    * Examine OpenSSL's error stack, and return a string description of the
 459    * errors.
 460    *
 461    * This operation removes the errors from OpenSSL's error stack.
 462    */
 463   static std::string getErrors(int errnoCopy);
 464
 465   /**
 466    * We want to vary which cipher we'll use based on the client's TLS version.
 467    *
 468    * XXX: The refernces to tls11CipherString and tls11AltCipherlist are reused
 469    * for * each >= TLS 1.1 handshake, so we expect these fields to not change.
 470    */
 471   void switchCiphersIfTLS11(
 472       SSL* ssl,
 473       const std::string& tls11CipherString,
 474       const std::vector<std::pair<std::string, int>>& tls11AltCipherlist);
 475
 476   bool checkPeerName() { return checkPeerName_; }
 477   std::string peerFixedName() { return peerFixedName_; }
 478
 479 #if defined(SSL_MODE_HANDSHAKE_CUTTHROUGH)
 480   /**
 481    * Enable TLS false start, saving a roundtrip for full handshakes. Will only
 482    * be used if the server uses NPN or ALPN, and a strong forward-secure cipher
 483    * is negotiated.
 484    */
 485   void enableFalseStart();
 486 #endif
 487
 488   /**
 489    * Helper to match a hostname versus a pattern.
 490    */
 491   static bool matchName(const char* host, const char* pattern, int size);
 492
 493   /**
 494    * Functions for setting up and cleaning up openssl.
 495    * They can be invoked during the start of the application.
 496    */
 497   static void initializeOpenSSL();
 498   static void cleanupOpenSSL();
 499
 500   /**
 501    * Mark openssl as initialized without actually performing any initialization.
 502    * Please use this only if you are using a library which requires that it must
 503    * make its own calls to SSL_library_init() and related functions.
 504    */
 505   static void markInitialized();
 506
 507   /**
 508    * Default randomize method.
 509    */
 510   static void randomize();
 511
 512  protected:
 513   SSL_CTX* ctx_;
 514
 515  private:
 516   SSLVerifyPeerEnum verifyPeer_{SSLVerifyPeerEnum::NO_VERIFY};
 517
 518   bool checkPeerName_;
 519   std::string peerFixedName_;
 520   std::shared_ptr<PasswordCollector> collector_;
 521 #if OPENSSL_VERSION_NUMBER >= 0x1000105fL && !defined(OPENSSL_NO_TLSEXT)
 522   ServerNameCallback serverNameCb_;
 523   std::vector<ClientHelloCallback> clientHelloCbs_;
 524 #endif
 525
 526   ClientProtocolFilterCallback clientProtoFilter_{nullptr};
 527
 528   static bool initialized_;
 529
 530   // To provide control over choice of server ciphersuites
 531   std::unique_ptr<std::discrete_distribution<int>> cipherListPicker_;
 532
 533 #ifdef OPENSSL_NPN_NEGOTIATED
 534
 535   struct AdvertisedNextProtocolsItem {
 536     unsigned char* protocols;
 537     unsigned length;
 538   };
 539
 540   /**
 541    * Wire-format list of advertised protocols for use in NPN.
 542    */
 543   std::vector<AdvertisedNextProtocolsItem> advertisedNextProtocols_;
 544   std::vector<int> advertisedNextProtocolWeights_;
 545   std::discrete_distribution<int> nextProtocolDistribution_;
 546
 547   static int sNextProtocolsExDataIndex_;
 548
 549   static int advertisedNextProtocolCallback(SSL* ssl,
 550       const unsigned char** out, unsigned int* outlen, void* data);
 551   static int selectNextProtocolCallback(
 552     SSL* ssl, unsigned char **out, unsigned char *outlen,
 553     const unsigned char *server, unsigned int server_len, void *args);
 554
 555 #if OPENSSL_VERSION_NUMBER >= 0x1000200fL && !defined(OPENSSL_NO_TLSEXT)
 556   static int alpnSelectCallback(SSL* ssl,
 557                                 const unsigned char** out,
 558                                 unsigned char* outlen,
 559                                 const unsigned char* in,
 560                                 unsigned int inlen,
 561                                 void* data);
 562 #endif
 563   size_t pickNextProtocols();
 564
 565 #endif // OPENSSL_NPN_NEGOTIATED
 566
 567   static int passwordCallback(char* password, int size, int, void* data);
 568
 569 #if OPENSSL_VERSION_NUMBER >= 0x1000105fL && !defined(OPENSSL_NO_TLSEXT)
 570   /**
 571    * The function that will be called directly from openssl
 572    * in order for the application to get the tlsext_hostname just after
 573    * parsing the Client Hello or Server Hello message. It will then call
 574    * the serverNameCb_ function object. Hence, it is sort of a
 575    * wrapper/proxy between serverNameCb_ and openssl.
 576    *
 577    * The openssl's primary intention is for SNI support, but we also use it
 578    * generically for performing logic after the Client Hello comes in.
 579    */
 580   static int baseServerNameOpenSSLCallback(
 581     SSL* ssl,
 582     int* al /* alert (return value) */,
 583     void* data
 584   );
 585 #endif
 586
 587   std::string providedCiphersString_;
 588
 589   // Functions are called when locked by the calling function.
 590   static void initializeOpenSSLLocked();
 591   static void cleanupOpenSSLLocked();
 592 };
 593
 594 typedef std::shared_ptr<SSLContext> SSLContextPtr;
 595
 596 std::ostream& operator<<(std::ostream& os, const folly::PasswordCollector& collector);
 597
 598
 599 } // folly