I ruoli di data science odierni non esisteranno tra 10 anni

Nel prossimo decennio, il ruolo di data scientist come lo conosciamo sarà molto diverso da quello che è oggi. Ma non preoccuparti, nessuno prevede posti di lavoro persi, solo cambiato lavoro.

I data scientist staranno bene - secondo il Bureau of Labor Statistics, il ruolo è ancora destinato a crescere a un ritmo superiore alla media fino al 2029. Ma i progressi nella tecnologia saranno l'impulso per un enorme cambiamento nelle responsabilità di un data scientist e nel il modo in cui le aziende si avvicinano all'analisi nel suo complesso. E gli strumenti AutoML, che aiutano ad automatizzare la pipeline di machine learning dai dati grezzi a un modello utilizzabile, guideranno questa rivoluzione.

In 10 anni, i data scientist avranno set di competenze e strumenti completamente diversi, ma la loro funzione rimarrà la stessa: fungere da guide tecnologiche affidabili e competenti che possono dare un senso a dati complessi per risolvere i problemi aziendali.

AutoML democratizza la scienza dei dati

Fino a poco tempo fa, gli algoritmi e i processi di apprendimento automatico erano quasi esclusivamente il dominio dei ruoli di data science più tradizionali, quelli con istruzione formale e diplomi avanzati o che lavoravano per grandi aziende tecnologiche. I data scientist hanno svolto un ruolo inestimabile in ogni parte dello spettro di sviluppo dell'apprendimento automatico. Ma col tempo, il loro ruolo diventerà più collaborativo e strategico. Con strumenti come AutoML per automatizzare alcune delle loro competenze più accademiche, i data scientist possono concentrarsi sul guidare le organizzazioni verso soluzioni ai problemi aziendali tramite i dati.

In molti modi, questo perché AutoML democratizza lo sforzo di mettere in pratica l'apprendimento automatico. I fornitori, dalle startup agli iperscalatori del cloud, hanno lanciato soluzioni abbastanza facili da utilizzare e sperimentare per gli sviluppatori senza una grande barriera educativa o esperienziale all'ingresso. Allo stesso modo, alcune applicazioni AutoML sono abbastanza intuitive e semplici che i non tecnici possono provare a creare soluzioni ai problemi nei propri dipartimenti, creando una sorta di "citizen data scientist" all'interno delle organizzazioni.

Per esplorare le possibilità che questi tipi di strumenti sbloccano sia per gli sviluppatori che per i data scientist, dobbiamo prima comprendere lo stato attuale della scienza dei dati in relazione allo sviluppo dell'apprendimento automatico. È più facile da capire se posizionato su una scala di maturità.

Le organizzazioni e le imprese più piccole con ruoli più tradizionali responsabili della trasformazione digitale (ovvero, data scientist non di formazione classica) rientrano in genere in questa fascia di questa scala. In questo momento, sono i maggiori clienti per applicazioni di machine learning pronte all'uso, che sono più orientate verso un pubblico che non ha familiarità con le complessità del machine learning.

  • Pro: queste applicazioni chiavi in ​​mano tendono ad essere facili da implementare, relativamente economiche e facili da distribuire. Per le aziende più piccole con un processo molto specifico per automatizzare o migliorare, ci sono probabilmente diverse opzioni praticabili sul mercato. La bassa barriera all'ingresso rende queste applicazioni perfette per i data scientist che si avvicinano al machine learning per la prima volta. Poiché alcune delle applicazioni sono così intuitive, consentono anche ai dipendenti non tecnici di sperimentare l'automazione e le funzionalità avanzate dei dati, introducendo potenzialmente una preziosa sandbox in un'organizzazione.
  • Contro: questa classe di applicazioni di machine learning è notoriamente poco flessibile. Sebbene possano essere facili da implementare, non sono facilmente personalizzabili. Pertanto, alcuni livelli di precisione potrebbero essere impossibili per determinate applicazioni. Inoltre, queste applicazioni possono essere gravemente limitate dalla dipendenza da modelli e dati pre-addestrati. 

Esempi di queste applicazioni includono Amazon Comprehend, Amazon Lex e Amazon Forecast di Amazon Web Services e Azure Speech Services e Azure Language Understanding (LUIS) di Microsoft Azure. Questi strumenti sono spesso sufficienti per i fiorenti data scientist per muovere i primi passi nell'apprendimento automatico e portare le loro organizzazioni più in basso nello spettro della maturità.

Soluzioni personalizzabili con AutoML

Le organizzazioni con set di dati di grandi dimensioni ma relativamente comuni, ad esempio i dati delle transazioni dei clienti o le metriche delle e-mail di marketing, necessitano di maggiore flessibilità quando utilizzano il machine learning per risolvere i problemi. Inserisci AutoML. AutoML esegue i passaggi di un flusso di lavoro di apprendimento automatico manuale (rilevamento dei dati, analisi esplorativa dei dati, ottimizzazione degli iperparametri, ecc.) E li condensa in uno stack configurabile.

  • Pro: le applicazioni AutoML consentono di eseguire più esperimenti sui dati in uno spazio più ampio. Ma il vero superpotere di AutoML è l'accessibilità: è possibile creare configurazioni personalizzate e perfezionare gli input in modo relativamente semplice. Inoltre, AutoML non è realizzato esclusivamente con i data scientist come pubblico. Gli sviluppatori possono anche armeggiare facilmente all'interno della sandbox per portare elementi di apprendimento automatico nei propri prodotti o progetti.
  • Contro: Anche se si avvicina, i limiti di AutoML significano che l'accuratezza negli output sarà difficile da perfezionare. Per questo motivo, i data scientist, titolari di carta di credito, spesso guardano dall'alto in basso le applicazioni create con l'aiuto di AutoML, anche se il risultato è sufficientemente preciso da risolvere il problema in questione.

Esempi di queste applicazioni includono Amazon SageMaker AutoPilot o Google Cloud AutoML. Tra dieci anni i data scientist dovranno senza dubbio avere familiarità con strumenti come questi. Come uno sviluppatore esperto in più linguaggi di programmazione, i data scientist dovranno avere competenza con più ambienti AutoML per essere considerati i migliori talenti.

Soluzioni di machine learning "rollate a mano" e create internamente 

Le più grandi aziende su scala aziendale e le aziende Fortune 500 sono le aree in cui viene attualmente sviluppata la maggior parte delle applicazioni di apprendimento automatico avanzate e proprietarie. I data scientist di queste organizzazioni fanno parte di grandi team che perfezionano algoritmi di apprendimento automatico utilizzando raccolte di dati aziendali storici e costruiscono queste applicazioni da zero. Applicazioni personalizzate come queste sono possibili solo con risorse e talenti considerevoli, motivo per cui il guadagno ei rischi sono così grandi.

  • Pro: come qualsiasi applicazione creata da zero, l'apprendimento automatico personalizzato è "all'avanguardia" ed è basato su una profonda comprensione del problema in questione. È anche più preciso, anche se solo con piccoli margini, rispetto a AutoML e alle soluzioni di machine learning pronte all'uso.
  • Contro: ottenere un'applicazione di machine learning personalizzata per raggiungere determinate soglie di precisione può essere estremamente difficile e spesso richiede un lavoro pesante da parte di team di data scientist. Inoltre, le opzioni di machine learning personalizzate sono le più dispendiose in termini di tempo e le più costose da sviluppare.

Un esempio di una soluzione di apprendimento automatico manuale è iniziare con un notebook Jupyter vuoto, importare manualmente i dati e quindi condurre manualmente ogni passaggio dall'analisi esplorativa dei dati all'ottimizzazione del modello. Ciò si ottiene spesso scrivendo codice personalizzato utilizzando framework di apprendimento automatico open source come Scikit-learn, TensorFlow, PyTorch e molti altri. Questo approccio richiede un alto grado di esperienza e intuizione, ma può produrre risultati che spesso superano sia i servizi di machine learning chiavi in ​​mano che AutoML.

Strumenti come AutoML cambieranno ruoli e responsabilità nel campo della scienza dei dati nei prossimi 10 anni. AutoML si prende l'onere di sviluppare l'apprendimento automatico da zero ai data scientist e mette invece le possibilità della tecnologia di apprendimento automatico direttamente nelle mani di altri risolutori di problemi. Con il tempo libero per concentrarsi su ciò che sanno, i dati e gli input stessi, i data scientist tra dieci anni fungeranno da guide ancora più preziose per le loro organizzazioni.

Eric Miller ricopre il ruolo di direttore senior della strategia tecnica presso Rackspace, dove fornisce leadership nella consulenza strategica con una comprovata esperienza nella creazione di pratiche nell'ecosistema Amazon Partner Network (APN). Esperto leader tecnologico con 20 anni di comprovato successo nell'IT aziendale, Eric ha guidato diverse iniziative di architettura di soluzioni e AWS, tra cui il programma per i partner di valutazione AWS Well Architected Framework (WAF), il programma Amazon EC2 per Windows Server AWS Service Delivery e un'ampia gamma di riscritture AWS per organizzazioni multimiliardarie.

-

Il New Tech Forum offre un luogo per esplorare e discutere la tecnologia aziendale emergente in profondità e ampiezza senza precedenti. La selezione è soggettiva, in base alla nostra scelta delle tecnologie che riteniamo importanti e di maggiore interesse per i lettori. non accetta materiale di marketing per la pubblicazione e si riserva il diritto di modificare tutti i contenuti forniti. Invia tutte le richieste a [email protected]