Sort с лямбда функцией
I don't quite understand the syntax behind the sorted() argument:
Isn't lambda arbitrary? Why is variable stated twice in what looks like a dict ?
10 Answers 10
I think all of the answers here cover the core of what the lambda function does in the context of sorted() quite nicely, however I still feel like a description that leads to an intuitive understanding is lacking, so here is my two cents.
For the sake of completeness, I'll state the obvious up front: sorted() returns a list of sorted elements and if we want to sort in a particular way or if we want to sort a complex list of elements (e.g. nested lists or a list of tuples) we can invoke the key argument.
For me, the intuitive understanding of the key argument, why it has to be callable, and the use of lambda as the (anonymous) callable function to accomplish this comes in two parts.
- Using lamba ultimately means you don't have to write (define) an entire function, like the one sblom provided an example of. Lambda functions are created, used, and immediately destroyed - so they don't funk up your code with more code that will only ever be used once. This, as I understand it, is the core utility of the lambda function and its application for such a role is broad. Its syntax is purely a convention, which is in essence the nature of programmatic syntax in general. Learn the syntax and be done with it.
Lambda syntax is as follows:
where lambda is a python keyword.
- The idea behind the key argument is that it should take in a set of instructions that will essentially point the 'sorted()' function at those list elements which should be used to sort by. When it says key= , what it really means is: As I iterate through the list, one element at a time (i.e. for e in some_list ), I'm going to pass the current element to the function specifed by the key argument and use that to create a transformed list which will inform me on the order of the final sorted list.
Notice that my lambda function told sorted to check if each element e was even or odd before sorting.
BUT WAIT! You may (or perhaps should) be wondering two things.
First, why are the odd numbers coming before the even numbers? After all, the key value seems to be telling the sorted function to prioritize evens by using the mod operator in x % 2 == 0 .
Second, why are the even numbers still out of order? 2 comes before 6, right?
By analyzing this result, we'll learn something deeper about how the 'key' argument really works, especially in conjunction with the anonymous lambda function.
Firstly, you'll notice that while the odds come before the evens, the evens themselves are not sorted. Why is this?? Lets read the docs:
Key Functions Starting with Python 2.4, both list.sort() and sorted() added a key parameter to specify a function to be called on each list element prior to making comparisons.
We have to do a little bit of reading between the lines here, but what this tells us is that the sort function is only called once, and if we specify the key argument, then we sort by the value that key function points us to.
So what does the example using a modulo return? A boolean value: True == 1 , False == 0 . So how does sorted deal with this key? It basically transforms the original list to a sequence of 1s and 0s.
[3, 6, 3, 2, 4, 8, 23] becomes [0, 1, 0, 1, 1, 1, 0]
Now we're getting somewhere. What do you get when you sort the transformed list?
Okay, so now we know why the odds come before the evens. But the next question is: Why does the 6 still come before the 2 in my final list? Well that's easy - it is because sorting only happens once! Those 1s still represent the original list values, which are in their original positions relative to each other. Since sorting only happens once, and we don't call any kind of sort function to order the original even numbers from low to high, those values remain in their original order relative to one another.
The final question is then this: How do I think conceptually about how the order of my boolean values get transformed back in to the original values when I print out the final sorted list?
Sorted() is a built-in method that (fun fact) uses a hybrid sorting algorithm called Timsort that combines aspects of merge sort and insertion sort. It seems clear to me that when you call it, there is a mechanic that holds these values in memory and bundles them with their boolean identity (mask) determined by (. ) the lambda function. The order is determined by their boolean identity calculated from the lambda function, but keep in mind that these sublists (of one's and zeros) are not themselves sorted by their original values. Hence, the final list, while organized by Odds and Evens, is not sorted by sublist (the evens in this case are out of order). The fact that the odds are ordered is because they were already in order by coincidence in the original list. The takeaway from all this is that when lambda does that transformation, the original order of the sublists are retained.
So how does this all relate back to the original question, and more importantly, our intuition on how we should implement sorted() with its key argument and lambda?
That lambda function can be thought of as a pointer that points to the values we need to sort by, whether its a pointer mapping a value to its boolean transformed by the lambda function, or if its a particular element in a nested list, tuple, dict, etc., again determined by the lambda function.
Lets try and predict what happens when I run the following code.
My sorted call obviously says, "Please sort this list". The key argument makes that a little more specific by saying, 'for each element x in mylist , return the second index of that element, then sort all of the elements of the original list mylist by the sorted order of the list calculated by the lambda function. Since we have a list of tuples, we can return an indexed element from that tuple using the lambda function.
The pointer that will be used to sort would be:
Sorting this pointer list returns:
Applying this to mylist , we get:
Run that code, and you'll find that this is the order. Try sorting a list of integers using this key function and you'll find that the code breaks (why? Because you cannot index an integer of course).
This was a long winded explanation, but I hope this helps to sort your intuition on the use of lambda functions - as the key argument in sorted(), and beyond.
In Python, I am trying to sort by date with lambda. I can't understand my error message. The message is:
The line I have is
5 Answers 5
On Python 2.x, the sorted function takes its arguments in this order:
so without the key= , the function you pass in will be considered a cmp function which takes 2 arguments.
This is very old but, do you have any idea why the error code is misleading? Your answer sounds like possible Python is supplying lambda with another parameter since a cmp function takes 2?
@SuperBiasedMan the error is not misleading. cmp , a comparator function takes two arguments. If you don't specify that you are passing a key , it is assumed from the function parameters order that you are passing a comparator. Your lambda takes one parameter, therefore is not a valid comparator and that's what the error says.
Python 2 and 3 seem to have different function declarations. I use Python 3, so there is no cmp anymore. In Python2, it is an iterable , what is it in Python 3?
It will print as following:
This does not work for string integers. Check this out! lst = [('999', '9'), ('303', '30'), ('343', '34')] lst.sort(key=lambda x: x[1]) print(lst)
The result is [('303', '30'), ('343', '34'), ('999', '9')] which is not sorted base on the second element in every list.
lst = [('candy','999','9'), ('apple','303','30'), ('baby','343','34')] lst.sort(key=lambda x:x[2]) print(lst)
[('apple', '303', '30'), ('baby', '343', '34'), ('candy', '999', '9')]. Which is not sorted base on 2 element too!
You're trying to use key functions with lambda functions.
Also, when it comes to key functions and according to the documentation
Both list.sort() and sorted() have a key parameter to specify a function to be called on each list element prior to making comparisons.
.
The value of the key parameter should be a function that takes a single argument and returns a key to use for sorting purposes. This technique is fast because the key function is called exactly once for each input record.
So, key functions have a parameter key and it can indeed receive a lambda function.
In Real Python there's a nice example of its usage. Let's say you have the following list
and want to sort through its "integers". Then, you'd do something like
and printing it would give
In your particular case, you're only missing to write key= before lambda. So, you'd want to use the following
У стандартной сортировки (метода sort списка, функции sorted) есть более универсальный способ задания порядка сортировки при помощи параметра key. Значение этого параметра некоторая функция, которая вызывается для каждого элемента, перед сравнением этих элементов: элементы списка сортируются, но сравниваются не значения элементов, а результат вызова переданной функции от этого элемента.
Например, пусть дан список строк, содержащих цифры, нужно упорядочить элементы списка, сравнивая их, как числа, а не как строки. Это можно сделать так:
В сложных случаях функцию нужно написать самостоятельно, например, пусть дан список чисел, который нужно упорядочить по последней цифре. Напишем функцию, которая возвращает последнюю цифру числа:
Параметр key можно использовать вместе с параметром reverse .
Лямбда-функции
В предыдущем примере пришлось создавать отдельную функцию только для того, чтобы задать порядок сортировки, что захламляет программу ненужными функциями. В таких случаях нужно использовать лямбда-функции: “одноразовые фукцнии, которые можно объявлять без использовать слова def , прямо при вызове сортировки. Лямбда-функция — это функция, которая состоит только из одной строки с инструкцией return , то есть функция сразу возвращает значение по набору аргументов. Лямбда-функции объявляются таким образом:
Например, отсортировать список чисел по последней цифре можно при помощи следующей лямбда-функции:
Рассмотрим другой пример. Пусть дан список точек, каждая точка: кортеж из двух чисел. Например, [(3, -2), (7, 1), (0, 4)] . Этот список нужно отсортировать по возрастанию расстояния от начала координат до точки. Напишем лямбда-функцию:
Элементами списка являются кортежи из двух координат, можно обратиться к этим координатам по индексам [0] и [1].
Устойчивость сортировки
Вернёмся к примеру сортировки по последней цифре. В приведённом выше примере упорядоченный список будет таким:
Этот пример иллюстрирует свойство устойчивости сортировки: функция сортировки не переставлят элементы, если они равны друг другу. В данном случае функция упорядочивает числа по последней цифре, а при равной последней цифре сохраняется порядок следования элементов в исходном списке: 22, 12, 32.
Что делать, если нужно сделать сложную сортировку, учитывающую несколько критериев? Например, при равной последней цифре нужно упорядочить элементы в порядке возрастания самих чисел.
Первый способ решения: напишем функцию, которая будет возвращать кортеж из двух чисел: последней цифры и самого числа. Кортежи сравниваются в лексикографическом порядке, поэтому при равенстве остатка от деления будут сравниваться сами числа.
Второй способ: воспользуемся устойчивостью сортировки. Отстортируем список сначала по возрастанию чисел, а затем — по последней цифре. Тогда при равном значении последней цифры сохранится ранее полученный порядок.
То есть сортировку по \(k\) параметрам (если по первому параметру элементы равны, то сравнить по второму, если равны два параметра, то сравнить по третьему и т.д.) можно заменить на \(k\) последовательных сортировок, выполняющихся в обратном порядке (от наименее значимого параметра к наиболее значимому).
Функция operator.itemgetter
При сортировке кортежей частой задачей является сортировка по какому-то одному элементу кортежа. Например, если нужно отсортировать кортежи по элементу с индексом 1, то можно написать такую лямбда-функцию:
Для удобства в модуле operator есть функция itemgetter , которая позволяет создавать подобные функции, а именно, функция реализована примерно так:
То есть operator.itemgetter(i) — это функция, при вызове которой от числового параметра создаётся лямдба-функция, которую можно использовать в качестве параметра key . Если вызвать функцию itemgetter от нескольких параметров, то полученная функция будет возвращать кортеж из элементов с заданными индексами.
Операции сортировки применяются к спискам данных на любом языке программирования. В Python для хранения наборов данных используются кортеж, список и словарь. Доступ к значениям кортежа и списка осуществляется по индексу, а к значениям словаря — по ключам.
В Python есть множество встроенных функций для сортировки списка данных в порядке возрастания или убывания. Лямбда-функция – одна из них. С ее помощью мы можем определить порядок сортировки в зависимости от требований.
Давайте рассмотрим на простых примерах использование лямбда-функции для сортировки списка чисел, кортежей, словарей и вложенного списка.
Пример 1. Сортировка списка чисел в формате строковых данных
Напишем код для сортировки списка строковых данных, которые являются числами, с применением лямбда-функции.
Зададим список из 6 элементов. Лямбду будем использовать внутри функции sorted() для сортировки списка.
В качестве первого аргумента функции указывается переменная списка, лямбда устанавливается в качестве значения ключа, а третьим аргументом передается начальная позиция сортировки. При помощи print() выводим в консоль отсортированный список через пробел.
Запустив наш код, получим следующий результат.
Пример 2. Сортировка списка кортежей
Теперь давайте напишем программу для сортировки списка из трех кортежей, каждый из которых состоит из трех элементов.
Здесь мы используем три типа сортировки.
В первой сортирующей функции позиция сортировки устанавливается в 0. Таким образом мы отсортируем список по первым элементам кортежей.
Во второй сортирующей функции позиция сортировки – 1. Так мы отсортируем список по вторым элементам кортежей.
Чтобы отсортировать список по третьим элементам кортежей, установим позицию сортировки 2.
Запустим наш код и получим три списка кортежей, отсортированных по указанным позициям.
Пример 3. Сортировка списка, состоящего из других списков
Теперь давайте напишем код для сортировки вложенного списка с использованием нашей лямбда-функции.
Объявим пустой список для хранения значений отсортированного списка. Для сортировки элементов вложенного списка воспользуемся вложенными циклами for . Внешний цикл for будет повторяться в зависимости от количества внутренних списков, определенных в основном списке.
В нашем случае у нас есть три внутренних списка. Первый из них имеет три элемента, второй – два, а третий состоит из четырех элементов. Количество итераций внутреннего цикла for будет зависеть от количества элементов в каждом внутреннем списке.
Функция sorted() вызывает лямбда-выражение внутри внутреннего цикла для сортировки вложенного списка.
В выводе мы получим список из трех отсортированных списков.
Пример 4. Сортировка списка словарей
Напишем код для сортировки списка, состоящего из словарей, с использованием лямбда-функции.
Каждый словарь внутри списка содержит три пары ключ-значение.
Рассмотрим четыре типа сортировки. Первый использует сортировку на основе ключа code . Второй – на основе ключа name . Третий способ демонстрирует сортировку на основе обоих этих ключей. В четвертом случае мы видим сортировку в порядке убывания на основе ключа name .
Запустим нашу программу и получим следующий результат.
Заключение
Мы рассмотрели использование лямбда-функции для сортировки различных списков в Python. Разобрали на простых примерах, как можно отсортировать четыре разных списка. Надеемся, это поможет вам понять цель использования лямбда-функции при сортировке.
Английский для программистов
Наш телеграм канал с тестами по английскому языку для программистов. Английский это часть карьеры программиста. Поэтому полезно заняться им уже сейчас
В этом уроке мы изучим, что из себя представляют lambda-функции в Python с их синтаксисом и примерами. Кроме того, мы рассмотрим, как и когда следует объявлять lambda-функции, а также как их можно использовать вместе со встроенными функциями Python такими как reduce(), map() и filter().
Когда мы создаем функции в Python, мы всегда используем ключевое слово def. При этом, делая так, мы назначаем им определенное имя. Но иногда у нас может возникнуть потребность объявить функцию анонимно или мы можем захотеть использовать функцию только один раз. В таком случае определение функции может показаться лишним, и как раз здесь нам придут на помощь lambda-функции.
2. Что собой представляет lambda-функция в Python?
Lambda-функция позволяет нам определять функцию анонимно. Стоит отметить, что она является именно функцией, а не оператором. То есть лямбда-функция возвращает значение, и у нее есть неявный оператор return. Ниже приведен синтаксис lambda-функций в Python.
lambda [arg1, arg2, ..]: [выражение]
Lambda-функция, возвращает свое значение в том месте, в котором вы его объявляете.
Как объявить lambda-функцию?
Для того, чтобы объявить lambda-функцию, используйте ключевое слово lambda.
Вы можете назначить lambda-функцию переменной, если хотите использовать ее в дальнейшем.
В этом примере e является аргументом, а e-2 выражением.
После назначения переменной, вы можете вызвать данную lambda-функцию, как и любую другую функцию в Python. Попробуем это сделать, взяв в качестве аргумента целое число 1.
4. Чем на самом деле является выражение lambda-функции в Python
Как мы смогли убедиться, lambda в Python возвращает выражение. Но у нас может появится вопрос, что же собой представляет выражение? В общем смысле, выражение — это последовательность букв символов и чисел, возвращающая определенное значение. Например, к выражениям можно отнести следующие записи.
- Арифметические операции, такие как a+b и a**b
- Вызовы функций, например sum(a,b) или print("Hello")
Но при этом, такие записи как назначение не могут быть определены как выражение для lambda-функции, так как они ничего не возвращают даже None.
5. Когда лучше использовать lambda-функцию в Python?
Как мы видели ранее, lambda-функция в Python может принимать несколько аргументов и одно выражение. Причем значение этого выражения как раз и есть то, что возвращается при вызове функции. Использование lambda-функций не является обязательным, но может оказаться полезным в определенных ситуациях. Таких, например как:
1. Когда у вас есть только одно выражение для исполнения в функции
Теперь давайте сделаем то же самое, используя lambda-функцию.
Заметьте, что здесь мы не использовали никаких аргументов. Но вернемся и более подробно рассмотрим мы этот момент в дальнейшем, а пока давайте обратимся к еще одному примеру.
2. Когда нужно вызвать код только один раз
Одной из основных причин выделения функций из остального кода является необходимость в их многократном использовании. Но если вам нужно использовать какой-либо код не более чем один раз, вы можете прибегнуть к lambda-функциям, не объявляя для этого стандартную функцию.
6. Значения аргументов по умолчанию для lambda-функции в Python
В Python, как впрочем и в других языках, например, C++, мы можем задавать значения аргументов по умолчанию. Но как нам это может пригодиться? Допустим функция func1() принимает 2 параметра a и b. Что произойдет если пользователь программы передаст лишь один из этих параметров или даже ни одного? Как раз для того, чтобы избежать возможной ошибки, или облегчить работу пользователя, вы можете задать вашим параметрам значения по умолчанию.
Давайте рассмотрим пример.
Здесь значениями по умолчанию для a и b являются соответственно 2 и 3. Для того, чтобы задать значения по умолчанию для lambda-функции, запись будет следующей:
7. Синтаксис lambda-функции в Python
Мы уже посмотрели, как объявляетcя lambda-функция в Python, но, как и все, что состоит из частей, ее объявление предполагает различные варианты. Так давайте же посмотрим, что мы можем, а что не можем делать с lambda-функцией.
a. Аргументы в Python
Одна или несколько переменных, присутствующих в выражении могут быть объявлены заранее. Но если речь идет об аргументах, то их значение должно быть либо задано по умолчанию, либо передано при вызове функции.
Здесь отсутствуют значения и a и b
У переменной a все еще отсутствует значение
Наконец здесь, так как нет аргументов с отсутствующим значением, все отлично работает.
b. Пропускаем аргументы
Указывать аргументы в lambda-функции не обязательно. Она отлично работает и без них.
Во втором примере давайте в качестве выражения используем функцию print()
Вывод напрашивается сам собой, — пропуск аргументов в lambda-функции является вполне приемлемым.
c. Пропускаем выражение
Теперь давайте попробуем запустить нашу функцию без выражения.
Ясное дело ничего не сработало, да и почему оно должно было сработать, если значение выражение это как раз и есть то, что функция возвращает? Без выражения функция не имеет никакого смысла.
8. Совместное использование Lambda-функции со встроенными функциями Python
Существуют некоторые встроенные функции в Python, такие например как filter() или map(), в которых мы можем использовать lambda-функции, для выполнения определенных преобразований. Давайте же рассмотрим их поподробнее.
Для начала возьмем список под названием numbers
затем возьмем lambda-функцию следующего содержания.
a. filter()
Функция filter() принимает два параметра — функцию и список для обработки. В нашем примере мы также применим функцию list(), чтобы преобразовать объект filter в список.
Вот окончательный код, который нам нужен, и можете сами попробовать догадаться, как он работает. Итак, он берет список numbers, и отфильтровывает все элементы из него, которые не делятся нацело на 3. При этом фильтрация никак не изменяет изначальный список.
b. map()
Функция map() в отличие от функции filter() возвращает значение выражения для каждого элемента в списке. Давайте посмотрим как это работает на уже знакомом нам списке numbers.
c. reduce()
Наконец функция reduce() принимает два параметра — функцию и список. Сперва она применяет стоящую первым аргументом функцию для двух начальных элементов списка, а затем использует в качестве аргументов этой функции полученное значение вместе со следующим элементом списка и так до тех пор, пока весь список не будет пройден, а итоговое значение не будет возвращено. Для того, чтобы использовать reduce(), вы должны сначала импортировать ее из модуля functools.
Давайте посмотрим как получился такой результат.
Таким образом, на выходе у нас получается 5.
Давайте теперь возьмем другой пример.
Если проделать то же самое для x+y, то у вас получится 55.
9. Заключение
На этом, пожалуй, все. В той статье мы с вами сперва изучили, чем является lambda-функция в Python, рассмотрели ее синтаксис, а также выяснили как ее создать. Далее мы рассмотрели, что из себя представляет выражение, а также как передать аргументы по умолчанию в выражение lambda. Наконец мы попробовали использовать lambda-функцию внутри трех встроенных функций filter(), map(), и reduce() и выяснили, что lambda в сравнении с обычными функциями имеет ряд преимуществ.
Если у вас появились какие-то вопросы, пожалуйста, оставляйте их в комментариях.
Читайте также: